OpenAI各通用模型响应速度测试！

最近在做项目的时候发现调用接口的返回内容速度非常慢，所以做了以下两种情况的测试，在不同模型、相同网络环境、请求内容(Prompt)一致的情况得出以下结果：

GPT-3.5-Turbo:

1. Chat接口，690字符，52.8 ± 1秒，平均每秒≈13.068181818181818 字符；
2. Stream接口，724字符，82.9 ± 1秒，平均每秒≈8.733413751507841 字符

⭐️ GPT-3.5-Turbo-0613：

1. Chat接口，772字符，15.6 ± 1秒，平均每秒≈49.487179487179487 字符；
2. Stream接口，320字符，18.7 ± 1秒，平均每秒≈17.112299465240642 字符

GPT-4：

1. Chat接口，283字符，19.9 ± 1秒，平均每秒≈14.221105527638191 字符；
2. Stream接口，158字符，14.4 ± 1秒，平均每秒≈10.972222222222222 字符

⭐️ GPT-4-0613：

1. Chat接口，707字符，46.4 ± 1秒，平均每秒≈15.237068965517241 字符；
2. Stream接口，736字符，48 ± 1秒，平均每秒≈15.333333333333333 字符

说实话，这个速度测试结果让我有点惊讶，我们都知道GPT-4-0613号称是地表最强最新大语言模型，但不知道为什么它的速度和GPT-3.5-Turbo差不多，难道它是GPT-3.5-Turbo拼接的？

不过，得出的结果：

1. 如果不需要特别精准的结果或指令可以暂时使用GPT-3.5-Turbo-0613，比如模拟数据生成等；
2. 如果需要高精度回复，可以使用GPT-4-0613的Chat接口，它比GPT-4更快一些，比如要理解指令和返回指令等；
3. 在Stream接口请求中，只有GPT-4-0613偶尔会快于Chat接口，大部分情况都是慢于Chat接口

在某些方面确实可以弃用GPT-4

注：该测试有可能受各种条件和环境、高峰时段等各类因素影响，测试结果仅供参考