AI小匠

GPT-4的语音对话功能前段时间在网上火了一把，许多人被其强大的自然语言处理能力和流畅的语音交互所吸引。现在，让我们来看看如何使用类似的技术，即基于百度的ERNIE-Bot，来打造自己的语音对话功能。

总体来说，解决大模型推理“慢”大致有三种常见方案，您可以根据实际业务场景和工程需要来选择： 1. 流式请求 2. 切换模型 3. 约束输出内容长度

大模型推理是一个消耗大量计算资源，耗时较长的一个过程，在实际业务中让大模型写一篇小作文，经常要十几秒。为了降低终端用户体感等待的时长，大家都会开启流式，让大模型生成一部分内容后，就展示出来。