您的关注是对我最大的支持👇
引言
我们可以使用LLM的特定设置来控制模型的各个方面，例如其“随机性”。通过调整这些设置，可以产生更具创造力、多样性和有趣的输出。其中最重要的设置是温度、Top P和最大长度，但我们将描述OpenAI Playground允许您修改的每个设置。
温度
温度调节语言模型输出的不可预测性。较高的温度设置会使输出更具创造力和不可预测性，因为它增加了较不常见令牌的可能性，同时降低了较常见令牌的可能性。相反，较低的温度会产生更保守和可预测的结果。以下示例说明了输出中的这些差异：
提示词：
在海滩上做10件奇怪、独特和有趣的事情（不带描述）
AI输出结果（温度=0，Top P=1）：
建造沙堡
收集海贝
打沙滩排球
放风筝
野餐
尝试划桨板
玩飞盘
浮潜
沿着海岸散步
观看日落
AI输出结果（温度=1.5，Top P=1）
在浅水中玩吹泡泡糖泡泡
创造复杂的沙堡雕塑
参加一场即兴的沙滩排球比赛
沿附近的悬崖进行一次风景优美的徒步旅行
观察人群并猜测每个人与海滩相关的故事
收集海贝，创造自己的海滩艺术作品
学习冲浪或尝试其他水上运动
发起一场即兴的沙地战斗
尝试像当地人一样在海岸钓鱼
通过组织沙堡建造比赛参与友好竞争
使用较高的温度设置生成的输出提供了一个更富有想象力和多样性的海滩活动清单。这对于创意写作非常有用。
Top P
Top P是语言模型中的一个设置，用于管理其输出的随机性。它通过建立一个概率阈值，然后选择那些总概率超过此限制的令牌。
例如，让我们考虑一个例子，模型在预测"The cat climbed up the ___"中的下一个词。它可能正在考虑的前五个词可能是tree（概率0.5）、roof（概率0.25）、wall（概率0.15）、window（概率0.07）和carpet（概率0.03）。
如果我们将Top P设置为0.90，AI只会考虑那些总概率累计达到至少90%的令牌。在我们的例子中：
-
添加tree -> 目前总概率为50%。
-
然后添加roof -> 总概率变为75%。
-
接下来是wall，现在我们的总概率达到90%。
因此，为了生成输出，AI将在这三个选项（tree、roof和wall）中随机选择一个，因为它们的总概率约为90%。这种方法比传统方法产生更多样化的输出，因为它基于累积概率而不是个别令牌，从而缩小了选择范围。
最大长度
最大长度是AI允许生成的令牌总数。这个设置非常有用，因为它允许用户管理模型的响应长度，避免过长或不相关的响应。它还有助于控制成本，因为长度在Playground框中的输入和生成的响应之间共享。
其他LLM设置
还有许多其他设置可以影响语言模型的输出，例如停止序列、频率惩罚和存在惩罚。
停止序列
停止序列告诉模型何时停止输出生成，这样可以控制内容的长度和结构。如果您提示AI撰写一封电子邮件，将"Best regards,"或"Sincerely,"设置为停止序列，可以确保模型在结束问候语之后停止，使邮件简洁明了。
频率惩罚
频率惩罚是一种通过按照令牌出现频率的比例对令牌进行惩罚，以避免生成文本中的重复。在文本中使用的令牌出现频率越高，AI再次使用它的可能性就越低。
存在惩罚
存在惩罚与频率惩罚类似，但是根据令牌是否出现，以固定方式对令牌进行惩罚，而不是按比例。
确定性说明
即使将温度和Top P设置完全设置为零，AI可能每次输出并不完全相同。这是因为在AI的"大脑"中进行的GPU（图形处理单元）计算中存在随机性。
结论
总之，在使用语言模型时，掌握温度、Top P、最大长度等设置是至关重要的。这些参数允许精确控制模型的输出，以适应特定的任务或应用程序。它们管理响应中的随机性、响应长度和重复频率等方面，共同改进您与AI的交互。
明日预告
《LLM的缺陷-AI基础系列文章第13篇》
语言学习模型（LLMs）是强大的工具，但存在引用来源不准确、偏见、幻觉、数学困难和提示攻击等问题。LLMs无法准确引用来源，容易产生偏见和错误信息。数学任务困难，容易被提示攻击操纵。了解这些限制，使用LLMs需谨慎，可使用增强型LLMs或专门工具来缓解问题。目标是更有效和负责任地使用LLMs，并不断改进这些模型。
