模型参数设置
使用提示词时，我们通常会通过 API 或直接与大语言模型进行交互，可以通过配置一些参数以获得不同的提示结果。调整这些设置对于提高响应的可靠性非常重要，我们可能需要进行一些实验才能找出适合您的用例的正确设置。以下是使用不同LLM提供程序时会遇到的常见设置：
Temperature：简单来说，temperature 的参数值越小，模型就会返回越确定的一个结果。如果调高该参数值，大语言模型可能会返回更随机的结果，也就是说这可能会带来更多样化或更具创造性的产出。（调小temperature）实质上，你是在增加其他可能的 token 的权重。在实际应用方面，对于质量保障（QA）等任务，我们可以设置更低的 temperature 值，以促使模型基于事实返回更真实和简洁的结果。 对于诗歌生成或其他创造性任务，适度地调高 temperature 参数值可能会更好。
Top_p：同样，使用 top_p（与 temperature 一起称为核采样（nucleus sampling）的技术），可以用来控制模型返回结果的确定性。如果你需要准确和事实的答案，就把参数值调低。如果你在寻找更多样化的响应，可以将其值调高点。
使用Top P意味着只有词元集合（tokens）中包含top_p概率质量的才会被考虑用于响应，因此较低的top_p值会选择最有信心的响应。这意味着较高的top_p值将使模型考虑更多可能的词语，包括不太可能的词语，从而导致更多样化的输出。
一般建议是改变 Temperature 和 Top P 其中一个参数就行，不用两个都调整。
Max Length：您可以通过调整 max length 来控制大模型生成的 token 数。指定 Max Length 有助于防止大模型生成冗长或不相关的响应并控制成本。
Stop Sequences：stop sequence 是一个字符串，可以阻止模型生成 token，指定 stop sequences 是控制大模型响应长度和结构的另一种方法。例如，您可以通过添加 “11” 作为 stop sequence 来告诉模型生成不超过 10 个项的列表。
Frequency Penalty：frequency penalty 是对下一个生成的 token 进行惩罚，这个惩罚和 token 在响应和提示中已出现的次数成比例， frequency penalty 越高，某个词再次出现的可能性就越小，这个设置通过给 重复数量多的 Token 设置更高的惩罚来减少响应中单词的重复。
Presence Penalty：presence penalty 也是对重复的 token 施加惩罚，但与 frequency penalty 不同的是，惩罚对于所有重复 token 都是相同的。出现两次的 token 和出现 10 次的 token 会受到相同的惩罚。 此设置可防止模型在响应中过于频繁地生成重复的词。 如果您希望模型生成多样化或创造性的文本，您可以设置更高的 presence penalty，如果您希望模型生成更专注的内容，您可以设置更低的 presence penalty。
与 temperature 和 top_p 一样，一般建议是改变 frequency penalty 和 presence penalty 其中一个参数就行，不要同时调整两个。
提示词基本概念
我们可以通过简单的提示词（Prompts）获得大量结果，但结果的质量与提供的信息数量和完善度有关。一个提示词可以包含我们传递到模型的指令或问题等信息，也可以包含其他详细信息，如上下文、输入或示例等。我们可以通过这些元素来更好地指导模型，并因此获得更好的结果。
看下面一个简单的示例：
提示词：
The sky is
输出：
blue.
OpenAI Playground提示模型的方法如下：
需要注意的是，当使用 OpenAI 的 gpt-4 或者 gpt-3.5-turbo 等聊天模型时，你可以使用三个不同的角色来构建 prompt： system、user 和 assistant。其中 system 不是必需的，但有助于设定 assistant 的整体行为，帮助模型了解用户的需求，并根据这些需求提供相应的响应。上面的示例仅包含一条 user 消息，你可以使用 user 消息直接作为 prompt。为简单起见，本指南所有示例（除非明确提及）将仅使用 user 消息来作为 gpt-3.5-turbo 模型的 prompt。上面示例中 assistant 的消息是模型的响应。你还可以定义 assistant 消息来传递模型所需行为的示例。
从上面的提示示例中可以看出，语言模型能够基于我们给出的上下文内容 "The sky is" 完成续写。输出可能是出乎意料的，或者与你想要完成的任务相去甚远。实际上，这个基本示例突出了提供更多上下文或明确指示你想要实现什么的必要性。这正是提示工程的核心所在。
让我们试着改进一下：
提示词：
Complete the sentence: The sky is
输出：
blue during the day and dark at night.
结果是不是要好一些了？本例中，我们告知模型去完善句子，因此输出结果看起来要好得多，因为它完全按照你告诉它要做的（“完善句子”）去做。在本指南中，这种设计有效的提示词以指导模型执行期望任务的方法被称为提示工程。
以上示例基本说明了现阶段的大语言模型能够发挥的功能作用。它们可以用于执行各种高级任务，如文本概括、数学推理、代码生成等。
