LLM 提示工程(1)基本概念

248 阅读2分钟

前言

市面上大模型应用越来越多,RAG+LLM做问答,翻译,编程辅助,应用场景也越来越多。甚至普通人也有了机会参与其中,这里记录自己在此过程中学习到的知识,权当分享。

提示工程,简单来说就是想要让大模型让自己想要的功能跟输出来返回结果。这并不简单,大模型本身能力强大,但也有其局限性。

提示工程不仅仅是关于设计和研发提示词,也包含了与大语言模型交互和研发的各种技能和技术。用户可以通过提示工程来提高大模型的安全性,也可以赋予大模型更专业的能力。

基本概念

大模型的一些基础配置,这个估计很多地方都有,这个地方也贴一份。关键参数还是需要了解的。

temperature 直译是温度的意思,实际代表随机度,0-1, 越低代表确定性越高,越高就代表结果越随机。一般来说像问答场景,会设置低一点,像闲聊这种开放场景,就会设置高一点。

top_p 跟temperature一样,也是控制模型的随机度。寻找准确且真实的答案,往小了调。寻找更多样化的响应,往大了调。 一般来说,temperature跟top_p改变一个就好了,一般用temperature比较多。

max_length 控制模型输出的最大token数。

Frequency Penalty 频率惩罚,越高某个词出现的可能性就越小,用来减少单词的重复性。

Presence Penalty 存在惩罚也对重复标记施加惩罚,但与频率惩罚不同,惩罚对于所有重复标记都是相同的。出现两次的令牌和出现 10 次的令牌受到相同的惩罚。此设置可防止模型在响应中过于频繁地重复短语。如果您希望模型生成多样化或创造性的文本,您可能需要使用更高的存在惩罚。