嘿,各位老铁,我是你们越来越“懒”的元哥。
上一期,咱们给AI装上了“外挂”RAG和“工具箱”ART,把它从一个“军师”打造成了能干活的“行动派”。评论区有朋友说:“元哥,我现在是能指挥AI军团了,但每次出征前,设计那些复杂的指令(Prompt)还是好累啊!”
说到我心坎里去了!我们这群“懒惰”的程序员,毕生追求的就是“自动化”一切,连写Prompt这件事本身,最好也能自动化!
你别说,还真有办法!
今天,元哥就给大家介绍两款“懒人福音”级的大杀器,它们能让AI自己成为一个“提示工程师”,把我们从繁琐的指令设计中解放出来!
第一式:让AI帮你写指令——自动提示工程师 (APE)
咱们之前学的所有技巧,本质都是“人”在想方设法地写出更好的Prompt。但人总有思维定势,我们觉得好的指令,可能并不是AI眼中最高效的。
那咋办?让AI自己去找最高效的指令!这就是“自动提示工程师”(Automatic Prompt Engineer, APE)的核心思想。它把寻找最佳Prompt这件事,变成了一个“AI自己解决”的黑箱优化问题。
这就好比,你是个大老板,想提升产品销量。
- 以前的做法: 你绞尽脑汁,写了一份详细的策划案(Prompt),让团队去执行。
- APE的做法: 你直接对你的金牌总监(一个强大的生成LLM)说:“这里有几个‘成功提升销量’的案例(输入输出范例),你给我‘脑暴’出20个不同的销售策略(候选Prompt)。” 然后,你让一个测试小组(一个执行LLM)去小范围试用这20个策略,看哪个策略带来的效果最好(计算得分)。最后,你采用得分最高的那个策略,并推广到全公司。
【玩法解密】: APE的流程分为两大步:
- 生成(Proposal): 首先,你提供几个任务的“输入-输出”对,让一个AI模型“脑暴”出各种可能的指令。
- 筛选(Selection): 接着,系统会用每一个候选指令去跑你的任务,然后根据结果的准确性给每个指令打分。最终,得分最高的那个“冠军指令”就会被选出来。
【元哥举个栗子】: 假设我们的任务是“把一句话变成问句”。
第一步:我们给APE一个“元提示”(Meta-Prompt),让它生成候选指令。 这个“元提示”长这样:
我给一个朋友一些指令和几个例子。我的朋友根据指令,把每个输入都转换成了输出。这里是这些输入输出对:
输入:“今天是晴天” 输出:“今天是不是晴天?”
输入:“编程很有趣” 输出:“编程是不是很有趣?”
这个指令是:“____”
我们把这个带有“____”的模板发给AI,让它来做“完形填空”。它就会“脑暴”出一堆可能的指令:
- 候选指令1:“把陈述句变成疑问句。”
- 候选指令2:“判断以下句子的真伪。”(这个显然是错的,但AI也可能会想到)
- 候选指令3:“为下面的句子加上问号和适当的疑问词。”
- 候选指令4:“将句子转换为一个‘是不是’类型的问题。”
- ...等等
第二步:筛选出“冠军指令”。 系统会用上面每一个候选指令,去测试更多的句子。它会发现,用指令1和指令4时,AI的表现最稳定、最准确。而用指令2和指令3时,AI经常出错。最终,经过评分,指令1:“把陈-述句变成疑问句”得分最高,成为我们解决这类任务的“天选之子”。
【封神时刻】: APE最经典的战绩,就是它击败了人类。我们都知道那句著名的思维链“咒语”:“Let's think step by step.”。而APE通过自己的“脑暴”和“测试”,发现了一句更牛的咒语: “Let's work this out in a step by step way to be sure we have the right answer.” (让我们一步步地解决它,以确保我们得到正确的答案。) 就因为多了后面这半句,在一些数学题测试集上,AI的准确率又提升了好几个百分点!
你看,在写指令这件事上,AI有时候真的比我们自己更懂AI!
第二式:让AI帮你划重点——主动提示 (Active-Prompt)
咱们在第二期讲过“少样本提示”(Few-shot),就是给AI几个例子(Exemplars),让它照着学。这招好用,但有个灵魂拷问:给什么例子,学习效果最好?
我们凭感觉选的例子,很可能AI早就懂了,再学也是浪费时间;而真正难的、关键的“边界案例”,我们可能压根就想不到。
“主动提示”(Active-Prompt)就是来解决这个痛点的“神器”。它的核心思想,是让AI自己找出它最搞不懂的“疑难杂症”,然后主动来向你(人类老师)“请教”,把宝贵的人工标注资源用在刀刃上。
【玩法解密】: Active-Prompt的精髓,就是一套“基于不确定性来筛选提问”的自动化流程。它通过AI对自己答案的“分歧”程度,来判断自己对一个问题的“不确定性”。
【元哥举个栗子】: 假设我们的任务是判断电影评论的情感(积极/消极)。
第一步:AI遇到一个“疑难杂症”。
需要判断的句子: “我勒个去,这电影可真是个‘神作’啊!”
这句话里的“我勒个去”和带引号的“神作”,都充满了不确定性,可能是真情实感的赞美,也可能是阴阳怪气的反讽。
第二步:AI开始“内心挣扎”(计算不确定性)。 系统会用“思维链”的方式,让AI对这个问题进行多次(比如k=4次)独立的思考和解答。由于推理时存在随机性,我们可能会看到这样的“内心活动”:
- 想法1: “‘我勒个去’是强烈的情感表达,‘神作’是最高赞美。结论:积极。”
- 想法2: “给‘神作’打上引号,通常是反讽用法,意思是‘烂片’。结论:消极。”
- 想法3: “结合网络用语的语境,这种夸张的说法很可能是反讽。结论:消极。”
- 想法4.: “‘我勒个去’和‘神作’都是正面词汇,即使有引号,也更可能是表达一种‘好到超乎想象’的惊喜。结论:积极。”
第三步:AI“举手提问”。 系统发现,4次思考,得出了2个“积极”和2个“消极”的结论,答案五五开。这说明AI对这个问题“极度不确定”。于是,系统将这个问题标记为“疑难杂症”,并推送给我们人类专家。
第四步:人类专家“划重点”。 我们看到这个问题后,结合上下文,判断出这确实是一句反讽。于是,我们为它撰写一个高质量的“标准答案”和思维过程,例如:“这句话是反讽。因为‘神作’加上了引号,并且结合了夸张的语气词‘我勒个去’,它实际表达的是对电影质量的强烈不满。因此,情感是消极的。”
这个由我们亲自操刀的“黄金范例”,就会被加入到AI的“教材”中。通过这样精准地学习了最难的案例后,AI未来再遇到类似的阴阳怪气,就能心领神会了。
元哥小结
今天这两招“懒人福音”,还附赠了实战案例,是不是让你大开眼界?
- APE(自动提示工程师): 核心是“自动找指令”。通过“生成+筛选”的两步走策略,让AI帮你从无数可能性中,找到那句最有效的“魔法咒语”。
- Active-Prompt(主动提示): 核心是“主动找例子”。通过计算AI对问题答案的“分歧度”,让它自己找出最搞不懂的“知识盲区”,从而让我们的“教学”(人工标注)效率最大化。
这两招的出现,标志着Prompt Engineering正在向着“自动化”和“智能化”的方向高歌猛进。我们人类的角色,正在从一个“一线执行者”,慢慢转变为一个“策略制定者”和“最终审核者”。
把重复的、繁琐的试错工作交给AI自己,我们则专注于更有创造性的顶层设计。这,也许就是未来人机协作的终极形态。
那么,既然AI越来越“理科生”了,我们能不能让它用更纯粹的“理科思维”——比如,写代码——来解决问题呢?
下一期,元哥就带大家看看,如何让AI从一个“文科生”,变成一个会写代码、会计算的“理科状元”!
【引用说明】
本文的创作灵感和核心知识点来源于《Prompt Engineering Guide》网站的技术文档及相关论文。
- Automatic Prompt Engineer (APE): www.promptingguide.ai/techniques/…
- Active-Prompt: www.promptingguide.ai/techniques/…
- APE Paper: arxiv.org/abs/2211.01…
- Active Prompt Paper: arxiv.org/abs/2302.12…
大家也可微信搜索“极客纪元”并关注我,获得更多分享。