Prompt 工程师助力你释放人工智能的力量

160 阅读9分钟

在快速发展的人工智能领域,出现了各种专业角色,以帮助公司和组织利用机器学习的力量。其中一个角色是提示工程师,一个负责制作高质量提示的人,可以用来训练AI模型。

提示工程正在成为人工智能领域的一个强大工具,专家预测它将彻底改变人工智能模型的开发和部署方式。围绕提示工程的炒作是由于它能够显著提高人工智能模型的准确性和效率,使它们在现实世界的应用中更加可靠和有效。因此,许多公司和组织正在大力投资提示工程,越来越多的初创公司(例如PromptBase)专门专注于开发先进的提示工程技术。这导致提示工程师职位的招聘信息激增,工资达到六位数。然而,一些专家提醒说,围绕提示工程的炒作可能被夸大了,关于如何有效设计和实施提示,还有很多东西需要学习。尽管存在这些挑战,提示工程的前景正在激发整个人工智能行业的兴奋,因为研究人员和工程师正在努力释放其全部潜力。

现在判断炒作是否过度还为时过早,但毫无疑问,提示工程将在不久的将来成为一项不可或缺的技能。当陪审团还没有出来的时候,让我们回顾一下提示工程的基本知识,以及提示工程师如何支持机器学习项目。

什么是提示工程师?

首先,让我们讨论一下什么是提示。

核心是,提示是一段用于指导人工智能模型执行特定任务的文本。例如,提示可用于帮助语言模型生成连贯且语法正确的句子,或帮助图像识别模型识别图像中的特定对象或模式。

比方说,你想用人工智能语言模型来生成一个关于猫的故事。你将提供一个提示,这是模型建立的一个起点。这个提示可以是这样的:

"很久以前,有一只毛茸茸的白猫叫雪球。雪球和她可爱的主人莎拉住在一个舒适的房子里。有一天,雪球决定去冒险......"

图片来自PixabayEngin Akyurt

然后,语言模型将使用这一提示来生成一个关于雪球的故事,从提示中提供的出发点继续。该模型将在提示的背景和结构的指导下,生成符合故事主题的连贯和语法正确的句子。

"雪球,这只毛茸茸的白猫,一直对她舒适的家以外的世界感到好奇。有一天,她决定冒险出去探索附近的世界。

她悄悄地溜出家门,开始了她的冒险。当她走在街上时,她看到了许多她以前从未经历过的新景象和气味。她看到松鼠在树上乱窜,鸟儿在树丛中鸣叫......"

同样,如果你想使用图像识别模型来识别图片中的特定物体,你将提供一个提示,描述模型应该在图片中寻找什么。例如,你可以提供这样一个提示:"识别这张图片中的所有交通灯"。

FireFox浏览器插件:Buster Captcha Solver

然后,图像识别模型将使用这个提示来扫描图像,并找到所有符合提示中描述的物体。

那么,工程部分呢?

作为一名提示工程师,你的主要责任是创建适合特定模型和任务的提示。虽然这不需要对大型语言模型有深入的了解,但对机器学习模型的训练方式有一个扎实的了解,以及用什么样的数据来训练你的模型,确实有帮助。

让我们回顾一下大型语言模型(LLM)的一些基本知识,这些知识是作为一个提示工程师必须考虑的。

  • 语言模型在大型文本数据集上进行预训练,以学习自然语言的模式和结构,这使它们能够执行各种语言相关的任务。
  • 不同的LLM是为特定任务设计的,如语言翻译、问题回答、情感分析、文本分类和总结。
  • 像BERT和RoBERTa这样的模型是专门为自然语言处理(NLP)任务设计的,如情感分析和文本分类,而GPT-3是为语言生成和完成任务设计的。
  • 另一方面,变形器被设计用于序列到序列的学习,这对语言翻译等任务很有用。
  • 每个LLM都有自己的优势和劣势,为特定的任务选择合适的模型对于实现最佳结果至关重要。

作为一名提示工程师,你必须知道如何为你的用例选择正确的LLM。

提示工程师面临的挑战

提示工程师面临的关键挑战之一是需要在具体性和通用性之间取得平衡。一方面,提示需要足够具体,以引导模型达到预期结果。另一方面,它们需要足够的通用性,以使模型能够将其所学应用于广泛的输入。

为了实现这种平衡,提示工程师需要熟练地制作既简明又有效的自然语言提示。他们需要能够预测模型将如何回应不同的提示,并根据需要对提示进行调整以提高其准确性和效率。

比方说,你正在研究一个人工智能语言模型,为一个电子商务网站生成产品描述。你的目标是创建提示,引导模型生成既能提供信息又能吸引潜在买家的描述。

你首先要创建一个提示,介绍产品,突出其主要特点,并以鼓励用户购买的行动呼吁来结束。下面是一个提示的例子:

"介绍我们最新的产品--XYZ智能手表!这款时尚的手表配备了高分辨率彩色触摸屏,心率监测器和内置GPS。通过可定制的通知、健身追踪和语音控制,在旅途中保持联系和组织。现在就订购,体验一下可穿戴技术的极致!"

图片来自PixabayPhi Nguyễn

在用这个提示测试模型后,你注意到它倾向于生成过于冗长和详细的描述,这使得它们对那些寻求快速和简洁信息的潜在买家来说不太有效。

为了提高模型的准确性和效率,你对提示进行了调整,缩短了它,并强调了产品的最重要的特点。以下是修订后的提示:

"迎接XYZ智能手表!这款手表有一个高分辨率的触摸屏、心率监测器和GPS,它拥有所有功能。通过可定制的通知保持联系,跟踪你的健身目标,并只用你的声音控制你的设备。现在就订购,享受终极可穿戴技术!"

通过这些调整,你已经精心设计了一个更简洁有效的提示,引导模型产生对潜在买家更有吸引力的描述。提示工程的过程涉及到这种反复的完善,提示工程师预测模型将如何回应不同的提示,并根据需要进行调整,以实现所需的准确性和效率的平衡。

机器学习团队中的提示工程师职位

除了制作提示外,提示工程师还负责测试和验证他们所使用的模型的性能。这涉及到运行模拟和实验,以评估模型对不同提示的反应,并根据需要进行调整以提高其性能。

提示工程师使用各种方法来测试和验证人工智能模型的性能。定性或定量评价包括研究人员手动审查模型产生的输出,并评估其质量和一致性。人工评估招募评估员,根据准确性、相关性和流畅性等标准对输出进行审查和评级。自动评估方法包括像BLEU、ROUGE和METEOR这样的指标来评估模型输出的质量。A/B测试包括将两个不同版本的模型或提示随机分配给不同的用户群,并比较其性能。真实世界测试包括在实时聊天机器人或虚拟助手中部署模型,并收集用户对互动质量的反馈。

提示工程师和人工智能

人工智能模型的好坏取决于指导它们的提示,而提示工程师则负责确保提示的设计合理、有效和高效。为了做到这一点,提示工程师与数据科学家、机器学习工程师和其他利益相关者密切合作,了解人工智能模型的目标和它将被使用的背景。这种理解使提示工程师能够制作适合手头任务的提示,同时考虑到预期的受众、所需的准确度和系统的限制。

提示工程师必须能够预测人工智能模型将如何解释不同的提示,并相应地调整它们,以提高模型的性能。他们还必须能够平衡对准确性的需求和对效率的需求,确保模型不仅能够产生准确的反应,还能快速有效地完成。

除了设计提示外,提示工程师还负责测试和验证人工智能模型的性能。这包括开发涵盖一系列场景的测试案例,并评估模型对这些案例的反应。提示工程师使用这些测试的结果来完善提示,并改善模型的整体性能。

提示工程师对于人工智能模型在现实世界应用中的成功至关重要。自然语言处理和机器学习方面的专业知识使他们能够制作有效的提示,引导模型产生准确和连贯的反应。通过优化提示和完善模型的性能,提示工程师有助于确保人工智能模型能够实现预期的结果,为企业、组织和个人提供价值。