AAAI聚焦：提示工程与AI推理技术
提示工程
"提示工程"指的是致力于从大型生成模型中提取准确、一致且公平的输出。这些模型，如文本到图像合成器或大型语言模型（LLMs），在海量文本语料库上训练，编码了大量关于世界的事实信息。然而，它们的训练目标是在一般情况下生成概率较高的词序列，而非针对特定情况保证准确性。
"例如，我让一个模型生成我的个人简介，它生成的内容相当不错，"加州大学洛杉矶分校计算机科学副教授、某机构Alexa AI部门访问学者张凯威表示。"也许模型是在我的主页上训练的，它正确地说我是加州大学洛杉矶分校的教授，从事自然语言处理研究，并向ACL等会议提交论文。但它也编造了一些随机事实——比如声称我获得了某个奖项，实际上我并没有。"
"这些模型需要某种事实核查机制来过滤掉不适当的内容。AAAI上有几篇论文正是研究如何确保生成的文本具有个性化、可靠性和一致性的。"
在某机构，张教授研究的一个课题是LLMs的公平性问题。同样，由于LLMs的输出基于统计平均，它可能会强化训练数据中普遍存在的刻板印象。例如，如果LLM收到一个提及"医生"的输入（提示），它在生成输出时可能会默认使用男性代词来指代该医生。
"在文本到图像生成中也有类似现象，"张教授补充道。"如果让模型生成一张医生的图片，它很可能生成一位男医生。研究发现，可以通过在提示中添加描述来纠正这一点——例如'所有个体，无论其性别和肤色如何，都可以成为律师'。或者，可以通过添加更多样化的训练数据来提高生成内容的多样性。"
推理
推理涉及推断实体或概念之间的逻辑关系，以执行比当前机器学习模型擅长的分类任务更复杂的任务。许多研究者认为，这必然涉及符号推理——一种多年来似乎被机器学习取代的AI方法。
张教授解释道："可以定义一个损失函数或一个称为'语义概率层'的神经网络层，使模型能够学习使用符号知识进行推理。例如，可以定义一些规则，并根据模型预测违反这些规则的可能性来定义一个损失。然后，通过最小化该损失来训练模型，以避免违反规则。"
"例如，对于语言生成，可以设定约束：'我想生成一个句子，它必须包含某些概念或某些词'——或者反过来，不能包含任何不良词汇。这些约束也可以是'软性'的。例如，在进行机器人规划时，可以设定一个约束：除非必要，机器人不应进入某个特定区域。这并不是说机器人绝对不能进入该区域，而是模型经过训练后会尽量避免这样做。"
事实上，张教授表示，他本人也一直在研究这样一种方法，即使用第二个辅助网络来帮助引导主模型，使其输出满足一组约束条件。
"可以训练一个辅助神经网络，帮助将复杂的约束分解成更小的部分，从而更容易将其整合到模型中。"张教授解释道。"以语言生成为例，假设你想生成一个故事，它必须包含某些用户定义的词汇，同时故事的基调应该是积极的。将这些约束整合到文本生成中是很困难的，因为生成的输出必须连贯，而模型可能不知道在哪里插入这些词并同时保持积极的基调。辅助神经网络可以学习将这些规则分解成词元级别的约束，并产生相应的概率来引导主模型。"FINISHED
