了解更多：芝士AI吃鱼
大型语言模型 (LLMs) 例如 GPT-4，经常被简单地描述为仅靠概率预测下一个单词的模型。过去我也曾分享过这种观点，以降低人们对这类模型的高期望值。然而，这种看法低估了现代大型语言模型的真正复杂性。如果您曾有机会与像 GPT-4 这样的前沿模型进行交互，您可能会注意到它们拥有一些超出简单单词预测能力的特性。这篇文章并不是要让您信服这些模型的强大功能 - 对于这些模型的用户来说，这应该是显而易见的。相反，我们将深入探讨使大型语言模型超越单纯单词预测的技术基础，探索这些模型开发和训练过程中涉及的复杂过程。
理解上下文、生成连贯且创新的文本，甚至展现出解决问题的技能等新兴能力表明，这些模型正在触及语言理解和生成更深层次的领域。它们是如何做到这一点的呢？这仅仅是其单词预测能力的延伸，还是存在着其他因素？通过剖析驱动这些先进模型的机制，我将尝试阐明其能力的真正范围以及对人工智能未来的影响。
浅谈语言模型和Transformers的基础组件：token 预测
语言模型本质上是根据上下文来预测句子中的下一个单词。这个看似简单的概念随着时间推移已经发生了巨大变化。最初，模型依赖于基本的统计方法，根据单词在给定序列中出现的可能性来预测下一个单词。杰里米·霍华德 (Jeremy Howard) 在 2017 年引入的 ULMFit 标志着向前迈出了重要一步，它提倡在大型语料库上预训练一个“通用”模型，然后可以微调该模型以完成特定任务。这种方法为更复杂的模型铺平了道路。
同年，谷歌研究人员发表的具有开创性意义的“注意力就是你需要的一切”论文将 Transformer 模型介绍给了全世界。这些模型近年来在语言模型领域占据主导地位，它们采用了一种独特的机制，可以关注句子中每个单词的上下文，而不管其位置。这使得文本理解和生成更加细致。尽管我之前在其他文章中更深入地研究过 Transformer 模型（请参阅“Transformer 目录”的博客文章和出版物版本），但重要的是要认识到它们是现代大型语言模型的支柱，尽管这些模型非常复杂，但本质上仍然依赖于预测序列中下一个最可能的单词。
聚焦指令的大模型：超越基础token预测
深入研究大型语言模型的演变历程，我们发现 OpenAI 在 2022 年推出 InstructGPT 是一个重要里程碑。该模型通过强调模型更有效地遵循人类指令，标志着与传统训练方法的背离。InstructGPT 利用了微调的概念，这是一种大型语言模型工具包中熟知的技术，但它具有新颖的侧重点：增强模型对细致人类提示的响应能力。
这项创新标志着大型语言模型领域更广泛的转变。仅仅预训练不再足够; 现在开发尖端大型语言模型需要一种多层方法。当今的训练方案包含一系列复杂步骤：预训练、指令调优、对齐、针对特定任务或多任务的微调以实现专业化能力，以及用于优化交互的提示调优。
image.png
现代大型语言模型的综合训练过程：从基础预训练到细致的提示调优，该图概述了开发能够进行复杂人类交互的 LLM 的关键阶段。
我们将进一步探讨这些步骤，揭示它们如何共同构建大型语言模型，这些模型不仅能够理解语言，还能以前所未有的精细度解释和执行复杂指令。这些进步对人工智能的未来有何影响？它们将如何重新定义我们与机器的交互方式？以下部分将深入研究这些问题，阐明塑造当今大型语言模型的技术和人类指导之间微妙的互动。
通过监督微调（SFT）增强大语言模型
对于大型语言模型 (LLMs) 擅长特定任务而言，监督微调 (SFT) 是核心环节。这一关键步骤利用标记数据来调整像 BERT 这样经过广泛训练的基础模型，使其在不同的应用中表现出色。具有开创意义的 BERT 论文就例证了这一点，它详细介绍了该模型如何适应 11 项不同的任务，展示了 SFT 的变革性影响。
即使是最新的大型语言模型也拥有令人印象深刻的开箱即用能力，但 SFT 的定向应用可以显著提升其性能。OpenAI 的研究结果证明了这一点，他们发现经过微调的 GPT-3.5 Turbo 在某些特定任务上可以超越 GPT-4，这凸显了 SFT 持久的相关性。
SFT 的通用性不仅限于单任务优化。多任务微调 可以丰富模型的适用范围，简化提示工程，并有可能绕过检索增强生成的需求。这种方法不仅可以提高结果的准确性，还可以让模型接触到新颖或独有的数据集，确保其与新兴知识领域同步发展。
SFT 不仅可以提高基础 LLM 在给定任务或多个任务上的性能，还可以提供其他优势。例如，它提供了一种使用原始数据集中不存在的专有数据训练模型的方法。或者，当使用参数高效微调 (PEFT) 时，它不仅可以产生更准确的结果，还可以创建更小的 LLM。正如我们将在下一部分看到的那样，SFT 还可用于使模型更擅长遵循人类指令。
指令微调：进一步提升模型能力
指令调优是微调的一项关键应用，它可以精心打造大型语言模型，使其更好地理解和执行人类提示所定义的任务（即指令）。指令调优的核心在于完善模型解析和响应特定任务指令的能力，确保结果符合人类期望。
此过程的核心是像自然指令 (Natural Instructions) 这样的专业数据集，这些数据集提供了丰富多样的任务定义、示例以及关键的注意事项。这些数据集作为指令调优的蓝图，引导模型掌握人类指令的细微差别。注意：在我们探索将大型语言模型与人类意图对齐的复杂过程中，必须考虑伦理影响，并确保指令数据集包含广泛的视角，从而培养既高性能又公正的模型。
通过对 InstructGPT 和 Alpaca 等模型的对比分析，可以证明指令调优的有效性。经过调优后，这些模型相比其基础版本 (GPT-3 和 LLaMA) 显示出明显优势。这些改进不仅仅是渐进式的，而是重新定义了模型在一系列基准测试中的效用，涵盖自然语言理解到特定任务的解决问题能力。
引导大型语言模型与人类价值观相一致：对齐方法和技术
人工智能对齐是大型语言模型开发过程中的一项重要工作，旨在确保这些模型符合人类的目标、原则和偏好。尽管这些模型非常复杂，但仍可能无意中生成偏见、误导或有害内容。解决这些挑战需要一系列对齐技术，每种技术都拥有独特的方法和应用。请注意，指令调优本身就是迈向对齐的第一步。并且，根据一些近期研究，只有参数量超过 70 亿的超大型模型才能从更复杂的对齐方法中获益。
强化学习来自人类反馈 (RLHF) 简化了将大型语言模型输出与人类判断对齐的复杂过程。通过使用经过人类反馈训练的奖励模型，RLHF 可以微调大型语言模型以产生更符合人类期望的响应。这个迭代过程涉及评估大型语言模型的输出，并根据人类评分的偏好进行调整，从而更贴近预期的结果。Deepmind 的研究人员最近的一项研究表明，选择正确的人类反馈获取方法（例如，通过使用汤普森采样调整过程的探索/利用方面）可以显著改善结果。
与之形成对比的是，强化学习来自人工智能反馈 (RLAIF) 利用现有的、良好对齐的模型来指导大型语言模型的训练。这种方法使大型语言模型能够从嵌入这些高级模型的 vast (巨大的) nuanced (细致的) understanding 中学习，从而在没有直接人类干预的情况下加速对齐过程。
直接偏好优化 (DPO) 解决了强化学习来自人类反馈 (RLHF) 中的一些固有挑战，例如其复杂性和不稳定性。DPO 通过直接根据人类偏好训练大型语言模型来优化对齐，从而绕过了对单独奖励模型的需求。这种简化的方式可以实现更稳定、更高效和更有效的对齐，尤其是在控制大型语言模型响应的语气和质量方面。
Kahneman-Tversky 优化 (KTO) 通过消除对配对偏好数据的需求引入了一种新颖的范式。KTO 仅根据输出的可取性来评估输出，从而简化了数据需求并使对齐更加容易实现，尤其对于拥有大量客户互动数据的组织而言。
Self-Play Fine-Tuning (SPFT) 采用了一种独特的方法，使大型语言模型能够从自己生成的内容中学习。这种自我反射的方法允许大型语言模型通过内部试错过程来改进其对语言的理解和生成，从而在各种基准测试中取得显著进步。
需要注意的是，还有一些预训练技术也可以帮助实现对齐。事实上，微软的研究人员在他们关于 Phi 的工作中表明，在预训练步骤中使用精心制作的合成数据比使用像 RLHF 这样的预训练后技术可以带来更好的对齐（有关 Phi-2 模型的更多细节，请参阅此处博客文章）。
精雕细琢的互动：提示调优的艺术
随着大型语言模型接近部署阶段，提示调优变得必不可少，因为它可以完善人类与这些模型交流的接口。提示调优涉及在零次学习或少量学习场景中，精心设计和优化用于引发大型语言模型特定响应或行为的提示。请注意，提示调优可以像指令调优一样用于改善对齐，但它还有许多其他应用。
提示调优的核心是元提示和提示模板 - 这些都是指导模型理解和生成响应的脚手架。元提示是将任务情景化的高级指令，而模板则为输入和期望输出提供结构。例如，元提示可能会指示大型语言模型提供建议，而模板则以特定格式或样式构建此建议。
提示调优的迭代本质取决于严格的评估标准。这些基准会根据各种维度（例如大型语言模型响应的相关性和连贯性）评估提示，确保最终的提示与用户意图和任务需求紧密结合。
通过一些实用案例，例如优化客户服务聊天机器人或内容生成工具的提示，我们可以观察到提示调优的变革性影响。这些案例强调了经过调优的大型语言模型可以解决任务的更高效性和特异性，预示着人机交互的新时代。
对于那些渴望探索提示设计和工程的复杂策略和方法的人，我邀请您深入阅读我最近的出版物，该出版物提供了对该领域的全面探索。
总结
经过我们深入探讨，显而易见的是，现代大型语言模型 (LLMs) 已经超越了仅仅预测下一个单词的基础功能。从针对特定任务的细致微调，到与人类价值观相匹配的复杂调整，以及巧妙的提示设计，大型语言模型开发的每一步都使其具备了更多的复杂性和适应性，让它们的功能远超单纯的词语预测。
每个阶段如何精准地影响大型语言模型的新兴能力，这仍然是一个引人入胜的谜题，值得人工智能界进一步研究和讨论。随着我们即将迎来新的突破，大型语言模型潜在的未知能力和应用领域也在不断扩展，挑战着我们现有的理解和期望。
因此，下次当人们讨论大型语言模型的本质时，请记住这些模型是众多创新成果的结晶，每一项创新都为它们与世界的互动增添了深度和维度。让我们正视其复杂性，并不断推动这些卓越工具的可能性边界。
