本章概述了与生成式人工智能相关的关键概念、技术和集成模式，帮助你在实际应用中利用这些能力。 我们将介绍生成式人工智能架构，如Transformer和扩散模型，这些模型为生成式模型提供基础，能够生成文本、图像、音频等内容。你将简要了解一些专门的训练技术，如预训练和提示工程，这些技术将基本的语言模型升级为创作的强大工具。 了解这一领域创新的快速进展至关重要，因为新的模型和伦理考量不断涌现。我们将介绍一些实验策略，帮助你在确保负责任、透明发展的同时，快速进行实验。 本章还将介绍将生成式人工智能融入实际工作流的常见集成模式。无论是构建实时利用模型的聊天机器人，还是执行数据的批量增强，我们都会介绍一些原型设计蓝图，帮助你快速开始构建AI驱动的系统。 到本章结束时，你将获得一个全局视角，了解哪些生成式人工智能模型可用，为什么实验至关重要，以及这些集成模式如何帮助你利用生成式人工智能为组织创造价值。 简而言之，以下主要主题将被涵盖：
- 与AI互动
- 预测性AI与生成式AI的应用场景构思
- 范式的变化
- 一般生成式AI概念
- 生成式AI集成模式简介
从AI预测到生成式AI
本节的目的是简要概述人工智能，并强调我们与其初次接触的经历。2000年代初，人工智能开始变得更加贴近消费者。例如，在2001年，谷歌推出了“Did you mean?”功能（blog.google/intl/en-men…），该功能建议拼写纠正。这是谷歌首次应用机器学习的例子，也是公众首次大规模体验的早期AI功能之一。
在接下来的几年里，AI系统变得越来越复杂，尤其是在计算机视觉、语音转文本和文本转语音合成等领域。作为电信行业的一员，我亲眼目睹了语音转文本技术带来的创新，尤其是在集成到互动语音响应（IVR）系统中的应用，这通过让人们用语音代替按数字键的方式，使用户体验得到了显著改善。例如，你可能正在拨打银行的客服电话，接通后你会听到一条提示语，要求你说“余额”来查询账户余额，或者说“开立账户”来开设账户等。如今，我们看到越来越多的AI应用正在简化复杂且耗时的任务。
可用计算能力的指数级增长，加上训练机器学习模型所需的大量数据集，释放了新的AI能力。到了2010年代，AI在某些紧密定义的任务上，如图像分类，开始匹敌甚至超越人类表现。
生成式AI的出现重新点燃了AI领域的兴趣和创新，推出了探索应用场景和系统集成的新方法。像Gemini、PaLM、Claude、DALL-E、OpenAI GPT和Stable Diffusion这样的模型展示了AI系统生成文本、图像和其他媒体的能力。这些输出展示了创造力和想象力，吸引了公众的注意。然而，生成式模型强大的能力也带来了系统设计和负责任部署的新挑战。需要重新思考集成模式和架构，以支持安全、健壮和具有成本效益的实施。特别是，必须通过数据集过滤、人工干预系统、增强监控和即时修复等技术来解决安全性、偏见、毒性和虚假信息等问题。
随着生成式AI的不断成熟，最佳实践和治理框架也必须同步发展。行业领导者已形成像“内容真实性倡议”这样的合作伙伴关系，旨在制定技术标准和政策指导，推动下一代AI的负责任发展。这项技术的巨大潜力，从加速药物发现到构想新产品，只有通过对透明度、伦理和人权的承诺，才能实现。平衡创新与谨慎的建设性合作至关重要。
生成式AI标志着该领域的一个拐点。这股创造性可能的涌动正在开始影响组织和社区。围绕不仅是能力，还包括挑战的开放、循证对话，为AI的部署奠定了基础，赋能人们，释放新的实用价值，并赢得广泛信任。
我们正见证着生成式AI能力前所未有的民主化，通过像谷歌、Meta和亚马逊这样的成熟公司，以及像Anthropic、Mistral AI、Stability AI和OpenAI等初创公司，提供公开访问的API。下面的表格总结了几个领先的模型，这些模型为自然语言和图像生成提供了多功能的基础。
几年前，开发生成式AI需要深度学习的专业知识和大量计算资源。而现在，像Gemini、Claude、GPT-4、DALL-E和Stable Diffusion等模型可以通过简单的API调用访问，几乎没有成本。实验的门槛从未如此低。
这种商品化催生了大量新应用，利用这些预训练模型，从内容生成的创意工具到融入AI的流程自动化解决方案。预计在未来的几个月和几年里，所有行业都将与生成式基础进行集成。
模型变得更加智能，具备更广泛的能力和推理能力，这将减少幻觉并提高模型响应的准确性。多模态能力也在获得关注，模型能够跨文本、图像、音频、视频和3D场景生成和处理内容。在可扩展性方面，模型大小和上下文窗口继续指数级增长。例如，谷歌的Gemini 1.5现在支持1百万个标记的上下文窗口。
总体来看，未来展望显示，生成式AI将深入集成到大多数技术中。这些模型带来了新的效率和自动化潜力，激发了几乎所有行业的创造力。
下面的表格突出显示了当前一些最流行的LLM及其提供商。该表的目的是突出写本书时市场上可用的众多选项。我们预计此表在出版时很快会过时，强烈建议读者深入了解模型提供商的网站，以保持对新发布的关注。
| 模型 | 提供商 | 登陆页面 |
|---|---|---|
| Gemini | deepmind.google/technologie… | |
| Claude | Anthropic | claude.ai/ |
| ChatGPT | OpenAI | openai.com/blog/chatgp… |
| Stable Diffusion | Stability AI | stability.ai/ |
| Mistral | Mistral AI | mistral.ai/ |
| LLaMA | Meta | llama.meta.com/ |
表1.1：流行LLM及其提供商概览
预测性AI与生成式AI应用场景构思
预测性AI指的是通过分析数据来识别模式，并对未来事件做出预测或分类的系统。与此相对，生成式AI模型基于其训练数据中获取的模式，创建新的合成内容，如图像、文本或代码。例如，使用预测性AI，你可以自信地识别一张图片中是否包含猫，而使用生成式AI，你可以根据文本提示创建一张猫的图像，修改现有图像将猫加入其中，或者生成一段关于猫的创意文字。
专注于AI的产品创新涵盖了产品开发生命周期的多个阶段。随着生成式AI的出现，范式已从最初需要收集训练数据以训练传统机器学习模型，转变为利用灵活的预训练模型。
像谷歌的PaLM 2和Gemini、OpenAI的GPT和DALL-E、以及Stable Diffusion这样的基础模型，提供了广泛的基础，能够加速原型开发。它们的多功能能力降低了实验新型AI应用的门槛。
以前，数据整理和从零开始训练模型可能需要几个月的时间才能评估可行性，而现在，通过生成概念验证可以在几天内完成，而无需对基础模型进行微调。
这种生成式方法促进了更多的迭代概念验证。在快速构建基于基础模型的初始原型后，开发人员可以收集特定的训练数据，通过蒸馏等技术进行知识转移，从而定制后续版本；我们将在本书后续深入探讨蒸馏的概念。模型的主要基础包含了已经编码的模式，这些模式对于启动新模型和后续迭代非常有用。
相比之下，预测性建模方法需要提前收集数据并进行训练，才能进行任何应用测试。这种更线性的进展限制了早期的灵活性。然而，一旦有了足够的数据，预测性系统能够高效地学习特定的相关性，并在推理指标上达到较高的置信度。
利用多功能的生成式基础模型支持快速原型开发和应用场景探索。但是，定制的预测性建模在有足够数据的情况下，能够提升在狭窄任务上的性能。将这两种AI方法结合起来，可以在模型部署生命周期中充分发挥它们互补的优势。
除了基础模型的基本应用——提示工程（prompt engineering）之外，还有一些辅助的、更复杂的技术可以增强其能力。比如链式思维（Chain-of-Thought，CoT）和ReAct，这些技术使得模型不仅能够推理某个情况，还能够定义并评估行动方案。
ReAct，介绍于论文《ReAct: Synergizing Reasoning and Acting in Language Models》（arxiv.org/abs/2210.03…），解决了当前LLM（大语言模型）在语言理解与决策能力之间的脱节问题。虽然LLM在任务如理解和问题回答方面表现出色，但它们的推理和行动能力（例如生成行动计划或适应意外情况）通常被分开处理。
ReAct通过提示LLM生成“推理轨迹”，详细说明模型的思维过程，并交替生成与任务相关的行动，弥补了这一鸿沟。这种紧密耦合使得模型能够利用推理进行规划、执行监控和错误处理，同时使用行动从外部资源（如知识库或环境）收集额外信息。这种集成方法显著提高了LLM在语言和决策任务中的表现。
例如，在问答和事实验证任务中，ReAct通过使用简单的Wikipedia API，解决了常见问题如幻觉和错误传播。通过这种互动，模型能够生成比缺乏推理或行动组件的方法更透明、更可靠的解决方案。LLM的幻觉指的是生成的内容似乎合理但缺乏事实支持。对此现象有很多论文致力于解决。例如，论文《A survey of Hallucination in Large Language Models – Principles, Taxonomy, Challenges, and Open Questions》深入探讨了一种方法，旨在不仅识别幻觉，还要减轻幻觉的发生。另一个减轻技术的好例子在论文《Chain-of-Verification Reduces Hallucination in Large Language Models》（arxiv.org/pdf/2309.11…）中有所涉及。截至本书写作时，幻觉仍然是一个快速发展的领域。 CoT和ReAct都依赖于提示：通过精心设计的指令引导LLM的思维过程。CoT，介绍于论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》（arxiv.org/abs/2201.11…），专注于构建推理链条，模仿人类思维。假设你提示模型：“我想烤一个蛋糕，首先，我需要面粉。我在哪里能找到？”模型会回应你一个潜在的来源，比如你的储藏室。这个来回的过程持续进行，构建了一个合乎逻辑的行动和决策链条。
ReAct则进一步整合了行动到推理循环中。可以把它看作是思维和行动之间的动态舞蹈。LLM不仅推理某个情况，还与世界互动，获取信息或采取具体行动，然后根据结果更新其推理。就像模型在同时规划旅行并查看地图，遇到障碍时调整路线一样。
这种推理和行动之间的强大协同作用为LLM解锁了新的可能性。CoT和ReAct通过允许模型追踪其逻辑并纠正方向，解决了错误传播（基于错误假设做出错误结论）等挑战。它们还提高了透明度，使LLM的思维过程清晰易懂。
换句话说，大语言模型（LLM）就像是出色的语言学家，擅长理解和生成文本。但当面对要求推理和行动的实际任务时，它们往往会出现问题。这时，像CoT和ReAct这样的技术便登场了，它们将LLM转变为推理的强大工具。
假设一个LLM帮助诊断复杂的疾病。CoT可以引导它通过一系列症状和检查进行推理，而ReAct则可以提示它查阅医学数据库或进行模拟。这不仅能带来更准确的诊断，还能使医生理解LLM的推理过程，从而增强信任和合作。
这些未来应用正推动我们不断构建和投资这一技术，令人振奋。在我们深入探讨如何利用生成式AI技术为业务创造价值的模式之前，让我们先回顾一下几个初步概念。
范式的变化
虽然在技术领域感觉像是很久以前的事，但让我们回到几年前，那时如果你开始解决一个AI问题，你不能默认通过网络或托管端点利用预训练模型。这个过程非常细致——你必须首先明确具体的应用场景，识别你可用并能够收集的数据来训练自定义模型，选择合适的算法和模型架构，使用专门的硬件和软件来训练模型，并验证输出是否真的能够帮助解决当前的任务。如果一切顺利，你将拥有一个可以接受预定义输入并提供预定义输出的模型。
随着LLM（大语言模型）和大型多模态模型的出现，范式发生了深刻的变化。突然间，你可以访问一个拥有数十亿参数的预训练模型，并可以立即开始使用这些多功能的基础模型进行实验，其中输入和输出本质上是动态的。在进行一番调试后，你会评估是否需要进行微调，以使模型适应你的需求，而不是从零开始训练整个模型。值得一提的是——在大多数情况下，你甚至不需要对基础模型进行微调。
另一个关键变化与早期的信念有关，那时人们认为一个模型会超越所有其他模型并解决所有任务。然而，模型本身只是引擎；你仍然需要整个生态系统的组合，才能提供完整的解决方案。基础模型确实展示了一些超出预期的令人难以置信的能力。但我们也发现，某些模型更适合特定任务。通过不同的模型运行相同的提示可能会产生非常不同的输出，具体取决于底层模型的训练数据集和架构。
因此，新的实验路径通常首先关注提示工程、响应评估，然后在存在差距时对基础模型进行微调。这与之前在进行数据准备、训练和实验之前就需要“动手”的流程截然不同。开始使用AI创作的门槛从未如此低。
在接下来的章节中，我们将探讨预测性AI和生成式AI应用场景开发生命周期之间的差异。在每个部分，我们将提供简化开发生命周期的高层次视觉表示，并解释每种方法背后的思维过程。
预测性AI应用场景开发 – 简化生命周期
让我们首先深入了解预测性AI模型开发的过程。一切始于一个好的应用场景，在评估AI应用场景时，投资回报率（ROI）是最重要的考虑因素。思考一下你所在行业或业务中那些可以通过预测结果来解决的痛点。始终关注可行性非常重要——比如是否能够获得所需的数据等。
一旦确定了一个有价值的应用场景，接下来就是选择算法。你有无数的选择——决策树、神经网络、回归分析、随机森林等等。非常重要的一点是，不要被最新和最强大的算法所偏引，而要聚焦于数据和应用场景的核心需求，从而缩小选择范围。在进行测试时，你总是可以根据需要调整或添加更多实验。
有了计划后，现在是时候动手处理数据了。识别数据来源、清理数据以及进行特征工程是一门艺术，往往也是提高模型结果的关键。遗憾的是，这里没有捷径可走！正如人们所说的，“垃圾进，垃圾出”。但一旦你整理好了可以依赖的数据集，接下来就是有趣的部分。
是时候开始与模型互动了。提前定义你的评估过程，明智地分割数据，并开始训练各种配置。别忘了根据验证性能进行监控和调优。然后，一旦你得到了最终的模型，实现一个强健的服务基础设施，使其能够平稳扩展。
但是，等等，别着急！测试并不会在模型投入生产后结束。要持续收集性能数据，监控概念漂移，并在需要时进行再训练。一个可靠的预测模型需要持续的反馈机制，正如图1.1中通过箭头连接的“模型增强”与“测试”所示。在这个领域，没有所谓的“设置并忘记”的做法。
生成式AI应用场景开发 – 简化生命周期
生成式AI应用场景开发的过程与预测性AI类似，但并不完全相同；虽然有一些共同的步骤，但任务的顺序不同。
第一步是潜在应用场景的构思。这个选择需要平衡商业需求，因为满足这些需求是我们的主要目标。
在明确问题定义之后，对已发布模型基准的广泛分析通常有助于选择最适合任务的稳健基础模型。在这一步，值得自问的是，这个应用场景是否更适合使用预测模型？
由于基础模型提供了现成的功能，初步测试通常是过程中的早期步骤。一种结构化的测试方法有助于揭示特定模型的固有优势、弱点和怪癖。定量指标和定性的人类评估共同推动了整个开发生命周期中的迭代改进。
下一步是进入提示工程的艺术。提示是与大语言模型（LLMs）互动的机制。像链式思维提示、骨架提示和检索增强等技术构建了保障机制，使输出更加一致和合乎逻辑。
如果在提示优化后仍存在差距，可以通过微调和蒸馏来增强模型，这是将模型适应目标任务的精确工具。
在极少数情况下，当没有现有模型能够有效地服务于应用场景时，可能需要从零开始预训练一个完全定制的模型。然而，需要牢记的是，由于模型再训练所需的大量数据，这项任务对于大多数应用场景和团队来说并不适用；重新训练基础模型需要大量的数据和计算能力，这使得从财务和技术角度来看，这一过程不具备实用性。
最重要的是，评估与模型改进之间的相互作用强调了负责任地推进生成式AI的深刻经验性。测试通常揭示，解决方案的改进更多来源于问题框架的创造性，而不仅仅是纯粹的技术进步。
正如我们从前面的图中看到的，开发生命周期是一个迭代过程，使我们能够从给定的应用场景和技术类型中实现价值。在本章和本书的其余部分，我们将专注于生成式AI的一般概念，其中一些对于有预测性AI经验的人来说是熟悉的，而另一些则是特定于这个新领域的AI概念。
生成式AI概念概述
将生成式AI集成到实际应用中时，了解模型架构和训练等概念非常重要。本节将概述一些突出的概念，包括Transformer模型、扩散模型、预训练和提示工程，这些概念使得系统能够生成准确的文本、图像、音频等内容。
理解这些核心概念将帮助你在为应用场景选择基础时做出明智的决策。然而，将模型投入生产还需要进一步的架构考虑。我们将在本书的其余章节和实际案例中突出这些决策点。
生成式AI模型架构
生成式AI模型基于专门的神经网络架构，这些架构针对生成任务进行了优化。两种更广为人知的模型是Transformer模型和扩散模型。
Transformer模型
Transformer模型并不是一个新概念。它们首次由谷歌在2017年的一篇名为《Attention Is All You Need》（arxiv.org/pdf/1706.03…）论文中提出。论文解释了基于注意力机制的Transformer神经网络架构，完全依赖于编码器和解码器的概念。这种架构使得模型能够识别输入文本之间的关系。通过这些关系，模型预测下一个token，利用之前的预测作为输入，创建递归循环来生成新内容。
扩散模型
扩散模型作为生成模型引起了广泛关注，因为它们基于非平衡热力学的物理过程。在物理学中，扩散指的是粒子从高浓度区域向低浓度区域运动的过程。扩散模型试图在其训练过程中模仿这一概念。这些模型通过两个阶段进行训练：前向扩散过程向原始训练数据添加“噪声”，然后是反向条件处理过程，学习如何在反向扩散过程中去除噪声。通过学习这一过程，这些模型可以通过从纯噪声开始，利用反向扩散模型清除不必要的“噪声”，保留所需的“生成”内容来生成样本。
生成对抗网络（GANs）
其他类型的深度学习架构，如生成对抗网络（GANs），允许你基于现有数据生成合成数据。GANs之所以有用，是因为它们利用了两个模型：一个生成合成输出，另一个则试图预测该输出是现实的还是伪造的。
通过这个迭代过程，我们可以生成与真实数据无法区分的数据，但又足够不同，可以用来增强我们的训练数据集。另一个数据生成架构的例子是变分自编码器（VAEs），它们使用编码器-解码器方法生成与训练数据集相似的新数据样本。
优化基础模型的技术
有几种技术用于开发和优化基础模型，这些技术在提升AI能力方面发挥了重要作用，其中一些技术在技术和资金方面比其他方法更复杂：
预训练是指在一个大规模数据集上对模型进行完全训练。它使得模型能够从数十亿的数据点中学习非常广泛的表示，这些表示帮助模型适应其他紧密相关的任务。常见的方法包括在无标签数据上进行对比自监督预训练和在庞大的监督数据集（如互联网）上进行预训练。
微调则是将一个预训练模型已经学到的特征表示调整以执行特定任务。这仅调整一些较高层次的模型层，而不是从零开始训练。另一方面，适配器调优为模型提供了小型、轻量级的适配器，这些适配器可以快速调整到新任务，而不会干扰现有的能力。这些可插拔适配器通过学习任务特定的行为，同时重用大部分模型权重，提供了一种高效的方式来积累跨多个任务的知识。它们帮助减轻遗忘以前任务的问题，并简化个性化。例如，模型可能首先在数十亿个网页文本上进行预训练，以获得通用的语言学知识，然后在更具领域特定的数据集上进行微调，用于问答、分类等任务。
蒸馏使用一个“大师”模型来训练一个较小的“学生”模型，使其以较低的成本和延迟重现大型预训练模型的性能。量化和压缩大型模型以便于部署，也有助于优化性能和成本。
综合的预训练、专门的微调、适配器调优和便携式蒸馏的结合，使深度学习在各个领域实现了前所未有的多样性。每种方法巧妙地重用并转移现有的知识，使得生成式AI的定制和扩展变得更加可行。
增强基础模型响应的技术
除了架构和训练的进展，生成式AI的进步还得益于在推理过程中如何通过外部数据增强这些模型的创新。
提示工程（Prompt Engineering）通过调整提供给模型的文本提示，来引导模型的生成质量、能力和属性。设计良好的提示能够指导模型生成所需的输出格式，减少歧义，并提供有用的上下文约束。这使得较简单的模型架构能够通过将人类知识编码到提示中，解决复杂问题。
检索增强生成，也称为RAG（Retrieval-Augmented Generation），通过从外部存储高效检索相关知识来增强文本生成。模型在生成输出之前，会接收作为“上下文”的相关信息，作为额外输入来进行考虑。基础化LLMs（大语言模型）是指提供特定于模型的事实性知识，而不仅仅是模型参数，这样可以生成更准确、更具知识性和更具体的语言。
这些方法共同作用，将基本的预测性语言模型增强为更具多样性、稳健性和可扩展性。通过紧密集成人类知识和基础学习，而不仅仅依赖统计模式，它们减少了模型的脆弱性。RAG处理信息的广度和实时检索，提示提供了深度和规则来生成期望的输出，而基础化将它们与现实绑定在一起。我们强烈鼓励读者熟悉这一主题，因为进行RAG并将模型基础化以防止其产生幻觉已成为行业最佳实践。一个很好的入门资料是以下论文：《Retrieval-Augmented Generation for Large Language Models: A Survey》（arxiv.org/pdf/2312.10…）。
生成式AI领域的持续进化
生成式AI领域的特点是持续创新和快速进展，涵盖了模型架构、应用和伦理考虑等方面。每当一种方法或架构显示出有希望的结果时，数百种竞争性和互补性的方法就会出现，以推动能力向更远处发展。Transformer模型让位于BERT，BERT又被GPT-3超越，随后像DALL-E这样的图像合成器也开始崭露头角，现在GPT-4和Gemini正在争夺行业的领先地位。这一切都发生在过去几年内。
与此同时，我们看到新的模态如音频、视频和3D场景生成在广泛流行和应用上获得了巨大关注。在商业领域，每月都有新的服务推出，目标涵盖了媒体和娱乐、金融、医疗保健、艺术、编程、音乐等多个行业。然而，围绕伦理、访问控制和合法性的问题依然至关重要，以维持公众信任。
一次突破会带来更多的突破，每次突破都解锁了额外的潜力。这种自我推动的循环源自AI的本质——它通过递归地助力创新。唯一可以确定的是，这个领域在几个月内而非几年内将呈现出截然不同的面貌。在这个持续进化的过程中，保持意识、响应能力和责任心至关重要。
生成式AI集成模式的介绍
现在，假设你已经有了一个有前景的应用场景。如你所见，清晰地定义应用场景在继续推进之前至关重要。你已经确定了哪个基础模型能提供适合你需求的表现。现在，你开始考虑生成式AI如何适应应用开发过程。
从高层次来看，将生成式AI与应用集成有两种主要工作流程。一种是实时的，你通常会与最终用户或AI代理进行交互，随着提示的到来提供响应。另一种是批处理处理，要求将需求按组（批次）打包并处理。
实时工作流程的一个典型例子是聊天机器人。在这种情况下，来自用户的提示被处理并发送到模型，然后立即返回响应，因为你需要即时消费这些输出。另一方面，考虑一下数据增强的批处理应用场景。你可以收集多个数据点，稍后再处理并通过模型进行批量增强后使用。
在本书中，我们将通过实际案例探索这些集成模式。这将帮助你获得生成式AI驱动的应用程序的实践经验，并使你能够将这些模式集成到自己的应用场景中。
通过“集成模式”，我们指的是将技术纳入你的应用或系统的标准化架构方法。在这个上下文中，集成模式提供了将生成式AI模型与现实世界软件连接的经过验证的方法。
我们在与生成式AI合作时需要集成模式的几个关键原因：
- 节省时间：遵循已建立的模式，开发人员可以避免在常见集成挑战中重新发明轮子，从而加速价值实现。
- 提高质量：利用集成模式中编码的最佳实践可以实现更稳健、生产级的集成。像可扩展性、安全性和可靠性等问题是重点考虑的内容。
- 降低风险：明确定义的集成模式使开发人员能够减轻在集成新技术时可能出现的性能、成本及其他陷阱的风险。
总体来说，集成模式提供了模板和保障措施，因此开发人员无需从头开始进行集成工作。通过依赖经过验证的蓝图，读者可以更高效地集成生成式AI，同时避免常见的错误。这将大大加快开发周期，并为长期成功的集成奠定基础。
总结
在本章中，我们概述了与生成式AI相关的关键概念、技术和集成模式。你现在已经对生成式AI模型架构（如Transformer模型和扩散模型）有了高层次的了解，并且掌握了开发和增强这些模型的各种方法，包括预训练、微调、适配器调优、蒸馏、提示工程、检索增强生成和基础化等内容。
我们讨论了生成式AI领域的快速创新如何导致持续进化，新的模型和能力以极快的速度出现。这突显了在确保伦理和负责任发展的同时，保持与进展同步的必要性。
最后，我们介绍了将生成式AI与实际应用连接的常见集成模式，考虑了像聊天机器人这样的实时应用场景以及数据增强的批处理任务。我们提供了真实的示例，展示了将生成模型集成到生产系统中的工作流程。
AI的创新速度非常快，要求我们时刻保持意识，迅速进行实验，并以负责任的方式利用最新的进展。这一点在生成式AI领域尤为明显，我们正目睹着AI驱动应用程序的范式转变，使得实验和开发速度更快。
出现了许多增强模型能力和效率的技术，包括预训练、适配器调优、蒸馏和提示工程，每种方法在不同场景下都提供了独特的优势。在将这些AI模型集成到实际应用中时，针对实时工作流（如聊天机器人）和批处理任务（如数据增强）已经形成了一些关键的集成模式。
设计良好的提示已成为有效约束和引导模型输出的关键。此外，像检索增强和基础化等技术已被证明对提高AI生成内容的准确性至关重要。将预测性和生成式方法结合起来是一个非常有趣的领域。这种结合利用了两种方法的优势，在数据充足的情况下进行定制建模，同时利用生成式基础来实现快速原型开发和创新。
这些核心概念为生成式AI系统架构的决策提供了依据。集成模式为将模型连接到各个领域的实际应用提供了蓝图。
利用LLM的力量从识别合适的应用场景开始，找出可以为你的业务创造价值的领域。在下一章中，我们将介绍一个框架和示例，基于预期的商业价值对LLM应用场景进行分类。
在下一章中，我们将探索识别可以用生成式AI解决的应用场景。
