ChatGPT与大模型研究

提示工程，尽管是新兴领域，但它继承了让复杂系统更易于访问的悠久历史。20世纪60年代，COBOL（Common Business-Oriented Language，通用商业语言）被开发出来，旨在使非

到目前为止，我们已经探讨了一些LLM的基础知识——如Transformer、提示工程和一些流行的开源模型。在本章中，我们将深入探讨一些工具，这些工具允许你使用这些模型构建完整的系统——这将使我们能够超

在前几章中，我们已经看到大语言模型（LLMs）是极其复杂的，可能拥有数万亿个参数，并且其准确性很难量化。然而，使用这些系统的另一个固有挑战是它们的缺乏透明度。许多模型是专有的——例如，GPT-4的白皮

尽管大型语言模型（LLMs）似乎已经在人工智能领域占据了主导地位，但实际上，这一现象只持续了几年。人工智能的真正热潮始于2022年11月OpenAI发布ChatGPT，仅用一周时间就达到了百万用户。这

上一章帮助我们建立了对NLP概念的基础理解，如文本表示和语言建模，以及基于RNN的架构来执行生成任务。在本章中，我们将建立在这些概念的基础上，并介绍一些增强功能，这些功能促成了当前最先进的变换器架构的

本书中我们将实现的各种生成性AI模型，都是建立在过去15年深度学习和神经网络领域的进展基础上的。虽然在实践中，我们可以在不参考历史发展情况的前提下实现这些项目，但回溯其基本组件能帮助你更深入理解这些模

在2022年科罗拉多州博览会中，获奖作品是一幅由视频游戏设计师杰森·艾伦创作的奇幻科幻风景，名为《Théâtre D’opéra Spatial》（图1.1）。这幅一等奖艺术作品因其戏剧性的主题和这幅

如今，LLM存在一些主要的局限性，但这并不意味着你梦想中的LLM应用无法构建。你为用户设计的应用体验需要绕过这些局限性，理想情况下还要与这些局限性协同工作。 第五章提到了构建LLM应用时我们面临的关键

在上一章中，您学习了如何处理数据并在向量存储中创建和存储嵌入。在本章中，您将学习如何根据用户的查询高效地检索最相关的嵌入和文档块。这使您能够构建一个包含相关文档作为上下文的提示，从而提高 LLM 最终

在上一章中，你了解了使用LangChain创建LLM应用程序的关键构建块。你还构建了一个简单的AI聊天机器人，该机器人由发送到模型的提示和模型生成的输出组成。但这个简单的聊天机器人有一些重大限制。 如

第六章介绍了代理架构，这是我们迄今为止见过的最强大的 LLM 架构。将链式思维提示、工具使用和循环结合起来的潜力难以夸大。 本章讨论了两种对代理架构的扩展，它们能在某些用例中提高性能： 反思 这是借鉴

在第五章描述的架构基础上，本章将介绍当前所有 LLM 架构中或许最重要的——代理架构。首先，我们介绍使 LLM 代理独特的特点，然后展示如何构建这些代理，以及如何将它们扩展以适应常见的使用案例。 在人

到目前为止，我们已经讨论了 LLM 应用的最常见特性： 引导技术（在前言和第一章中） RAG（在第二章和第三章中） 内存（在第四章中） 接下来的问题应该是：我们如何将这些部分组装成一个连贯的应用，以实

在第3章中，你学习了如何为你的AI聊天机器人应用提供最新且相关的上下文。这使得你的聊天机器人能够基于用户的输入生成准确的回答。但仅此不足以构建一个生产级应用。如何才能让你的应用真正地与用户进行“来回对

漂移是部署的深度学习模型在一段时间内性能恶化的一个重要因素，涵盖了概念漂移、数据漂移和模型漂移。让我们通过一个基于烹饪的类比来理解部署模型的漂移。想象一个部署的深度学习模型就像一位技术精湛的厨师，目标

大语言模型（LLMs）已经彻底改变了自然语言处理（NLP）和人工智能（AI）领域，在处理各种任务时展现出卓越的多功能性。然而，要充分发挥它们的潜力，需要解决一些挑战并开发有效的LLM解决方案。在本章中

本章内容包括： 从非图数据创建图数据模型 从原始数据源进行提取、转换、加载和预处理 使用 PyTorch Geometric 创建数据集和数据加载器 在本章中，我们将描述与图数据相关的实际操作，以及如

本章内容包括： 处理小型系统中数据过载的策略 识别需要扩展资源的图神经网络问题 缓解大数据带来的问题的七种稳健技术 使用PyTorch Geometric扩展图神经网络并应对可扩展性挑战 在我们对图神

本章内容 在深度学习模型中引入记忆 理解使用图神经网络建模时间关系的不同方式 实现动态图神经网络 评估时序图神经网络模型 到目前为止，我们的所有模型和数据都只是时间中的单一快照。实际上，世界是动态的，

本章内容包括： 理解注意力机制以及它是如何应用于图注意力网络（GAT）的 了解何时在PyTorch Geometric中使用GAT和GATv2层 通过NeighborLoader类使用小批量处理 在垃