ChatGPT与大模型研究

我们已经一起走过了很长一段路。在前面的章节中，我们从“用外部数据为语言模型提供 grounding”这一基本思想出发，一路走过了 ingestion、indexing、retrieval、respon

在本章中，我们将探索最新技术进展如何重塑我们与数字工具和应用程序的交互方式。随着数字环境不断演进，我们几十年来依赖的传统界面正在被重新想象，从而为人类与机器之间更直观、更高效的沟通方式铺平道路。这场转

在本书中，我们一直在使用 LlamaIndex 构建越来越复杂的 RAG 应用。我们摄入了文档，构建了索引，定制了检索器，创建了智能体，甚至还部署了一个可工作的应用。 但这里有一个问题，可能已经在你脑

定制检索增强生成（retrieval-augmented generation，RAG）组件并优化性能，是使用 LlamaIndex 构建健壮、生产就绪应用的关键。在本章中，我们将探索更多方法：如何在

在第 9 章中，我们首先学习了如何使用聊天机器人和简单智能体来构建对话式 AI 系统。借助一些简单方法，我们创建了基础的对话界面，它们可以结合工具和数据源来编排响应。然而，这些方法主要依赖 Llama

在第 3 章中，我们看到了一个 AI 智能体的示例，它可以使用工具来响应用户查询。但那更像是一个预告，目的是展示 LlamaIndex 让我们构建智能体系统有多容易。现在，是时候详细探索智能体如何工作

在前几章中，我们介绍了收集、清洗和组合数据的过程，目的是获得准确结果。然而，随着复杂度增加，逐步处理这些数据流水线可能会变得具有挑战性，也更容易出错。 这就是工作流（workflows）发挥作用的地方

在上一章中，我们重点关注了查询流水线的前半部分：检索。我们探索了 LlamaIndex 的 retriever 如何从索引中拉取相关上下文，了解了不同 retriever 类型，并学习了异步检索、元数

在上一章中，我们探索了 LlamaIndex 中的不同索引策略，从向量存储和 embeddings，到基于关键词和图的方法。索引为我们提供了工具，用来高效地结构化和存储数据，使其准备好被检索。现在，是

索引是任何 RAG 系统的基础，因为它们决定了信息能够被多高效、多有效地检索和使用。本章将深入介绍 LlamaIndex 中可用的不同索引类型。它会解释索引如何工作，以及它们的关键能力、定制选项、底层

既然我们已经从较远的视角，对 LlamaIndex 的整体结构有了一个不错的了解，现在是时候靠近一些，理解这个框架中的细节了。在本章中，我们将探索原始数据究竟是如何进入 RAG 工作流的。我们会讨论拉

现在，是时候更深入一步，从技术层面理解 LlamaIndex 在幕后是如何施展魔法的了。在本章中，我们将探索构成 LlamaIndex 架构的一些关键概念和组件。我们会学习这个框架用于摄取、组织和查询

既然你已经对 LLM 是什么，以及它们能做什么、不能做什么，有了扎实的理解，现在是时候看看 LlamaIndex 如何将你的交互式 AI 应用提升到新的层次了。我们将看到，使用 LlamaIndex

如果你正在阅读这本书，你很可能已经探索过大型语言模型（LLMs）的领域，并且已经认识到它们潜在的应用价值以及可能存在的陷阱。本书将讨论 LLM 所面临的挑战，并提供一份实用指南，帮助你使用 Llama

本章涵盖： 使用个人本地 SLM 助手的理由 使用 Ollama 的服务器在本地和离线运行 SLM 使用 LM Studio 桌面应用在本地和离线运行 SLM 使用 Jan 助手应用在本地和离线运行

本章涵盖： 使用 vLLM 进行 SLM 服务与推理 使用 FastAPI 提供 SLM 服务 使用 MLC LLM 在设备上部署和服务 SLM 在 Android 设备上部署和推理 SLM 的选项

本章涵盖： 对移植到 ONNX 的模型进行 profiling 将原始 ONNX profiling 数据转化为洞察 为 LLM 优化 ONNX 图 第 5 章介绍了 ONNX 格式和 ONNX Ru

本章涵盖： 使用 FlexGen 技术，将 LLM 的一部分卸载到内存或磁盘 使用 SmoothQuant 这种高级训练后量化技术，减少内存占用并加速推理 使用 BitNet 这种可扩展的 1-bit

本章涵盖： 使用 LLM 生成蛋白质结构 使用 LLM 生成晶体结构 优化面向化学领域的 LLM 推理性能 第 7 章介绍了面向 Python 代码生成的领域专用小型语言模型，也就是 SLM 的实践示