ChatGPT与大模型研究

在本章中，我们将构建一条实用的数据 pipeline，它会从 Amazon S3 读取 PDF 文档，并将其摄取到 Pinecone 向量数据库中。该 pipeline 使用 Airbyte 来管理整

构建智能体式应用的第一步，是找到并分类对应用有价值的数据，然后将这些数据迁移到向量数据库中。这个过程通过一个工作流完成：首先对数据进行切分，然后从这些切分后的数据块中创建嵌入，最后将它们存储到向量数据

如果你是第一次启动 GenAI 项目，那么你可以预期这个项目会与你过去经历过的其他非 AI 项目有所不同。造成这种差异的主要原因是，GenAI 项目在配置参数时需要解决循环依赖问题。GenAI 项目也

嵌入是支撑 GenAI 的最重要技术之一。因此，理解 GenAI 需要对嵌入形成良好的直觉，因为它们在多个方面都非常有用，从分析 prompt，到决定如何存储文档，都是如此。可以把嵌入看作 LLM 使

本章介绍本书的核心理念：构建 GenAI 应用，最好的方式是使用成熟的软件工程工具、抽象和模式，而不是重新发明轮子。 在本章中，我们将研究抽象和设计模式在 GenAI 中的作用；学习如何把新的 Gen

引言 在本章中，我们将探索 Langfuse 的仪表盘和分析能力如何帮助团队把 LLM 应用生成的数据转化为可执行洞察。基于运行时收集到的 traces、observations 和 evaluati

引言 本章介绍 Langfuse 中的 Evaluation 功能，它允许我们同时使用自动化指标和人工反馈来评估回答质量。我们会覆盖一些定量指标，例如响应延迟、token 效率和单次查询成本；也会覆盖

请注意，本章会讨论有害提示词，例如询问 LLM 如何制造炸弹，以及不安全的模型行为，目的在于评估和缓解安全风险。必要时，示例会被缩写或抽象化处理。 在本章中，我们使用 alignment（对齐） 这个

请注意，本章会讨论有害提示词，例如询问 LLM 如何制造炸弹，以及不安全的模型行为，目的在于评估和缓解安全风险。必要时，示例会被缩写或抽象化处理。 如果缺乏适当防护，LLM 可能会生成有害内容，并对恶

虽然 LLM 擅长生成文本，但要让它们生成遵循严格规则的结构化输出，例如二元的 “yes” 或 “no”，或者一致的 JSON，仍然很困难。核心问题来自 LLM 生成输出的方式：它们逐个 token

LLM 的出现，以及随后基于 LLM 的应用（LLMBA）的快速采用，标志着软件开发、测试与验证领域发生了一次关键转变。与传统软件系统不同，传统软件系统通常以确定性输出为常态；而 LLM 和 LLMB

大语言模型（LLM）代表了一个真正的拐点：它改变了软件能够做什么，也改变了我们构建应用的方式。LLM 能够理解上下文，识别文档之间的模式，生成连贯的解释，并且在没有脆弱规则集或海量训练数据的情况下，适

引言 Prompt 是任何 LLM 驱动应用的基础，有效管理 prompt 对于构建可靠且成本高效的系统至关重要。本章介绍 Langfuse 的 prompt 管理能力，这些能力为创建、版本化和迭代

引言 可观测性是可靠 LLM 应用的核心组成部分。我们已经看到，Langfuse 提供了一个专门构建的平台，用于深入了解 prompt、模型和响应在生产环境中的行为。本章介绍 Langfuse 的可观