ChatGPT与大模型研究

如果你是第一次启动 GenAI 项目，那么你可以预期这个项目会与你过去经历过的其他非 AI 项目有所不同。造成这种差异的主要原因是，GenAI 项目在配置参数时需要解决循环依赖问题。GenAI 项目也

嵌入是支撑 GenAI 的最重要技术之一。因此，理解 GenAI 需要对嵌入形成良好的直觉，因为它们在多个方面都非常有用，从分析 prompt，到决定如何存储文档，都是如此。可以把嵌入看作 LLM 使

本章介绍本书的核心理念：构建 GenAI 应用，最好的方式是使用成熟的软件工程工具、抽象和模式，而不是重新发明轮子。 在本章中，我们将研究抽象和设计模式在 GenAI 中的作用；学习如何把新的 Gen

引言 在本章中，我们将探索 Langfuse 的仪表盘和分析能力如何帮助团队把 LLM 应用生成的数据转化为可执行洞察。基于运行时收集到的 traces、observations 和 evaluati

引言 本章介绍 Langfuse 中的 Evaluation 功能，它允许我们同时使用自动化指标和人工反馈来评估回答质量。我们会覆盖一些定量指标，例如响应延迟、token 效率和单次查询成本；也会覆盖

请注意，本章会讨论有害提示词，例如询问 LLM 如何制造炸弹，以及不安全的模型行为，目的在于评估和缓解安全风险。必要时，示例会被缩写或抽象化处理。 在本章中，我们使用 alignment（对齐） 这个

请注意，本章会讨论有害提示词，例如询问 LLM 如何制造炸弹，以及不安全的模型行为，目的在于评估和缓解安全风险。必要时，示例会被缩写或抽象化处理。 如果缺乏适当防护，LLM 可能会生成有害内容，并对恶

虽然 LLM 擅长生成文本，但要让它们生成遵循严格规则的结构化输出，例如二元的 “yes” 或 “no”，或者一致的 JSON，仍然很困难。核心问题来自 LLM 生成输出的方式：它们逐个 token

LLM 的出现，以及随后基于 LLM 的应用（LLMBA）的快速采用，标志着软件开发、测试与验证领域发生了一次关键转变。与传统软件系统不同，传统软件系统通常以确定性输出为常态；而 LLM 和 LLMB

大语言模型（LLM）代表了一个真正的拐点：它改变了软件能够做什么，也改变了我们构建应用的方式。LLM 能够理解上下文，识别文档之间的模式，生成连贯的解释，并且在没有脆弱规则集或海量训练数据的情况下，适

引言 Prompt 是任何 LLM 驱动应用的基础，有效管理 prompt 对于构建可靠且成本高效的系统至关重要。本章介绍 Langfuse 的 prompt 管理能力，这些能力为创建、版本化和迭代

引言 可观测性是可靠 LLM 应用的核心组成部分。我们已经看到，Langfuse 提供了一个专门构建的平台，用于深入了解 prompt、模型和响应在生产环境中的行为。本章介绍 Langfuse 的可观

引言 在前面几章中，我们已经覆盖了大量概念性内容。到现在为止，你应该已经对监控 LLM 驱动应用有了扎实的基础理解。现在，是时候认识本书的核心重点：Langfuse——一个开源的 LLM 可观测性平台

引言 监控 LLM 并不只是验证它们是否在运行；它还要确保它们持续交付符合准确性、效率和安全目标的结果。本章介绍 LLM 监控的基础原则，并说明这些实践与传统软件可观测性有何不同。它讨论了多个监控维度

引言 大语言模型（Large Language Models，LLMs）正在凭借理解和生成人类式内容的能力改变世界。本章将介绍 LLM 的基础知识：它们如何工作、核心架构是什么，以及如今正在被应用于哪