LLM应用开发实践笔记

本文首发于博客LLM 应用开发实践 先看效果 演示效果 整体方案 整体方案在于文档预处理阶段实现满足上下文窗口的原始文本分块，文档检索阶段实现文本的三次检索，下面逐一进行说明。测试文章来自 大语言模型

最近看到的一个开源的提示词编排平台[bisheng](https://github.com/dataelement/bisheng)，音同「毕昇」，项目介绍说 「“毕昇”是活字印刷术的发明人，活字印刷

RAG（Retrieval Augmented Generation）是一种检索增强生成技术，它利用大型语言模型来处理用户查询，RAG 技术的主要组成包括数据提取—embedding—创建索引—检索

本文首发于博客 LLM 应用开发实践 整体业务架构 进行提示工程过程中，开发人员和领域专家协作是一个头疼的问题，往往写代码的开发同学对业务理解不深，设计的提示词效果欠佳；精通业务的领域专家往往知道需要

Helicone 是一个开源的 LLM 应用可观测性平台，用于记录所有请求到 OpenAI 的日志，并提供用户友好的 UI 界面、缓存、自定义速率限制和重试等功能。它可以通过用户和自定义属性跟踪成本和

在复杂的 LLM 应用开发中，特别涉及流程编排和多次 LLM 调用时，每次的 Prompt 设计都取决于前一个步骤的大模型输出。如何避免大语言模型的"胡说八道"，以提高大语言模型输出的可靠性和稳定性

本文首发于博客 LLM 应用开发实践 LlamaIndex索引 列表索引 列表索引是一种简单的数据结构，其中节点按顺序存储。在索引构建期间，文档文本被分块、转换为节点并存储在列表中。 在查询期间，如果

一个完整的基于 LLM 的端到端问答系统，应该包括**用户输入检验、问题分流、模型响应、回答质量评估、Prompt 迭代、回归测试**，随着规模增大，围绕 Prompt 的**版本管理、自动化测试和安

基于大语言模型构建的应用想要进行快速展示，相比自行搭建云服务器环境，使用一个成熟的 PaaS 平台，辅以集成的开发工具，不仅降低部署难度，也让 LLM 应用的开发者脱离底层细节，更能把精力放在创新应用

让没有 ChatGPT Plus 会员的小伙伴也能用上低配版 ChatGPT 代码解释器（Code Interpreter）功能，秘诀就是自己造轮子，话不多少，先看效果，然后我会讲解具体实现，最后源码

AutoChain 从 LangChain 和 AutoGPT 中汲取灵感，旨在通过提供一个轻量级、可扩展的框架来解决这两个问题，开发人员可以使用 LLMs 和自定义工具构建自己的代理，并通过模拟对话

这篇文章中个人结合自己的实践经验把 OpenAI 官方文档解读一遍。但是原文档涉及内容众多，包括微调，嵌入（Embeddings）等众多主题，我这里重点挑选自己开发高频使用到的，需要详细了解的可以

本节是langchian源码阅读系列第七篇，下面进入Callback模块👇： 回调模块允许接到LLM应用程序的各个阶段，鉴于LLM的幻觉问题，这对于日志记录、监视、流式处理和其他任务非常有用，现在也有

本节是langchian源码阅读系列第六篇，下面进入代理模块👇： 某些应用程序需要基于用户输入的对LLM和其他工具的灵活调用链。Agents为此类应用程序提供了灵活性。代理可以访问单一工具，并根据用户

本节是langchian源码阅读系列第五篇，下面进入Chain模块👇： Chain链定义 链定义为对组件的一系列调用，也可以包括其他链，这种在链中将组件组合在一起的想法很简单但功能强大，极大地简化了复

提示攻击是一种利用 LLM 漏洞的攻击方式，通过操纵输入或提示来实现。与传统黑客攻击（通常利用软件漏洞）不同，提示攻击依赖于精心设计的提示，欺骗LLM执行非预期的操作。提示攻击主要分为三种类型

文本嵌入是什么 向量是一个有方向和长度的量，可以用数学中的坐标来表示。例如，可以用二维坐标系中的向量表示一个平面上的点，也可以用三维坐标系中的向量表示一个空间中的点。在机器学习中，向量通常用于表示数据

Anthropic刚刚发布了他们最新的模型Claude 2，这个版本相较于之前的版本有了巨大的提升。同时， 现在可以在他们的官网上免费与Claude 2进行对话。 下面是一些关于如何使用Claude

LangChain 主体分为 6 个模块，分别是对（大语言）模型输入输出的管理、外部数据接入、链的概念、（上下文记忆）存储管理、智能代理以及回调系统，下面进入Data Connection模块👇

LangChain 主体分为 6 个模块，分别是对（大语言）模型输入输出的管理、外部数据接入、链的概念、（上下文记忆）存储管理、智能代理以及回调系统，通过文档的组织结构，你可以清晰了解到 LangCh