LLM应用开发实践笔记

Llama-3，作为继Llama1、Llama2和CodeLlama之后的第三代模型，Llama3在多个基准测试中实现了全面领先，性能优于业界同类最先进的模型，你有没有第一时间体验上呢，这篇文章就分享

本文首发于博客 基于大模型的Agent进行测试评估的3种方案 我们都知道当前基于大模型构建的 Agent 能力极不稳定，而今年我司产品又在规划接入 Agent 能力，所以在引入之前，需要先设计一套测试

本节将从 Agent 概念、ReAct 框架、示例、以及一些论文思路来具体聊下任务规划的话题，同时会辅以代码帮助理解，欢迎大家一起探讨。

在基于大模型的 Agent 中，长期记忆的状态维护至关重要，在 OpenAI AI 应用研究主管 Lilian Weng 的博客《基于大模型的 Agent 构成》中，将记忆视为关键的组件之一，下面我将

LangChain 在 0.1 版本发生了重要变更，官方还专门发了一篇博客，总体看下来可以概括为聚焦核心，共建生态，轻装上阵，加速商业化，我也在第一时间向官方申请试用了商业化产品，本篇文章从 Lang

文章会分为四个部分，从初次接触 ChatGPT 沉迷追 AI 新闻，到开始亲身实践，利用 LLM 进行一些有价值的工作，然后以开发者视角总结一年来大模型各个层面的发展，标志性的开源项目、基础模型服务商

Semantic Kernel 和 LangChain 是当前比较受欢迎的两款 LLMs 应用开发框架，笔者通过实现一个支持联网功能的智能 AI 助手来比较分析下两个框架的差异（适合自己场景的工具才是

本文首发于博客LLM 应用开发实践 先看效果 演示效果 整体方案 整体方案在于文档预处理阶段实现满足上下文窗口的原始文本分块，文档检索阶段实现文本的三次检索，下面逐一进行说明。测试文章来自 大语言模型

最近看到的一个开源的提示词编排平台[bisheng](https://github.com/dataelement/bisheng)，音同「毕昇」，项目介绍说 「“毕昇”是活字印刷术的发明人，活字印刷

RAG（Retrieval Augmented Generation）是一种检索增强生成技术，它利用大型语言模型来处理用户查询，RAG 技术的主要组成包括数据提取—embedding—创建索引—检索

本文首发于博客 LLM 应用开发实践 整体业务架构 进行提示工程过程中，开发人员和领域专家协作是一个头疼的问题，往往写代码的开发同学对业务理解不深，设计的提示词效果欠佳；精通业务的领域专家往往知道需要

Helicone 是一个开源的 LLM 应用可观测性平台，用于记录所有请求到 OpenAI 的日志，并提供用户友好的 UI 界面、缓存、自定义速率限制和重试等功能。它可以通过用户和自定义属性跟踪成本和

在复杂的 LLM 应用开发中，特别涉及流程编排和多次 LLM 调用时，每次的 Prompt 设计都取决于前一个步骤的大模型输出。如何避免大语言模型的"胡说八道"，以提高大语言模型输出的可靠性和稳定性

本文首发于博客 LLM 应用开发实践 LlamaIndex索引 列表索引 列表索引是一种简单的数据结构，其中节点按顺序存储。在索引构建期间，文档文本被分块、转换为节点并存储在列表中。 在查询期间，如果

一个完整的基于 LLM 的端到端问答系统，应该包括**用户输入检验、问题分流、模型响应、回答质量评估、Prompt 迭代、回归测试**，随着规模增大，围绕 Prompt 的**版本管理、自动化测试和安

基于大语言模型构建的应用想要进行快速展示，相比自行搭建云服务器环境，使用一个成熟的 PaaS 平台，辅以集成的开发工具，不仅降低部署难度，也让 LLM 应用的开发者脱离底层细节，更能把精力放在创新应用

让没有 ChatGPT Plus 会员的小伙伴也能用上低配版 ChatGPT 代码解释器（Code Interpreter）功能，秘诀就是自己造轮子，话不多少，先看效果，然后我会讲解具体实现，最后源码

AutoChain 从 LangChain 和 AutoGPT 中汲取灵感，旨在通过提供一个轻量级、可扩展的框架来解决这两个问题，开发人员可以使用 LLMs 和自定义工具构建自己的代理，并通过模拟对话

这篇文章中个人结合自己的实践经验把 OpenAI 官方文档解读一遍。但是原文档涉及内容众多，包括微调，嵌入（Embeddings）等众多主题，我这里重点挑选自己开发高频使用到的，需要详细了解的可以

本节是langchian源码阅读系列第七篇，下面进入Callback模块👇： 回调模块允许接到LLM应用程序的各个阶段，鉴于LLM的幻觉问题，这对于日志记录、监视、流式处理和其他任务非常有用，现在也有