LLM应用开发实践笔记

这篇文章通过对OpenAI 的 Agents SDK、Google 的 ADK、Crew AI、LlamaIndex、Agno、AutoGen 等多种流行的 Agent 框架设计思路的对比分析，以及对

模型上下文协议（MCP）作为一种开放标准协议，正在迅速普及，允许模型客户端与外部服务和工具服务器交互。但长期使用下来仍存在复杂性、安全性、权限管理等问题，本文深入探讨了这些问题，并分析了潜在的商业机会

Anthropic 新发布的 MCP借鉴了 LSP（Language Server Protocol）的核心思路，用一套统一的通信协议，让 AI 应用能像插 USB-C 一样轻松“接入”外部资源、

硅谷对 AI Agent 的热情高涨，但对其定义的混乱引发了行业内外的担忧。从 OpenAI 到微软、Salesforce 和谷歌，每家公司都提出了自己的解释，这种缺乏共识的现象不仅让客户感到困惑

大型语言模型（LLMs）中存在的数据污染是一个重要问题，可能会影响它们在各种任务中的表现。这指的是LLMs的训练数据中包含了来自下游任务的测试数据。解决数据污染问题至关重要，因为它可能导致结果偏倚

Llama-3，作为继Llama1、Llama2和CodeLlama之后的第三代模型，Llama3在多个基准测试中实现了全面领先，性能优于业界同类最先进的模型，你有没有第一时间体验上呢，这篇文章就分享

本文首发于博客 基于大模型的Agent进行测试评估的3种方案 我们都知道当前基于大模型构建的 Agent 能力极不稳定，而今年我司产品又在规划接入 Agent 能力，所以在引入之前，需要先设计一套测试

本节将从 Agent 概念、ReAct 框架、示例、以及一些论文思路来具体聊下任务规划的话题，同时会辅以代码帮助理解，欢迎大家一起探讨。

在基于大模型的 Agent 中，长期记忆的状态维护至关重要，在 OpenAI AI 应用研究主管 Lilian Weng 的博客《基于大模型的 Agent 构成》中，将记忆视为关键的组件之一，下面我将

LangChain 在 0.1 版本发生了重要变更，官方还专门发了一篇博客，总体看下来可以概括为聚焦核心，共建生态，轻装上阵，加速商业化，我也在第一时间向官方申请试用了商业化产品，本篇文章从 Lang

文章会分为四个部分，从初次接触 ChatGPT 沉迷追 AI 新闻，到开始亲身实践，利用 LLM 进行一些有价值的工作，然后以开发者视角总结一年来大模型各个层面的发展，标志性的开源项目、基础模型服务商

Semantic Kernel 和 LangChain 是当前比较受欢迎的两款 LLMs 应用开发框架，笔者通过实现一个支持联网功能的智能 AI 助手来比较分析下两个框架的差异（适合自己场景的工具才是

本文首发于博客LLM 应用开发实践 先看效果 演示效果 整体方案 整体方案在于文档预处理阶段实现满足上下文窗口的原始文本分块，文档检索阶段实现文本的三次检索，下面逐一进行说明。测试文章来自 大语言模型

最近看到的一个开源的提示词编排平台[bisheng](https://github.com/dataelement/bisheng)，音同「毕昇」，项目介绍说 「“毕昇”是活字印刷术的发明人，活字印刷

RAG（Retrieval Augmented Generation）是一种检索增强生成技术，它利用大型语言模型来处理用户查询，RAG 技术的主要组成包括数据提取—embedding—创建索引—检索

本文首发于博客 LLM 应用开发实践 整体业务架构 进行提示工程过程中，开发人员和领域专家协作是一个头疼的问题，往往写代码的开发同学对业务理解不深，设计的提示词效果欠佳；精通业务的领域专家往往知道需要

Helicone 是一个开源的 LLM 应用可观测性平台，用于记录所有请求到 OpenAI 的日志，并提供用户友好的 UI 界面、缓存、自定义速率限制和重试等功能。它可以通过用户和自定义属性跟踪成本和

在复杂的 LLM 应用开发中，特别涉及流程编排和多次 LLM 调用时，每次的 Prompt 设计都取决于前一个步骤的大模型输出。如何避免大语言模型的"胡说八道"，以提高大语言模型输出的可靠性和稳定性

本文首发于博客 LLM 应用开发实践 LlamaIndex索引 列表索引 列表索引是一种简单的数据结构，其中节点按顺序存储。在索引构建期间，文档文本被分块、转换为节点并存储在列表中。 在查询期间，如果

一个完整的基于 LLM 的端到端问答系统，应该包括**用户输入检验、问题分流、模型响应、回答质量评估、Prompt 迭代、回归测试**，随着规模增大，围绕 Prompt 的**版本管理、自动化测试和安