LangChain

LangChain: 一个快速崛起的开源项目

LangChain 快速迭代

LangChain: 通过组合模块和能力抽象来扩展 LLM 的助手

• 大语言模型跟这个框架结合到一起
• 构建新的APP

模块

• model I/O
• data connection
  • 处理数据流 从外部的数据进行处理 生成一个promote跟大模型交互
  • promote可以反复生成 基于之前的结果不断的生成promote
• chain
• memory
  • 记忆功能
• agents
  • auto gpt
  • 代理
• callbacks
  • 回调功能

AIGC应用的开发生态

操作系统 云原生 深度学习 应用层

• 大模型应用
• web应用
• 移动app

目前都有很多的框架完成web应用和移动app

• flutter
• flask
• django

为什么需要LangChain

问题

Question: 为什么开发者要用 LangChain 而不是直接使用 OpenAI 或者 Hugging Face 上的模型?

• 重复造轮子 效率问题

Harrison: Hugging Face、OpenAI、Cohere 可以提供底座模型和 API， 但是在产品中集成和使用它们仍然需要大量的工作。

Hugging Face 类似github 上面有大模型和应用集

huggingface.co/settings/to…

openai-translator 项目是典型的 LLM 应用实践

将英文的内容 通过promote给大模型进行翻译

实际的架构设计

GPT4的问题

• 训练语料 2021年
• 无法对接外部工具
• 输出结果不稳定
• 不能调用外部API
• 不能私有化
• max token限制 最大32K 并且价格贵

**App 不等于 GTP API封装 **

LangChain 典型使用场景 RAG

流程

• 1 调用langchain 发问
• 2 embedding
• 3 拿到向量
• 4 检索向量数据库
• 5 拿到相关的答案
• 6 发问大语言模型

LangChain 基础概念与模块化设计

• LLM
• MEMORY
  • 内存
  • 持久化的向量数据库
• PROMPT
  • 提示技巧
• AGENT
  • excutor 运行时
  • auto gpt

CHAIN 流水线

• QA over doc RAG

• Summarization 文本总结

  • 解析表格数据 数据分析
  • 针对单张表进行 问询

• chatbots

• querying data 数据分析 表格统计

• interacting with apis 连接搜索引擎 组合成强力的工具

• code understanding 代码理解