LangChain + Nest 第一个项目实战技术方案

0 阅读2分钟

LangChain + Nest 项目的技术方案:

首先前端部分用 Next.js,后端部分是 Nest + LangChain

输入支持文本,图片(多模态),输出是文字、语音、数字人视频流

支持情绪识别,通过一个 chain 来判断情绪,这样输出的文字、语音、数字人视频也是有生气、开心等各种情绪波动的

tool 做三个左右:一个是网络搜索的 tool,一个是知识库 Milvus 检索的 tool,一个是 Mysql 数据库查询的 tool

制定一个策略让大模型在不同情况下调用不同的 tool,比如问问实时信息、不知道的信息调用网络搜索的 tool,问某些数据库表的数据,调用 Mysql 数据库查询的 tool,问一些内部的文档之类的调用知识库检索的 tool

知识库会单独做一个管理界面,可以通过 pdf、word 文档等各种格式上传内容到知识库供 ai 检索

会把数据库查询、知识库检索的 tool 封装成 MCP,通过 streamable http 暴露出去,可以供别的 ai 用

记忆 Memory 方面,用 redis 来存储历史,然后达到一定条数,触发总结,用摘要替换历史消息,然后会把摘要存到 Milvus 向量数据库,这个是长时记忆

长时记忆是很重要的部分,让 ai 越来越懂你,长时记忆的向量数据库检索也会封装成 tool 让大模型识别出需要知道之前聊过的内容的时候检索

这些就是 前端转 AI Agent 全栈通关秘籍 第一个项目实战的大概技术方案了。

更完会讲怎么写到简历上,这个是刚需,很多人学完不会写简历

这个月争取更个差不多(在 #神光的幸福生活 公众号 )

冲冲冲