动手学习大模型---随笔4

71 阅读1分钟
  • 最近时间太赶,白天晚上都有事···
  • gpt回答常见的问题就是没有记忆,忘记上一次问答内容。于是想到的法子是弄个队列,把聊天记录放到这个队列里,每次提问就带着记录一块送给模型去处理,这是langchain的ConversationBufferMemory组件。但这种的方式很快发现,问太多轮会导致队列里消息太多,下次提问要耗费很多token。于是又想出弄滑动窗口,只记最近的五轮对话,这是ConversationBufferWindowMemory。但这样说不定又会漏掉重要信息,于是弄个只记关键词摘要的法子,这是ConversationSummary。接着又是构建知识图谱,提取出实体和事件,这是ConversationKGMemory做的事。最后是和维基百科这样的真实知识联系起来,消除歧义,让它联想,这是ConversationEntityMemory。
  • 对话检索链就是把历史记录和对话联系起来,送到向量数据库也就是知识库中找相关知识,再把得到的知识放在对话记忆区。
  • streamlit是拿来构建app的库,都不用前端三件套了。但感觉环境配置是真痛苦,莫名其妙的问题,也没办法找到答案,连这个库的引入都出错···