本地AI知识库问答开源技术实现（三）--配置模型和知识库

AI大模型
41 阅读3分钟

目录

搭建知识库问答助手

  • 在模型和知识库都准备完成后，就可以搭建一个智能助手了；

  • 在 Dify 里，可以使用 工作流 的形式来搭建智能助手；

  • 打开 工作室 -> 创建空白应用 ，选择 Chatflow 来创建一个应用
    img

  • 最简单的知识库助手是使用 聊天助手 来创建应用，但它太单一，无法进行复杂一点的操作，所以这里选择 Chatflow 来创建助手；

  • 创建完成后会来到编排界面
    img

  • 整个流程由多个 节点 组成， Dify 支持多种类型的节点，他们功能不同，本例中使用以下几种类型

    • LLM ：配置大语言模型
    • 知识检索 ：配置知识库
    • 直接回复 ：显示输出结果

  • 为了更精准的匹配到知识库里的内容，首先添加一个 LLM 节点，命名为 拆词 ，目的是借用大模型的语言处理功能来对用户的问题进行拆解，这里模型选择 qwen2.5:14b ，因为经过多轮测试后 qwen2.5:14b 速度和表现达到预期，配置如下：
    img

    • SYSTEM 提示词参考

      - 你的任务是生成用于检索增强生成（RAG）的关键词；
- 首先你需要直接记住用户的问题作为一个关键词；
- 其次，用户为公司员工，他的问题和公司制度有关，你需要根据用户的问题推测他的真实需求，进行深度思考后给出RAG关键词，关键词总数量控制在10个以内；
- 最后你只需将两组关键词合并后返回，每个关键词以“，”分隔，不需要其他说明和解释；
- 你需要使用用户的语言来回复；

  • 然后添加一个 知识检索 节点，将他和 拆词 节点进行连接，查询变量设置为 拆词 节点的输出，知识库添加已配置好的知识库
    img

  • 其次再添加一个 LLM 节点，将 知识检索 节点作为入口和它进行连接，模型选择 qwq ，上下文设置为 知识检索 节点的输出结果，点击 添加消息 ，将 USER 类型改为 ASSISTANT 用来指定模型的 提示词 ，配置如下：
    img

    • SYSTEM 提示词参考

      仅基于上下文和以下内容作为授权知识库来回答用户问题，严格隔离外部知识源

{{#context#}}

    • ASSISTANT 提示词参考

      - 如果用户提的问题超出授权知识库范围，你可以委婉回答：已超出知识范围，让用户提供更多的信息；
- 有明确定义的名词，不能用相近的词代替；
- 公式等内容在输出时不能有格式错误；
- 回复信息时能够表明意思且没遗漏信息的情况下尽可能简短；
- 如果授权知识库中有公式和数字等，不要对它进行四舍五入操作，保持原来的内容；
- 如果用户提的问题和上次提的问题没有很强的关联性，不需要考虑之前的问题；

  • 最后将这个节点和 直接回复 节点进行连接，回复内容修改为上一节点的输出结果，最终节点连接图如下：
    img

  • 这样一个智能助手就配置完成了，可以点击 预览 进行测试，输入一个问题后按回车，如果配置正确，整个工作流将逐步进行，效果如下：
    img

  • 测试完成没有问题后就可以发布了，Dify 可以支持将应用嵌入到其他 HTML 页面。

结语

通过三篇内容将最近学的内容梳理了一遍，从基本概念理解，到动手搭建，再到参数调整，最终达到一个基本可用的状态，所有数据都在内网流转；效果没有想像中的那么完美，但是用于知识库是可行的。

特此记录，以便后续参考。

avatar
文章
阅读
粉丝