RAGFlow中配置MaaS API使用指导

202 阅读3分钟

11 RAGFlow中配置MaaS模型服务使用全流程:

1.1 RAGFlow平台部署

方式1-直接访问RAGFlow官方SaaS服务(需翻墙):RAGFlow

方式2-Docker Compose方式部署:见官方Github仓库:github.com/infiniflow/…

 

1.2 MaaS模型API接入RAGFlow

1)MaaS控制台创建API Key:

   -访问MaaS控制台:点此访问

   -在MaaS左侧导航栏中,选择“鉴权管理”。

   -在“鉴权管理”页面,单击“创建API Key”,填写描述信息后,单击“确认”会返回“您的密钥”,请复制保存密钥,单击“关闭”后将无法再次查看密钥。(注:最多支持创建5个密钥,密钥只会在新建后显示一次,请妥善保存。当密钥丢失将无法找回,请新建API Key获取新的访问密钥。)    

          

2)选择要接入的模型服务

预置服务接入:

-点击控制台左侧“模型部署”,找到想要使用的模型服务后点击“领取”

          

-领取后找到已领取额度的模型服务,然后点击 “调用”;    

          

-在右侧弹出界面中,可以查看到调用该服务需要的基础API地址和模型名称信息

          

自部署“我的服务”接入:

在“模型部署-我的服务”页签,状态为运行中的模型服务操作一栏点击“更多”中的“调用”;在右侧弹出界面中,可以查看到调用该服务需要的基础API地址和模型名称信息    

          

3)RAGFlow新增模型供应商

进入RAGFLow平台界面,点击右上角头像后点击左侧导航栏中的“模型提供商页签”,找到“OpenAI-API-Compatible”供应商点击“添加模型”

          

4)MaaS模型服务配置

在弹出的添加LLM弹窗中填入如下信息:    

-模型类型: chat

-模型名称: MaaS服务调用界面显示的模型名称

-基础 Url: 之前步骤中MaaS服务的基础API地址,需要去掉地址尾部的“/chat/completions” 后填入

- API Key : 之前步骤中创建的API Key

-最大token数: 各预置服务支持的最大token数见下表

    

          

          

5)修改系统模型设置

在模型供应商界面点击“系统模型设置”,将聊天模型设置为刚配置好的MaaS模型。嵌入和Rerank模型可使用系统预置的。    

1.3 RAGFlow中使用接入的MaaS API进行知识库问答  

1)知识库创建

顶部切换到“知识库”页签,点击“创建知识库”,在知识库的详情页面配置页签可进行文档解析、文档切分等规则的配置    

2)上传文档

-在知识库的“数据集”页签中,点击“新增文件”-“本地文件”

-弹窗中上传需要进行问答的知识文档

-上传完成后点击动作中的“运行”按钮,当解析状态为已完成时,则知识库已可以用于进行问答    

          

3)创建助理

在“聊天”页签点击“新建助理”,自定义姓名后选择之前步骤中创建好的知识库    

 

4)与助理进行文档问答

选择创建好的AI助理,点击旁边的蓝色加号即可开始进行文档问答,模型会基于外挂的知识库中的内容进行问题答复;回答效果示例如下: