对于前一篇文章运行报错的问题,我总结了以下可能性
1. /.cloudiderc配置不正确
由于readme文章中只给出了marscode32pro模型的api配置,接口不对会导致无法访问,这里推荐在”在线推理“中重新配置一个embedding模型,选用第二个(不是large)
2. invoke和predict不兼容问题
在01-03运行过程中,执行总会报错,由于报错代码没截图,下面放运行成功的代码
注意的是在line17将原本的predict改为invoke,其他无需变动,api和url已经在/.cloudiderc文件中配置好。
3. API接口无效
这是很多人都很苦恼的地方,其实doubao给出的api在我的运行环境中并不能很好的运行,于是我通过群里的小伙伴拿到了一个免费的openai的api,并把它配置在我的/.cloudiderc文件中,能够运行。有需要的小伙伴可以去github中找一找,链接我放在下面了
更改教学
01-04的运行中,就会出现01-03中的同样报错“invoke instead”,这是因为line18的chat没有对应接口,我们需要加上去invoke接口,这一点和01-03不同,需要注意,所以我们只需将
response=chat(message)
改为response = chat.invoke(messages)就可成功运行
下图为运行报错实例
下图为运行成功示例(注意红圈处代码)
关于02'_文档AO系统
这里有几个注意事项
- 要打开网页侧边栏web预览(眼睛符号)
- 在原有的配置好的代码上添加一行代码
os.environ["EMBEDDING_MODELEND"] = '你的modelep'
然后点击上方的“运行”即可(由于博主电脑配置不高需要等待一些时间去加载,没显示可能是正在加载中的原因
最后 一些思考
使用Chroma向量数据库实现
-
安装并配置Chroma:
-
修改索引构建步骤:
- 在将文档转换为向量后,将这些向量存储到Chroma中,而不是原有的向量数据库。
-
修改向量匹配步骤:
- 当用户提出问题时,将其转换为向量,并使用Chroma进行检索,找出最相似的文档向量。
使用HuggingFace的google/flan-t5-x1模型
-
安装并加载模型:
-
修改问题解析和答案抽取步骤:
- 由于不同模型在处理问题和生成答案时可能有不同的行为,因此可能需要对问题解析和答案抽取步骤进行微调。
- 例如,可能需要调整问题的格式或上下文信息,以适应google/flan-t5-x1模型的输入要求。
-
利用模型生成答案:
- 将问题输入到google/flan-t5-x1模型中,并生成可能的答案。
- 可能需要对生成的答案进行后处理,如去重、排序、摘要等,以提高答案的质量和可读性。
-
评估与优化:
- 使用测试数据集评估模型的性能,并根据评估结果进行必要的优化。
- 可以通过调整模型的参数、增加训练数据、改进问题解析和答案抽取方法等方式来提高模型的性能。
本思考仅限于给出一点思路流程,并未上手实践