11/3已解决|豆包MarsCode AI刷题

204 阅读3分钟

对于前一篇文章运行报错的问题,我总结了以下可能性

1. /.cloudiderc配置不正确

由于readme文章中只给出了marscode32pro模型的api配置,接口不对会导致无法访问,这里推荐在”在线推理“中重新配置一个embedding模型,选用第二个(不是large)

image.png

2. invoke和predict不兼容问题

在01-03运行过程中,执行总会报错,由于报错代码没截图,下面放运行成功的代码

image.png 注意的是在line17将原本的predict改为invoke,其他无需变动,api和url已经在/.cloudiderc文件中配置好。

3. API接口无效

这是很多人都很苦恼的地方,其实doubao给出的api在我的运行环境中并不能很好的运行,于是我通过群里的小伙伴拿到了一个免费的openai的api,并把它配置在我的/.cloudiderc文件中,能够运行。有需要的小伙伴可以去github中找一找,链接我放在下面了

更改教学

01-04的运行中,就会出现01-03中的同样报错“invoke instead”,这是因为line18的chat没有对应接口,我们需要加上去invoke接口,这一点和01-03不同,需要注意,所以我们只需将 response=chat(message) 改为response = chat.invoke(messages)就可成功运行
下图为运行报错实例 image.png 下图为运行成功示例(注意红圈处代码)

image.png

关于02'_文档AO系统

这里有几个注意事项

  • 要打开网页侧边栏web预览(眼睛符号)
  • 在原有的配置好的代码上添加一行代码os.environ["EMBEDDING_MODELEND"] = '你的modelep'

然后点击上方的“运行”即可(由于博主电脑配置不高需要等待一些时间去加载,没显示可能是正在加载中的原因

image.png

最后 一些思考

使用Chroma向量数据库实现

  1. 安装并配置Chroma

  2. 修改索引构建步骤

    • 在将文档转换为向量后,将这些向量存储到Chroma中,而不是原有的向量数据库。
  3. 修改向量匹配步骤

    • 当用户提出问题时,将其转换为向量,并使用Chroma进行检索,找出最相似的文档向量。

使用HuggingFace的google/flan-t5-x1模型

  1. 安装并加载模型

  2. 修改问题解析和答案抽取步骤

    • 由于不同模型在处理问题和生成答案时可能有不同的行为,因此可能需要对问题解析和答案抽取步骤进行微调。
    • 例如,可能需要调整问题的格式或上下文信息,以适应google/flan-t5-x1模型的输入要求。
  3. 利用模型生成答案

    • 将问题输入到google/flan-t5-x1模型中,并生成可能的答案。
    • 可能需要对生成的答案进行后处理,如去重、排序、摘要等,以提高答案的质量和可读性。
  4. 评估与优化

    • 使用测试数据集评估模型的性能,并根据评估结果进行必要的优化。
    • 可以通过调整模型的参数、增加训练数据、改进问题解析和答案抽取方法等方式来提高模型的性能。

本思考仅限于给出一点思路流程,并未上手实践