书生大模型第四期-Llamaindex RAG 实践L1G4000

130 阅读1分钟

api版本

解锁了30%开发机后 新建了一个开发机,流程跟以前一样,在vscode中将端口改成新的开发机的即可 image.png

image.png 在搞定一切环境安装之后,使用api询问模型 答案可谓是驴唇不对马嘴 image.png 在加入RAG之后,回答有了显著的约束。 image.png

在web界面成功运行(就是需要等很久。。) image.png

本地部署

本地部署版本的输出

image.png 加入外挂文档后

image.png web版本 image.png

huggingface部署

1.在huggingface space上新建一个streamlit项目 2.在git space上clone建立的项目 3.创建一个requirements.txt文件

llama-index==0.11.20
llama-index-llms-replicate==0.3.0
llama-index-llms-openai-like==0.2.0
llama-index-embeddings-huggingface==0.3.1
llama-index-embeddings-instructor==0.2.1
sentence-transformers==2.7.0

把以上内容复制,注意文件名不要写错,然后推到hf仓库中

hf会自动构建,耐心等待。。。

在hf设置中设置api_key然后页面即可正常运行。

image.png image.png

小结,前面的本地和api 做rag一步一步按照示例来就好,后面huggingface的部署,查找了一些其他同学发的作业完成,blog.csdn.net/m0_73878994…

但是,他这个requirements写成了requirement,有个小坑浪费了比较多时间排查此处,好在成功解决。