api版本
解锁了30%开发机后
新建了一个开发机,流程跟以前一样,在vscode中将端口改成新的开发机的即可
在搞定一切环境安装之后,使用api询问模型 答案可谓是驴唇不对马嘴
在加入RAG之后,回答有了显著的约束。
在web界面成功运行(就是需要等很久。。)
本地部署
本地部署版本的输出
加入外挂文档后
web版本
huggingface部署
1.在huggingface space上新建一个streamlit项目 2.在git space上clone建立的项目 3.创建一个requirements.txt文件
llama-index==0.11.20
llama-index-llms-replicate==0.3.0
llama-index-llms-openai-like==0.2.0
llama-index-embeddings-huggingface==0.3.1
llama-index-embeddings-instructor==0.2.1
sentence-transformers==2.7.0
把以上内容复制,注意文件名不要写错,然后推到hf仓库中
hf会自动构建,耐心等待。。。
在hf设置中设置api_key然后页面即可正常运行。
小结,前面的本地和api 做rag一步一步按照示例来就好,后面huggingface的部署,查找了一些其他同学发的作业完成,blog.csdn.net/m0_73878994…
但是,他这个requirements写成了requirement,有个小坑浪费了比较多时间排查此处,好在成功解决。