深度学习基础（部署篇）

深度学习基础（部署篇）

[toc]

Flask部署+gunicorn

onnx部署

chatglm本地部署

ChatGLM3-6B 微调、ChatGLM2-6B-CentOS7

TODO：

本地运行ChatGLM3-6B 、RAG实战|基于Langchain + GPT + FAISS的本地知识库 、【开源AI部署】从零开始本地部署ChatGLM2-6B教程、冲~！Linux快速部署ChatGLM3-6B，实测效果不错

1. 预训练模型下载

1. 访问 huggingface.co/THUDM/chatg… 下载（需要特殊网络环境）

2. 从 hugging face 下的话需要特殊网络环境，没有条件的可以从魔塔社区下载：

   !pip install modelscope
   

   from modelscope import snapshot_download
   model_dir = snapshot_download("ZhipuAI/chatglm3-6b", revision = "v1.0.0", cache_dir='path/to/save/dir')
   

2. 环境创建

pip install requirements.txt即可，其中虚拟环境的Python版本建议大于等于3.10

3. 模型微调

1. 提供数据集
2. 训练模型

4. 知识库添加

1. 将你的法律知识库文本切分后使用bge/openai等embedding模型获取到文本块的embedding(向量)，然后存入faiss/milvus等向量数据库；

2. 用户输入查询语句后，调用embdding模型获取到句子的embedding，在向量数据库里查询出前top N最相关的文本块 ；

3. 基于这些文本块作为context, 构造提示词，然后调用chatgpt/本地chatglm模型来获取回复数据即可。