将仓库下载到本地任意位置（例如 D:/codehub/ChatGLM-6B）。
获取模型
接下来，您需要从 Hugging Face 下载 ChatGLM-6B 模型。您可以使用以下链接进行下载：
- chatglm-6b：THUDM/chatglm-6b · Hugging Face
- chatglm-6b-int8：THUDM/chatglm-6b-int8 · Hugging Face
- chatglm-6b-int4：THUDM/chatglm-6b-int4 · Hugging Face
将模型下载到本地任意位置（例如 D:/codehub/models）。
硬件需求
| 量化等级 | 最低 GPU 显存 （推理） | 最低 GPU 显存 （高效参数微调） |
| FP16（无量化） | 13 GB | 14 GB |
| INT8 | 8 GB | 9 GB |
| INT4 | 6 GB | 7 GB |
环境配置
在开始使用 ChatGLM-6B 进行聊天之前，您需要进行环境配置。下面是必要的步骤：
- 安装 Python3。
- 安装 ChatGLM-6B 运行所需要的 Python 组件依赖。在命令行中进入 ChatGLM-6B 文件夹（例如 cd D:/codehub/ChatGLM-6B），并运行以下命令：
pip install -r requirements.txt
- 安装 GPU 版本的 PyTorch。由于通过 requirements.txt 中的 PyTorch 默认下载的是 CPU 版本，如果您想使用 GPU 运行模型，您需要先卸载并安装 GPU 版本的 PyTorch。您可以从 PyTorch 官网（PyTorch）下载本地环境对应的 PyTorch。
例如，在 Windows 10 上安装 CUDA 版本为 11.8 的 PyTorch，可以运行以下命令：
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
- 安装 NVIDIA CUDA 工具包。您可以从 CUDA 官方下载地址（CUDA Toolkit Archive | NVIDIA Developer）下载本地环境对应的CUDA版本。请注意确保选择和 PyTorch 对应的 CUDA 版本，否则 PyTorch 将无法正常运行。
配置 WebUI 并运行
最后，我们需要配置 WebUI 并运行 Gradio 的网页版 Demo。请按照以下步骤操作：
- 安装 Gradio 依赖。在命令行中输入以下命令：
pip install gradio
- 指定本地的模型文件夹路径
编辑 ChatGLM-6B 仓库中的 web_demo.py 文件，并将以下代码中的 "THUDM/chatglm-6b" 修改为本地模型所在文件夹的路径（例如：这里使用chatglm-6b-int4量化模型，路径则填D:\codehub\models\chatglm-6b-int4）
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
如果不进行修改，程序会自动从 Hugging Face 下载模型并加载到 C 盘。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上物联网嵌入式知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、电子书籍、讲解视频，并且后续会持续更新
