之前树先生教过大家如何利用微调打造一个垂直领域的 LLM 专属模型。但是微调一方面需要专业知识，通常需要很多计算资源和时间，以便在不同的超参数设置上训练多个模型并选择最佳的一个，另一方面动态扩展比较差

ChatGLM2-6B 是清华大学开源的一款支持中英双语的对话语言模型。经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，具有62 亿参数的 ChatGLM2-6B 已经能生成相当符合人类回答。

本文将介绍我利用集团9n-triton工具部署ChatGLM2-6B过程中踩过的一些坑，希望可以为有部署需求的同学提供一些帮助。

快速搭建本地知识库，并且在云上部署。实现从零到一的一小步。内容主要基于现在最火的langchain-ChatGLM进行开发。