书生大模型实战营第四期进阶岛-LMDeploy量化部署进阶实践书生大模型实战营第四期进阶岛-LMDeploy量化部署进阶

书生大模型实战营第四期进阶岛-LMDeploy量化部署进阶实践

任务流程

查看模型参数权重大小

打开HF中internlm2_5-7b-chat的代码仓库，点击config.json文件
如下图所示，模型的权重被存储为bfloat16格式。对于一个7B参数的模型，每个参数用一个16位浮点数（等于2个Byte）去表示，则模型的权重大小为7 * 10^9 * 2Bytes/parameter = 14GB。
所以，我们需要大于14GB的显存。

LMDeploy验证启动模型文件

查看下资源监控

LMDeploy API部署InternLM2.5

一下命令启动API服务器

lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

稍等片刻会得到以下（部署结果）：

再开一个终端，激活conda环境并启动命令行客户端，得到对话页面：

以Gradio网页形式连接API服务器

lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

访问相关地址，得到：

LMDeploy Lite

随着模型变得越来越大，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。LMDeploy提供了权重量化和k/v cache两种策略。

设置最大kv cache 缓存大小

kv cache是一种缓存技术，通过存储键值对的形式来复用计算结果，以达到提高性能和降低内存消耗的目的。在大模型训练和推理中，kv cache可以显著减少重复计算量，从而提高模型的推理速度。理想情况下，kv cache全部存储在显存，以加快访存速度。
模型在运行的时候，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间计算结果占用的显存。LMDeploy的kv cache管理器可以通过设置--cache-max-entry-count 参数，控制kv缓存占用剩余缓存的最大比例，默认的比例为0.8。
先看看现在的显存占用情况：

输入这个语句lmdeploy chat /root/models/internlm2_5-7b-chat --cache-max-entry-count 0.4 之后显存占用明显降低了。

为什么会这样？？

设置在线kv cache int4/int8量化

LMDeploy支持在线kv cache int4/int8量化，量化方式为per-head per-token的非对称化。此外，通过LMDeploy应用kv量化非常简单，只需要设定quant_policy 和 cache-max-entry-count参数。LMDeploy规定 quant_policy=4表示kv int4量化，数值为8则是kv int8量化。
显存占用情况：

W4A16模型量化和部署

模型量化是一种优化技术，旨在减少机器学习模型的大小并且提高其推理速度。量化通过将模型的权重和激活从高精度（如16位浮点数）转换为低精度（如8位数，4位数，甚至二值网络）来实现。
W4A16是什么意思？

W4：表示权重量化为4位整数（int4），意味着模型中的权重参数将从他们原始的浮点表示（BF16）转换为4位的整数表示，这样做可以显著减少模型的大小。
A16：这表示激活（输入/输出）仍然保持在16位浮点数。激活是在神经网络中传播的数据，通常在每层运算之后产生。

回到LMDeploy，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。输入以下指令，执行量化工作：

lmdeploy lite auto_awq \
   /root/models/internlm2_5-1_8b-chat \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --batch-size 1 \
  --search-scale False \
  --work-dir /root/models/internlm2_5-1_8b-chat-w4a16-4bit