模型在华为910B3NPU的MindIE框架下进行w8a8量化。 部署参考链接
模型权重下载方式:
在下载前,请先通过如下命令安装ModelScope
# 安装modelscope库
pip install modelscope
命令行下载方式
# model_name为模型权重名称,在modelscope模型名称下复制并粘贴到命令行即可。
# 例如Qwen3-32B-w8a8-MindIE的为aleoyang/Qwen3-1.7B-w8a8-MindIE
modelscope download --model model_name --cache_dir "XXX"
- Qwen3-32B-w8a8-MindIE:Qwen3-32B-w8a8-MindIE · 模型库
- Qwen3-14B-w8a8-mindie:Qwen3-14B-w8a8-mindie · 模型库
- Qwen3-8B-w8a8-MindIE:Qwen3-8B-w8a8-MindIE · 模型库
- Qwen3-4B-w8a8-MindIE:Qwen3-4B-w8a8-MindIE · 模型库
- Qwen3-1.7B-w8a8-MindIE:Qwen3-1.7B-w8a8-MindIE · 模型库
- Qwen3-0.6B-w8a8-MindIE:Qwen3-0.6B-w8a8-MindIE · 模型库