1. 总结
先说判断:这套 2 张 Atlas 300I Duo(4 颗 310P3)跑 Qwen3.8-27B 的 W8A8 量化版,服务能稳定起来,功能也完整,但速度不算好。单流只有 7 tok/s 级别,64 并发首字要 7 秒左右,128 并发会因 KV 打满而回落。它适合低并发、离线或内部工具场景,不适合在线实时对话。
1.1 速度水平
27B 的关键数字:
- 单流:
7.01 tok/s(MTP num=1 基准),7.74 tok/s(MTP num=2,当前生产配置)。 - 单流首字:
1.10~1.16 s。 - 300 token 的请求:num=1 组 5 次测量总耗时
28.6~33.3 s。 - 64 并发:
290.1 tok/s(num=2)/312.0 tok/s(num=1),首字中位7.14 s(num=1 组)。 - 96 并发:
392.0 tok/s,是报告里的吞吐峰值,首字中位8.20 s,KV 占用 95%。 - 128 并发:回落到
275.5 tok/s,KV 占用99.3%,首字中位9.69 s,最大56.59 s。 - 不开 MTP:单流
4.93 tok/s;开 MTP 后 num=1 提升+42.2%,但绝对值仍然只有 7 tok/s。
报告还引用了同模型在 910B 四卡上的数据:输出吞吐 68.45 tok/s、TTFT P50 532 ms,是这套 310P 的 3.35 倍。这个差距说明 310P 的定位不是高性能在线推理。
1.2 适合什么场景
- 内网低并发:少量用户、内部工具、知识库问答的离线入口。
- 离线批处理:文档总结、批量抽取、语料清洗,能接受几十秒级等待。
- 长文档总结:64K 上下文可用,KV 池
676,659 tokens,64K 满长并发约10.32x。 - 卡已经在手里:不额外采购,先把现有 310P 用起来。
1.3 不适合什么场景
- 在线实时对话:单流 7 tok/s,一句话生成几百 token 要几十秒。
- 多人同时提问:64 并发首字已经 7 秒,128 并发最大首字 56 秒。
- 客服、代码补全等对首字敏感的业务:要求一两秒首字的场景,这套配置直接不达标。
- 追求单机高吞吐的在线服务:同模型 910B 四卡是它的 3.35 倍。
1.4 为什么慢
报告给出的瓶颈很明确:
- 单流受内存带宽限制。27B W8A8 权重约
38.8 GB,每生成 1 个 token 都要完整读一遍权重。310P 平台带宽下,实测就是 4.93 tok/s(无 MTP)/ 7.01 tok/s(有 MTP)。 - MTP 只能缓解,不能改命。投机解码让一次权重读取产出约 1.78 个 token,提升约 40%,但绝对值仍在 7 tok/s 级别。
- 并发上限由 KV 池决定。KV 池固定
676,659 tokens,--kv-cache-memory在 310P 上实际不生效;128 并发时 KV 打到 99.3%,吞吐反而回落。 - 模型越大越吃力。同机 9B 单流
14.69~14.83 tok/s,35B-A3B 单流9.32 tok/s,27B 是三者里最慢的。
2. 步骤
这一节是按报告第九章整理的可复现流程。安装顺序是严格串行的:驱动 → 固件 → CANN Toolkit → CANN 310P Ops → NNAL → Docker → 镜像 → 权重 → 服务。
2.1 硬件与系统前提
| 项目 | 要求 / 本环境 |
|---|---|
| 服务器 | 鲲鹏 920(aarch64)或同架构 ARM 服务器;本环境鲲鹏 920 ×2 |
| NPU | Atlas 300I Duo(310P3)×1 或 ×2;本环境 2 张 = 4 芯片(davinci0-3),单芯片显存 44278 MB |
| 操作系统 | 银河麒麟 Kylin V10 (Halberd) aarch64(验证版本);报告称 Ubuntu 20.04/22.04 aarch64、openEuler 亦可 |
| 内存 | ≥ 200 GB;本环境 509 GiB |
| 数据盘 | ≥ 100 GB 可用;模型 34 GB + 镜像 + 余量(报告 9.1 节写镜像 16 GB,9.4/10.7 节升级后为 20.1 GB) |
| NPU 驱动 | 25.5.1 |
| NPU 固件 | 7.8.0.6.201 |
| Docker | 27.5.1 |
| Docker Compose | v2.27.0(cli-plugin) |
2.2 下载什么、从哪里下载
| 组件 | 来源 | 版本 / 文件名 | 大小 | 备注 |
|---|---|---|---|---|
| NPU 驱动 | 华为昇腾官网 → 固件与驱动 → Atlas 300I Duo / Ascend HDK | Ascend-hdk-310p-npu-driver_25.5.1_linux-aarch64.run | 报告未给出 | 本环境实际版本 25.5.1;具体下载 URL 报告未给出 |
| NPU 固件 | 同上 | Ascend-hdk-310p-npu-firmware_7.8.0.6.201.run | 报告未给出 | 部分包与驱动合并;具体下载 URL 报告未给出 |
| CANN Toolkit | 报告只写“已存在于 /usr/local/Ascend/” | Ascend-cann-toolkit_9.0.0-beta.2_linux-aarch64.run | 939 MB | 下载 URL 报告未给出 |
| CANN 310P Ops | 同上 | Ascend-cann-310p-ops_9.0.0-beta.2_linux-aarch64.run | 2.0 GB | 必须安装,否则 310P 算子不可用 |
| NNAL | 同上 | Ascend-cann-nnal_9.0.0-beta.2_linux-aarch64.run | 540 MB | 如用 NNAL 则安装 |
| Docker | 银河麒麟用 docker-ce(aarch64) | Docker 27.5.1 + Compose v2.27.0 | 报告未给出 | 下载 URL 报告未给出 |
| 推理镜像 | quay.io/ascend/vllm-ascend 或国内加速前缀 | v0.30.0rc2-310p | 20.1 GB,arm64 | 镜像内 CANN 9.2.0、vllm 0.30.0、vllm-ascend 0.30.0rc2、torch_npu 2.10.0.post7、Python 3.12.13 |
| 27B 权重 | ModelScope:https://www.modelscope.cn/models/Eco-Tech/Qwen3.8-27B-w8a8-310p | Eco-Tech/Qwen3.8-27B-w8a8-310p | 约 34 GB,9 个分片 | 必须 310P 专用 W8A8;含 29 个 mtp.* 张量、quant_model_description.json、chat_template.jinja |
| 9B 权重(可选) | ModelScope:Eco-Tech/Qwen3.5-9B-W8A8-310P | Eco-Tech/Qwen3.5-9B-W8A8-310P | 约 12.86 GB(报告 13.5 节资产表记 13.8 GB) | 128K 配置;启动必须加 --dtype float16 |
| 35B-A3B 权重(可选) | 报告未给出 ModelScope ID | /data/big-model/Qwen3.6-35B-A3B | 37 GB,10 个分片 | W8A8 MoE;256K 配置 |
几个下载上的注意点:
- 不要用 BF16 原版。报告明确说体积翻倍、每 token 访存量翻倍,吞吐和延迟都会明显变差;这个场景必须用 W8A8。
- 镜像有两个来源:官方
quay.io/ascend/vllm-ascend:v0.30.0rc2-310p,以及国内加速m.daocloud.io/quay.io/ascend/vllm-ascend:v0.30.0rc2-310p。报告本环境用的是后者。 - 报告 2.1 节仍保留镜像
15.9 GB的升级前旧值;9.4 和 10.7 节记录升级后为20.1 GB。以 20.1 GB 为准。 - 宿主机安装的是 CANN
9.0.0-beta.2,镜像内自带 CANN9.2.0。两者版本不同;报告未说明宿主机 CANN 是否参与容器内推理,这里按原文并列。
2.3 安装顺序与确认方式
① 驱动与固件
chmod +x Ascend-hdk-310p-npu-driver_25.5.1_linux-aarch64.run
./Ascend-hdk-310p-npu-driver_25.5.1_linux-aarch64.run --full
# 安装固件(部分包与驱动合并)
./Ascend-hdk-310p-npu-firmware_7.8.0.6.201.run --full
# 验证(应显示 310P3 芯片与显存)
npu-smi info
cat /usr/local/Ascend/driver/version.info # 本环境: Version=25.5.1
确认要点:
npu-smi info能看到 4 颗 310P3 芯片和显存。version.info显示Version=25.5.1。- 驱动必须先装,且版本与固件匹配;固件包的
firmware/version.info里有compatible_version_drv列表。本环境驱动 25.5.1 的兼容范围是[23.0.rc2]...[25.5.]。 - 安装驱动后需要重启服务器才生效。报告特别提醒先申请停机窗口并和业务方确认。
② CANN Toolkit、310P Ops、NNAL
chmod +x Ascend-cann-toolkit_9.0.0-beta.2_linux-aarch64.run
./Ascend-cann-toolkit_9.0.0-beta.2_linux-aarch64.run --install
./Ascend-cann-310p-ops_9.0.0-beta.2_linux-aarch64.run --install
./Ascend-cann-nnal_9.0.0-beta.2_linux-aarch64.run --install
# 配置环境变量(写入 /etc/profile 或 ~/.bashrc)
source /usr/local/Ascend/ascend-toolkit/set_env.sh
source /usr/local/Ascend/nnal/atb/set_env.sh # 如用 NNAL
确认要点:
310p-ops必须装,否则 310P 的算子不可用。报告把安装包留在/usr/local/Ascend/下,便于重装。- 安装后目录是
/usr/local/Ascend/cann-9.0.0-beta.2,ascend-toolkit/latest软链到它。 - 检查版本:
cat /usr/local/Ascend/ascend-toolkit/latest/version.cfg。
③ Docker
# 银河麒麟用 docker-ce(aarch64)
docker --version && docker compose version
systemctl enable --now docker
确认要点:docker --version 应为 27.5.1,docker compose version 应为 v2.27.0。systemctl enable --now docker 同时设置开机自启并立即启动。
④ 拉取推理镜像
# 官方源(quay.io 在国内可能慢)
docker pull quay.io/ascend/vllm-ascend:v0.30.0rc2-310p
# 推荐:国内镜像加速(本环境使用此方式)
docker pull m.daocloud.io/quay.io/ascend/vllm-ascend:v0.30.0rc2-310p
确认要点:镜像约 20.1 GB,arm64。报告提到旧 tag nightly-releases-v0.23.0-310p 已被远端覆盖,本地 tar 备份是唯一留存,清理磁盘时不能删。
⑤ 下载 27B 权重
# 方式一:modelscope 命令行
pip install modelscope
modelscope download --model Eco-Tech/Qwen3.8-27B-w8a8-310p --local_dir /data/big-model/qwen3.8-27b
# 方式二:git lfs
git lfs install
git clone https://www.modelscope.cn/Eco-Tech/Qwen3.8-27B-w8a8-310p.git /data/big-model/qwen3.8-27b
# 校验完整性(应有 quant_model_description.json + 9 个 safetensors + crc32.txt)
ls -lh /data/big-model/qwen3.8-27b/
确认 MTP 权重是否齐全:
python3 -c "
import json
d=json.load(open('/data/big-model/qwen3.8-27b/quant_model_description.json'))
m=[k for k in d if k.startswith('mtp.')]
print(len(m),'个 MTP 张量')" # 应输出 29
报告还提醒:模型需保留 chat_template.jinja,tool calling 与思考模式由它控制。
9B 的下载方式有一处不同:报告记录 modelscope 1.9.5 的 CLI 不支持 --local_dir,要用 Python SDK,并且后台执行(前台会超时):
cd /data/big-model
nohup python3 -c "
from modelscope import snapshot_download
p = snapshot_download('Eco-Tech/Qwen3.5-9B-W8A8-310P', cache_dir='/data/big-model')
print('DOWNLOAD_DONE', p)
" > /data/big-model/dl_9b.log 2>&1 &
tail -f /data/big-model/dl_9b.log
注意落地路径是 <cache_dir>/<org>/<model>/,不是自己指定的名字。要统一命名就下载后迁移;迁移前必须先停容器。
2.4 完整的 docker-compose
创建 /data/big-model/docker-compose-qwen3.8-27b.yml。报告要求按模型命名,命令必须带 -f,因为默认的 docker-compose.yml 已经删除。
services:
vllm:
image: m.daocloud.io/quay.io/ascend/vllm-ascend:v0.30.0rc2-310p
container_name: vllm
restart: unless-stopped
network_mode: host
ipc: private # 关键:不可用 host
shm_size: 32g
privileged: true
devices:
- /dev/davinci_manager
- /dev/hisi_hdc
- /dev/devmm_svm
- /dev/davinci0
- /dev/davinci1
- /dev/davinci2
- /dev/davinci3
volumes:
- /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro
- /usr/local/sbin:/usr/local/sbin:ro
- /data/big-model/qwen3.8-27b:/models/qwen3.8-27b:ro
- /data/big-model/logs:/logs
environment:
- HCCL_OP_EXPANSION_MODE=AIV
- HCCL_INTRA_PCIE_ENABLE=1
- HCCL_INTRA_ROCE_ENABLE=0
- HCCL_BUFFSIZE=1024
- PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
command: >
vllm serve /models/qwen3.8-27b
--served-model-name qwen3.8-27b
--host 0.0.0.0
--port 1025
--max-model-len 65536
--tensor-parallel-size 4
--trust-remote-code
--gpu-memory-utilization 0.9
--enforce-eager
--max-num-seqs 64
--kv-cache-memory 28516917248
--enable-auto-tool-choice
--tool-call-parser qwen3_xml
--speculative-config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 2}'
这份 compose 是 27B 的原文。9B 和 35B 的完整 compose 报告没有给出,只给出各自的关键参数与编排文件名;不要直接照抄 27B 的模型路径和上下文长度。
2.5 启动与验证
cd /data/big-model
docker compose -f docker-compose-qwen3.8-27b.yml up -d
# 启动约 3~4 分钟(权重加载 ~21s + 引擎初始化 ~41s + 多模态 warmup ~21s)
# 跟踪就绪:
for i in $(seq 1 30); do
c=$(curl -s --max-time 3 -o /dev/null -w "%{http_code}" http://127.0.0.1:1025/health)
[ "$c" = "200" ] && { echo "就绪"; break; }; sleep 10
done
# 验证清单
curl -s http://127.0.0.1:1025/health -o /dev/null -w "%{http_code}\n" # 200
curl -s http://127.0.0.1:1025/v1/models | python3 -m json.tool # max_model_len 65536
docker logs vllm 2>&1 | grep -E "KV cache size|Maximum concurrency" # 676659 / 10.32x
docker logs vllm 2>&1 | grep "SpecDecoding metrics" # MTP 生效
npu-smi info # 4 芯片占用 ~38GB
firewall-cmd --permanent --add-port=1025/tcp && firewall-cmd --reload # 放行端口
每项怎么确认:
| 检查项 | 期望结果 | 说明 |
|---|---|---|
/health | HTTP 200 | 200 之前不要压测 |
/v1/models | qwen3.8-27b,max_model_len 65536 | 模型名必须和请求里的 model 一致 |
KV cache size | 676659 | num=1 组;num=2 时报告记录为 651412 |
Maximum concurrency | 10.32x | 64K 满长并发能力 |
SpecDecoding metrics | 有接受长度/接受率输出 | 说明 MTP 生效 |
npu-smi info | 4 芯片,占用约 38 GB/卡 | 显存异常时先看日志 |
服务由 vLLM 提供 OpenAI 兼容 API,地址是 http://192.168.0.247:1025/v1,未启用鉴权,api_key 填任意非空字符串即可。模型名是 qwen3.8-27b。
2.6 参数逐条说明
启动参数
| 参数 | 作用 | 本平台上的注意点 |
|---|---|---|
vllm serve /models/qwen3.8-27b | 启动 vLLM 服务并加载容器内模型路径 | 路径是容器内路径,对应 volume 挂载的 /data/big-model/qwen3.8-27b |
--served-model-name qwen3.8-27b | 对外暴露的模型名 | 客户端 model 字段必须一致,否则 404/400 |
--host 0.0.0.0 | 监听所有网卡 | 配合 network_mode: host,直接占用宿主 1025 |
--port 1025 | 服务端口 | 容器用 host 网络;防火墙要单独放行 1025/tcp |
--max-model-len 65536 | 服务上下文 64K | 模型原生上限 262144;报告在显存与并发之间折中到 64K,超原生上限会被拒 |
--tensor-parallel-size 4 | 4 芯片张量并行,权重按 TP=4 切分 | 每卡加载约 9.7 GB;TP8 单流更快但并发聚合收益很小,见避坑 |
--trust-remote-code | 允许加载模型仓库自带的自定义建模代码 | 该模型架构需要;只对可信权重开启 |
--gpu-memory-utilization 0.9 | 显存占用目标比例 | 310P 上会参与 KV 预算计算;报告从 0.95 降到 0.9 以降低常驻占用 |
--enforce-eager | 关闭 ACL Graph,走 eager 执行 | 必须保留;310P 上 MTP 与 ACL Graph 互斥,删了会启动失败 |
--max-num-seqs 64 | 调度层最大并发序列数 | 不是 KV 上限;64 是生产值,96 实测峰值,128 会过载 |
--kv-cache-memory 28516917248 | 请求 26.56 GiB 的 KV 预算 | 310P 上实际不生效;实现强制除以 2,实际约 12 GiB/卡、676659 tokens,改大也无变化 |
--enable-auto-tool-choice | 启用 tool_choice:"auto" | 不开启时客户端传 auto 会报 HTTP 400 |
--tool-call-parser qwen3_xml | 解析模型 XML 格式的工具调用 | 该模型 chat_template 是 XML 格式,parser 必须匹配 |
--speculative-config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 2}' | 开启 MTP 投机解码,draft 2 个 token | qwen3_5_mtp 与 mtp 等价,日志会提示 deprecated;num=2 是单流与并发的折中 |
--dtype float16 | 指定计算精度 | 27B 的 config 本身是 float16,compose 未显式写;9B 的 config 是 bfloat16,必须显式加,否则启动失败 |
不要加的参数
| 参数 | 现象 | 原因 / 结论 |
|---|---|---|
--enable-prefix-caching | 310P + MTP 输出乱码:丢字、标点复读、语义断裂 | 报告未给出根因,只记录现象;不要开 |
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", ...}' | 启动期 EE9999 rtStreamEndCapture、capture_end NPUGraph.cpp:240 error 507903 | ACL Graph 与 MTP 互斥;310P 官方 MTP 用例只覆盖 TP1 + eager |
enable_npugraph_ex | WARNING + 无效 | 310P 官方不支持,保持 false |
重复写 --additional-config | 后者静默覆盖前者,参数丢失且无报错 | 只写一次,把所有键合并进去 |
--max-model-len 超过原生上限 | 请求被拒,实测 154K → HTTP 400 | 不能超过 max_position_embeddings;9B 原生 262144 |
环境变量
| 变量 | 作用 | 说明 |
|---|---|---|
HCCL_OP_EXPANSION_MODE=AIV | HCCL 算子展开模式 | 报告注明 ACL Graph 场景需要,eager 下无害 |
HCCL_INTRA_PCIE_ENABLE=1 | 开启节点内 PCIe 通信 | 面向 A2/A3 PCIe 互联机型;本机是 PCIe 拓扑 |
HCCL_INTRA_ROCE_ENABLE=0 | 关闭节点内 RoCE | 与上一项配套,本机不走 RoCE |
HCCL_BUFFSIZE=1024 | HCCL 通信缓冲区大小 | 报告只给值,未给出单位与调优依据 |
PYTORCH_NPU_ALLOC_CONF=expandable_segments:True | 减少显存碎片 | 报告实测无负面影响 |
compose 关键项
| 配置 | 作用 | 注意点 |
|---|---|---|
image | 固定推理镜像 tag | v0.30.0rc2-310p 是 RC 版本,不是正式版;旧 tag 已被远端覆盖,本地 tar 要留 |
container_name: vllm | 固定容器名 | 9B/27B/35B 都用这个名字,切换时旧容器会被停掉 |
restart: unless-stopped | 异常退出自动重启 | Docker 开机自启后,服务器重启服务会自动拉起,约 3~4 分钟 |
network_mode: host | 容器直接用宿主网络 | 没有 ports: 映射;1025 直接落在宿主,防火墙按宿主放行 |
ipc: private | 容器使用私有 IPC 命名空间 | 不能改 host;银河麒麟会周期性清理 /dev/shm,host IPC 会让容器 25 秒内退出 |
shm_size: 32g | 共享内存 32 GB | 与 ipc: private 配套;不要只改 ipc 不改 shm |
privileged: true | 特权容器 | 配合 devices 访问 NPU;报告按原样保留 |
devices | 映射 4 颗 davinci + 管理设备 | 容器创建后 device 不能改;改卡数要删容器重建 |
volumes 驱动 | 只读挂载宿主 NPU 驱动 | 容器内推理依赖宿主驱动 |
volumes 模型 | 只读挂载权重目录 | bind mount 源不能在运行中移动,否则容器内路径立即失效 |
volumes 日志 | 挂载 /data/big-model/logs | 便于宿主机查看 |
environment | HCCL 与显存分配配置 | 见上表 |
command | vLLM 启动参数 | 修改后要 up -d 重建容器才生效 |
2.7 多模型切换
报告同时保留了 9B、27B、35B-A3B 的权重和编排文件,但任一时刻只有一个模型在线,因为容器名都是 vllm、端口都是 1025。
cd /data/big-model
# 切到 9B
docker compose -f docker-compose-qwen3.5-9b.yml up -d
# 切到 27B
docker compose -f docker-compose-qwen3.8-27b.yml up -d
up -d 会自动停旧容器、建新容器,不需要先 down。切换中断约 3~4 分钟。切换后按 2.5 的清单重新验证,尤其是 /v1/models 里的模型名。
3. 避坑
下面先列报告 9.6 节的 12 条实测坑,再补几条部署和运维中同样会遇到的。
3.1 启动与参数类(报告 9.6 节 12 条)
| # | 坑 | 现象 | 原因 | 规避方式 |
|---|---|---|---|---|
| 1 | ACL Graph 与 MTP 互斥 | 启动期 EE9999 rtStreamEndCapture / capture_end NPUGraph.cpp:240 error 507903,服务起不来 | 310P 官方 MTP 用例只覆盖 TP1 + enforce_eager=True,从未验证 graph 模式;910B 上可并存,310P 不行 | 保留 --enforce-eager,不要加 --compilation-config cudagraph_mode |
| 2 | num_speculative_tokens 开大 | 外部资料称“310P 开 2 即崩溃”,报告 9.6 表也写“只能 1” | 把 ACL Graph 的崩溃误归因到 num;报告 10.6 在同镜像实测 num=2/3/4 均正常启动、稳定运行、正确性 6/6 | 生产用 2;以 10.6 的实测更正为准;不要同时开 ACL Graph |
| 3 | --enable-prefix-caching | 310P + MTP 组合输出乱码:丢字、标点复读、语义断裂 | 报告未给出根因,只记录现象 | 不要开 |
| 4 | --ipc=host | 银河麒麟会周期性清理 /dev/shm,25 秒内容器异常退出 | 宿主清理共享内存文件,host IPC 下容器内文件被清空 | 用 ipc: private + shm_size: 32g |
| 5 | 用 MindIE 路线 | unsupported model type: qwen3_5;宿主 GLIBC 版本不足(GLIBC_2.33/2.34、GLIBCXX_3.4.30 not found) | MindIE 不支持该模型类型,且宿主 GLIBC 太旧 | 用 vllm-ascend 路线 |
| 6 | 镜像直连 quay.io | 拉取超时 | 国内直连 quay.io 慢或超时 | 用 m.daocloud.io/quay.io/... 加速前缀 |
| 7 | 客户端报思考内容 | 回复前带大段思维链,看似“卡住” | chat_template.jinja 默认开思考;两处条件要一起反转 | 两处必须同改;只改一处会把 </think> 泄漏进 content。也可在请求里带 enable_thinking:false |
| 8 | 测 TPS 用流式 chunk 数 | MTP 下少算,误判为性能下降 | 投机解码会把多个 token 合并进一个流式 chunk | 用 usage.completion_tokens,请求带 stream_options: {"include_usage": true} |
| 9 | enable_npugraph_ex 开着 | WARNING + 无效 | 310P 官方不支持 | 保持 false |
| 10 | 改卡数直接改 devices | 容器创建后 device 不能改 | 设备绑定在容器创建时固定 | 删容器重建;重建前用 docker cp 备份容器内脚本与编译缓存 |
| 11 | 重复写 --additional-config | 后者静默覆盖前者,参数丢失且无报错 | 多份配置按顺序覆盖 | 只写一次,合并所有键 |
| 12 | TP8 vs TP4 | TP8 单流快 26%,但并发聚合只差 5%,且多占 4 芯片 | 单流受益于更多卡带宽,并发瓶颈在 KV/调度,不在算力 | 卡数受限选 TP4 |
3.2 模型与运维类(补充)
| # | 坑 | 现象 | 原因 | 规避方式 |
|---|---|---|---|---|
| 13 | 9B 用 BF16 启动 | 容器反复重启,docker ps 显示 Up 但 /health 一直 000;日志 WorkerProc initialization failed,aclnnInplaceNormal failed, error code is 161002,Self dtype DT_BF16 not support in current soc version | 310P 的 aclnnInplaceNormal 不支持 BF16 自张量;9B 的 config.json 是 bfloat16,镜像默认也是 bfloat16 | 显式加 --dtype float16;27B 的 config 是 float16,所以未触发 |
| 14 | modelscope CLI 下 9B | --local_dir 不生效或不可用 | 报告记录 modelscope 1.9.5 的 CLI 不支持 --local_dir | 用 Python SDK snapshot_download(..., cache_dir=...),后台执行;落地路径是 <cache_dir>/<org>/<model>/ |
| 15 | 运行中移动权重目录 | 容器内路径立即失效 | 模型目录是 bind mount 的源,运行中移动后源不存在 | 先 docker compose -f ... down,再 mv,改 compose 挂载路径,再 up -d |
| 16 | 不带 -f 执行 compose | no configuration file provided: not found | 默认 docker-compose.yml 已删除 | 所有命令带 -f <模型文件>,或 export COMPOSE_FILE=... |
| 17 | 依赖远端旧镜像 tag | 旧 tag 被远端覆盖,无法再拉取 | tag 可变,且已从 quay.io 活跃列表消失 | 本地 docker save tar 备份并记 md5;不要删 .image-backup/ |
| 18 | --max-model-len 超原生上限 | 请求返回 HTTP 400 | 超过模型 max_position_embeddings 后被拒 | 9B 不超过 262144;27B 服务设 65536 是显存与并发的折中 |
| 19 | 9B 默认输出思考内容 | 回复前先输出思维链 | 9B 的 chat_template.jinja 条件与 27B 不同,默认开思考 | 请求带 chat_template_kwargs: {"enable_thinking": false};或按 27B 的方式同改两处条件并重启 |
3.3 关于 num_speculative_tokens 的报告内部矛盾
这一点必须单独说明,因为报告自己前后不一致:
- 9.6 节避坑表写:“310P 开 2 即崩溃,只能 1”。
- 10.6 节写:“重要更正:外部资料称开 2 即崩溃,本机在同镜像上用 num=2/3/4 逐一实测,均能正常启动、稳定运行、正确性 6/6,从未出现任何崩溃。崩溃的是 ACL Graph,与 num 取值无关。”
- 当前生产 compose 用的是
num_speculative_tokens: 2。
所以本文按 10.6 的实测更正处理:num=2 可用,生产用 2;9.6 那条是旧结论,与 10.6 冲突。 如果读者只看 9.6 会得出相反结论,这是报告本身需要修订的地方。
4. 测试
4.1 测试环境与方法
| 项目 | 内容 |
|---|---|
| 服务器 | 算力服务器 192.168.0.247,银河麒麟 Kylin V10 Halberd,aarch64 |
| CPU / 内存 | 鲲鹏 920 ×2 / 509 GiB |
| NPU | 2× Atlas 300I Duo(310P3),4 芯片 davinci0-3,单芯片 44278 MB |
| 驱动 / 固件 | 25.5.1 / 7.8.0.6.201 |
| 推理镜像 | vllm-ascend:v0.30.0rc2-310p(vllm 0.30.0 / vllm-ascend 0.30.0rc2 / torch_npu 2.10.0.post7 / CANN 9.2.0 / Python 3.12.13) |
| 并行拓扑 | TP4 |
| 负载 | temperature=0,流式;单流 300 token ×5 取中位;并发每请求 200 token |
关键方法:
- token 数必须取
usage.completion_tokens,不能数流式 chunk。MTP 会把多个 token 合并进一个 chunk,按 chunk 数会严重少算。 - TPS 计算:
tps = (completion_tokens - 1) / (total_time - ttft)。 - 请求体要带
stream_options: {"include_usage": true},否则拿不到准确 token 数。 - 长跑压测要后台执行:
nohup python3 /tmp/bench.py > /tmp/bench.out 2>&1 &,之后分次取结果。 - 引擎侧交叉验证:
docker logs vllm 2>&1 | grep "Avg generation throughput"、grep "SpecDecoding metrics"、grep -E "KV cache size|Maximum concurrency"。
4.2 三个模型横向对比
| 模型 | 量化与配置 | 单流速度 | 并发速度 | 首字时延 | 上下文 / KV | 适用性(按本组数据判断) |
|---|---|---|---|---|---|---|
| Qwen3.8-27B-w8a8-310p | W8A8_DYNAMIC(INT8),34 GB / 9 分片;TP4;MTP num=2;max-num-seqs 64 | 7.74 tok/s(num=2 生产)7.01 tok/s(num=1 基准) | 64 并发 290.1(num=2)/ 312.0(num=1);96 并发 392.0 峰值;128 并发 275.5 回落 | 单流 1.10~1.16 s;64 并发 7.14 s;128 并发最大 56.59 s | 64K;KV 651,412(num=2)/ 676,659(num=1);64K 并发 10.32x(num=1) | 低并发内网、离线批处理、长文总结;不适合在线实时对话 |
| Qwen3.5-9B-W8A8-310P | W8A8_DYNAMIC,约 12.86 GB;TP4;MTP num=2;max-num-seqs 96;--dtype float16 | 14.69~14.83 tok/s | 64 并发 412.8~558.9;96 并发 525.9~625.8 峰值;128 并发 417.1~436.6 过载 | 单流 0.47~0.68 s;96 并发 3.1 s;128 并发尾部到 39 s | 128K;KV 1,657,999;128K 并发 12.65x | 同机速度最好;中等并发、长上下文;仍不适合极低时延场景 |
| Qwen3.6-35B-A3B-w8a8 | W8A8 MoE,37 GB / 10 分片;TP4;MTP num=2;max-num-seqs 5 | 9.32 tok/s | 5 并发 37.8~38.1;更高并发报告未给出 | 报告未给出 | 256K;KV 1,133,679;256K 并发 4.32x | 长上下文、低并发 MoE;报告记录为当前在线模型 |
表中 num=1 的 64 并发,8.4 节记
312.0 tok/s,10.6 节复测记313.5 tok/s,是两次运行的差异;表中取 312.0,MTP 扫描表保留 313.5。35B-A3B 的max-num-seqs 5来自报告 10.7 节列出的启动参数,报告未给出其完整 compose。
4.3 测试条件差异
这张表不能读成“同条件横评”。至少有以下差异:
- 上下文不同:27B 是 64K,9B 是 128K,35B-A3B 是 256K。
- 并发上限不同:27B 的
max-num-seqs是 64,9B 是 96,35B-A3B 是 5。35B 只测到 5 并发,不能拿它的 37.8 tok/s 去和 27B 的 64 并发 290 tok/s 比。 - MTP num 的取值与测试批次不同:27B 的 96/128 并发点来自 8.4 节 num=1 组;num=2 只复测了 64 并发。表里同时标了 num=1 与 num=2,是为了不把两组混成一个数。
- 镜像/时间不同:27B 的 8.x 数据标注为
v0.30.0rc2-310p,但 10.6 的 num 扫描注明在nightly-releases-v0.23.0-310p上完成;9B 测试于 2026-10-15,35B-A3B 的复测在 2026-10-26 镜像升级后。不是同一镜像、同一批次的严格对照。 - 输出长度不同:单流是 300 token ×5 取中位;并发是每请求 200 token;35B-A3B 的并发输出长度报告未给出。
- 相同点:同一台机器、同一 TP4、同一套流式压测方法、token 数都取
usage.completion_tokens。所以可以看趋势和量级,不能把绝对值当成控制变量实验的结果。
4.4 27B 并发扩展曲线
报告 8.4 节的数据(num=1 基准,每请求 200 token):
| 并发 | 总吞吐 (tok/s) | 单请求 TPS 中位 | TTFT 中位 | TTFT 最大 | 全部完成 | KV 占用 |
|---|---|---|---|---|---|---|
| 1 | 6.6 | 6.71 | 0.83 s | 0.83 s | 30 s | — |
| 4 | 25.7 | 6.92 | 2.65 s | 2.65 s | 31 s | — |
| 8 | 49.8 | 6.91 | 2.73 s | 2.73 s | 32 s | — |
| 16 | 93.3 | 7.01 | 3.91 s | 3.91 s | 34 s | — |
| 32 | 183.0 | 6.96 | 3.68 s | 3.69 s | 35 s | — |
| 48 | 260.9 | 6.64 | 5.15 s | 5.17 s | 37 s | — |
| 64 | 312.0 | 5.97 | 7.14 s | 7.15 s | 41 s | — |
| 96 | 392.0(峰值) | 5.21 | 8.20 s | 8.23 s | 49 s | 95% |
| 128 | 275.5(回落) | 4.15 | 9.69 s | 56.59 s | 93 s | 99.3%(打满) |
规律:
- 1→96 并发吞吐近线性增长(6.6→392 tok/s,约 59 倍),说明引擎批处理效率不差。
- 并发 ≤32 时单请求仍有 6.9~7.0 tok/s,衰减很小;48→96 缓降到 6.64→5.21;128 掉到 4.15。
- 拐点在 96。超过后 KV 池被打满(99.3%),出现
Waiting排队,吞吐回落到 275。 - KV 是最终瓶颈,不是算力。AICore 在 64 并发压测中只有 21~28%,但总吞吐能线性涨到 392,说明不是 host 侧空等。
4.5 MTP num 参数扫描
报告 10.6 节的实测(单流 300 token ×5 中位;64 并发 × 每请求 200 token):
| num | 单流 TPS 中位 | 相对 num=1 | 64 并发总吞吐 | 相对 num=1 | 接受长度 | 接受率 | KV 池 |
|---|---|---|---|---|---|---|---|
| 1 | 7.01 | 基准 | 313.5 | 基准 | 1.54~2.00 | 78% | 676,659 |
| 2(当前生产) | 7.74 | +10.4% | 290.1 | −7.5% | 1.95~2.14 | 52~57% | 651,412 |
| 3 | 8.42 | +20.1% | 239.5 | −23.6% | 2.10~2.32 | 37~44% | — |
| 4 | 8.66(最高) | +23.5% | 162.3 | −48.2% | 2.09~2.74 | 27~43% | 607,496 |
规律:num 越大,单流越快,但并发总吞吐越低,接受率也越低。交叉点在 num=2 附近:单流 +10.4%,并发只 −7.5%。所以生产选 2,不是选单流最高的 4。
4.6 测试结论
- 27B 的单流速度由权重带宽决定,38.8 GB 权重每 token 读一遍,7 tok/s 是这套硬件的正常水平,不是配置没调好。
- MTP 已经把能拿的收益拿了:num=1 相对无 MTP +42.2%,num=2 再比 num=1 单流 +10.4%;再往上加 num 会牺牲并发。
- 并发上限由 KV 池固定容量决定,
--kv-cache-memory调不动;128 并发 KV 99.3% 后吞吐回落。 - 9B 单流约为 27B 的两倍,35B-A3B 介于两者之间;这是模型规模和架构差异,不是同一条件下的横评。
- 同模型 910B 四卡 68.45 tok/s,是这套 310P 的 3.35 倍。结论仍然是:这个速度不算好,能跑不等于好用。
报告未给出的内容,集中列在这里,避免读者误以为遗漏:
- 驱动、固件、CANN、Docker 的具体下载 URL 和安装耗时;
- 9B、35B-A3B 的完整 docker-compose 原文;
- 35B-A3B 的单流首字时延、并发测试的输出长度;
- 310P 的官方带宽规格(报告只给实测结果,没有给硬件带宽数字);
- 9B 并发测试每次运行的实际
completion_tokens(报告只给脚本方法为每请求 200 token,未逐次列出)。
5. 这次部署是怎么来的
这次部署不是手工一步步敲出来的。整套流程在 deploy desk claw 上用一句话发起:找驱动、下载、部署、测试、生成报告,全程没有人工参与;本文的命令、版本和测试数据,都来自它生成的部署测试报告。
deploy desk claw 是多项目部署工作台:一句话发起,自动跑完从环境到报告的整条链路。它省的是人力,不是算力——7 tok/s 还是 7 tok/s。