2×Atlas 300I Duo 部署 27B 实测:单流 7 tok/s,能跑,但别当在线推理卡

0 阅读24分钟

1. 总结

先说判断:这套 2 张 Atlas 300I Duo(4 颗 310P3)跑 Qwen3.8-27B 的 W8A8 量化版,服务能稳定起来,功能也完整,但速度不算好。单流只有 7 tok/s 级别,64 并发首字要 7 秒左右,128 并发会因 KV 打满而回落。它适合低并发、离线或内部工具场景,不适合在线实时对话。

1.1 速度水平

27B 的关键数字:

  • 单流:7.01 tok/s(MTP num=1 基准),7.74 tok/s(MTP num=2,当前生产配置)。
  • 单流首字:1.10~1.16 s。
  • 300 token 的请求:num=1 组 5 次测量总耗时 28.6~33.3 s。
  • 64 并发:290.1 tok/s(num=2)/ 312.0 tok/s(num=1),首字中位 7.14 s(num=1 组)。
  • 96 并发:392.0 tok/s,是报告里的吞吐峰值,首字中位 8.20 s,KV 占用 95%。
  • 128 并发:回落到 275.5 tok/s,KV 占用 99.3%,首字中位 9.69 s,最大 56.59 s。
  • 不开 MTP:单流 4.93 tok/s;开 MTP 后 num=1 提升 +42.2%,但绝对值仍然只有 7 tok/s。

报告还引用了同模型在 910B 四卡上的数据:输出吞吐 68.45 tok/s、TTFT P50 532 ms,是这套 310P 的 3.35 倍。这个差距说明 310P 的定位不是高性能在线推理。

1.2 适合什么场景

  • 内网低并发:少量用户、内部工具、知识库问答的离线入口。
  • 离线批处理:文档总结、批量抽取、语料清洗,能接受几十秒级等待。
  • 长文档总结:64K 上下文可用,KV 池 676,659 tokens,64K 满长并发约 10.32x。
  • 卡已经在手里:不额外采购,先把现有 310P 用起来。

1.3 不适合什么场景

  • 在线实时对话:单流 7 tok/s,一句话生成几百 token 要几十秒。
  • 多人同时提问:64 并发首字已经 7 秒,128 并发最大首字 56 秒。
  • 客服、代码补全等对首字敏感的业务:要求一两秒首字的场景,这套配置直接不达标。
  • 追求单机高吞吐的在线服务:同模型 910B 四卡是它的 3.35 倍。

1.4 为什么慢

报告给出的瓶颈很明确:

  1. 单流受内存带宽限制。27B W8A8 权重约 38.8 GB,每生成 1 个 token 都要完整读一遍权重。310P 平台带宽下,实测就是 4.93 tok/s(无 MTP)/ 7.01 tok/s(有 MTP)。
  2. MTP 只能缓解,不能改命。投机解码让一次权重读取产出约 1.78 个 token,提升约 40%,但绝对值仍在 7 tok/s 级别。
  3. 并发上限由 KV 池决定。KV 池固定 676,659 tokens,--kv-cache-memory 在 310P 上实际不生效;128 并发时 KV 打到 99.3%,吞吐反而回落。
  4. 模型越大越吃力。同机 9B 单流 14.69~14.83 tok/s,35B-A3B 单流 9.32 tok/s,27B 是三者里最慢的。

2. 步骤

这一节是按报告第九章整理的可复现流程。安装顺序是严格串行的:驱动 → 固件 → CANN Toolkit → CANN 310P Ops → NNAL → Docker → 镜像 → 权重 → 服务。

2.1 硬件与系统前提

项目要求 / 本环境
服务器鲲鹏 920(aarch64)或同架构 ARM 服务器;本环境鲲鹏 920 ×2
NPUAtlas 300I Duo(310P3)×1 或 ×2;本环境 2 张 = 4 芯片(davinci0-3),单芯片显存 44278 MB
操作系统银河麒麟 Kylin V10 (Halberd) aarch64(验证版本);报告称 Ubuntu 20.04/22.04 aarch64、openEuler 亦可
内存≥ 200 GB;本环境 509 GiB
数据盘≥ 100 GB 可用;模型 34 GB + 镜像 + 余量(报告 9.1 节写镜像 16 GB,9.4/10.7 节升级后为 20.1 GB)
NPU 驱动25.5.1
NPU 固件7.8.0.6.201
Docker27.5.1
Docker Composev2.27.0(cli-plugin)

2.2 下载什么、从哪里下载

组件来源版本 / 文件名大小备注
NPU 驱动华为昇腾官网 → 固件与驱动 → Atlas 300I Duo / Ascend HDKAscend-hdk-310p-npu-driver_25.5.1_linux-aarch64.run报告未给出本环境实际版本 25.5.1;具体下载 URL 报告未给出
NPU 固件同上Ascend-hdk-310p-npu-firmware_7.8.0.6.201.run报告未给出部分包与驱动合并;具体下载 URL 报告未给出
CANN Toolkit报告只写“已存在于 /usr/local/Ascend/”Ascend-cann-toolkit_9.0.0-beta.2_linux-aarch64.run939 MB下载 URL 报告未给出
CANN 310P Ops同上Ascend-cann-310p-ops_9.0.0-beta.2_linux-aarch64.run2.0 GB必须安装,否则 310P 算子不可用
NNAL同上Ascend-cann-nnal_9.0.0-beta.2_linux-aarch64.run540 MB如用 NNAL 则安装
Docker银河麒麟用 docker-ce(aarch64)Docker 27.5.1 + Compose v2.27.0报告未给出下载 URL 报告未给出
推理镜像quay.io/ascend/vllm-ascend 或国内加速前缀v0.30.0rc2-310p20.1 GB,arm64镜像内 CANN 9.2.0、vllm 0.30.0、vllm-ascend 0.30.0rc2、torch_npu 2.10.0.post7、Python 3.12.13
27B 权重ModelScope:https://www.modelscope.cn/models/Eco-Tech/Qwen3.8-27B-w8a8-310pEco-Tech/Qwen3.8-27B-w8a8-310p约 34 GB,9 个分片必须 310P 专用 W8A8;含 29 个 mtp.* 张量、quant_model_description.json、chat_template.jinja
9B 权重(可选)ModelScope:Eco-Tech/Qwen3.5-9B-W8A8-310PEco-Tech/Qwen3.5-9B-W8A8-310P约 12.86 GB(报告 13.5 节资产表记 13.8 GB)128K 配置;启动必须加 --dtype float16
35B-A3B 权重(可选)报告未给出 ModelScope ID/data/big-model/Qwen3.6-35B-A3B37 GB,10 个分片W8A8 MoE;256K 配置

几个下载上的注意点:

  • 不要用 BF16 原版。报告明确说体积翻倍、每 token 访存量翻倍,吞吐和延迟都会明显变差;这个场景必须用 W8A8。
  • 镜像有两个来源:官方 quay.io/ascend/vllm-ascend:v0.30.0rc2-310p,以及国内加速 m.daocloud.io/quay.io/ascend/vllm-ascend:v0.30.0rc2-310p。报告本环境用的是后者。
  • 报告 2.1 节仍保留镜像 15.9 GB 的升级前旧值;9.4 和 10.7 节记录升级后为 20.1 GB。以 20.1 GB 为准。
  • 宿主机安装的是 CANN 9.0.0-beta.2,镜像内自带 CANN 9.2.0。两者版本不同;报告未说明宿主机 CANN 是否参与容器内推理,这里按原文并列。

2.3 安装顺序与确认方式

① 驱动与固件

chmod +x Ascend-hdk-310p-npu-driver_25.5.1_linux-aarch64.run
./Ascend-hdk-310p-npu-driver_25.5.1_linux-aarch64.run --full
# 安装固件(部分包与驱动合并)
./Ascend-hdk-310p-npu-firmware_7.8.0.6.201.run --full

# 验证(应显示 310P3 芯片与显存)
npu-smi info
cat /usr/local/Ascend/driver/version.info     # 本环境: Version=25.5.1

确认要点:

  • npu-smi info 能看到 4 颗 310P3 芯片和显存。
  • version.info 显示 Version=25.5.1。
  • 驱动必须先装,且版本与固件匹配;固件包的 firmware/version.info 里有 compatible_version_drv 列表。本环境驱动 25.5.1 的兼容范围是 [23.0.rc2]...[25.5.]。
  • 安装驱动后需要重启服务器才生效。报告特别提醒先申请停机窗口并和业务方确认。

② CANN Toolkit、310P Ops、NNAL

chmod +x Ascend-cann-toolkit_9.0.0-beta.2_linux-aarch64.run
./Ascend-cann-toolkit_9.0.0-beta.2_linux-aarch64.run --install
./Ascend-cann-310p-ops_9.0.0-beta.2_linux-aarch64.run --install
./Ascend-cann-nnal_9.0.0-beta.2_linux-aarch64.run --install

# 配置环境变量(写入 /etc/profile 或 ~/.bashrc)
source /usr/local/Ascend/ascend-toolkit/set_env.sh
source /usr/local/Ascend/nnal/atb/set_env.sh    # 如用 NNAL

确认要点:

  • 310p-ops 必须装,否则 310P 的算子不可用。报告把安装包留在 /usr/local/Ascend/ 下,便于重装。
  • 安装后目录是 /usr/local/Ascend/cann-9.0.0-beta.2,ascend-toolkit/latest 软链到它。
  • 检查版本:cat /usr/local/Ascend/ascend-toolkit/latest/version.cfg。

③ Docker

# 银河麒麟用 docker-ce(aarch64)
docker --version && docker compose version
systemctl enable --now docker

确认要点:docker --version 应为 27.5.1,docker compose version 应为 v2.27.0。systemctl enable --now docker 同时设置开机自启并立即启动。

④ 拉取推理镜像

# 官方源(quay.io 在国内可能慢)
docker pull quay.io/ascend/vllm-ascend:v0.30.0rc2-310p

# 推荐:国内镜像加速(本环境使用此方式)
docker pull m.daocloud.io/quay.io/ascend/vllm-ascend:v0.30.0rc2-310p

确认要点:镜像约 20.1 GB,arm64。报告提到旧 tag nightly-releases-v0.23.0-310p 已被远端覆盖,本地 tar 备份是唯一留存,清理磁盘时不能删。

⑤ 下载 27B 权重

# 方式一:modelscope 命令行
pip install modelscope
modelscope download --model Eco-Tech/Qwen3.8-27B-w8a8-310p --local_dir /data/big-model/qwen3.8-27b

# 方式二:git lfs
git lfs install
git clone https://www.modelscope.cn/Eco-Tech/Qwen3.8-27B-w8a8-310p.git /data/big-model/qwen3.8-27b

# 校验完整性(应有 quant_model_description.json + 9 个 safetensors + crc32.txt)
ls -lh /data/big-model/qwen3.8-27b/

确认 MTP 权重是否齐全:

python3 -c "
import json
d=json.load(open('/data/big-model/qwen3.8-27b/quant_model_description.json'))
m=[k for k in d if k.startswith('mtp.')]
print(len(m),'个 MTP 张量')"   # 应输出 29

报告还提醒:模型需保留 chat_template.jinja,tool calling 与思考模式由它控制。

9B 的下载方式有一处不同:报告记录 modelscope 1.9.5 的 CLI 不支持 --local_dir,要用 Python SDK,并且后台执行(前台会超时):

cd /data/big-model
nohup python3 -c "
from modelscope import snapshot_download
p = snapshot_download('Eco-Tech/Qwen3.5-9B-W8A8-310P', cache_dir='/data/big-model')
print('DOWNLOAD_DONE', p)
" > /data/big-model/dl_9b.log 2>&1 &

tail -f /data/big-model/dl_9b.log

注意落地路径是 <cache_dir>/<org>/<model>/,不是自己指定的名字。要统一命名就下载后迁移;迁移前必须先停容器。

2.4 完整的 docker-compose

创建 /data/big-model/docker-compose-qwen3.8-27b.yml。报告要求按模型命名,命令必须带 -f,因为默认的 docker-compose.yml 已经删除。

services:
  vllm:
    image: m.daocloud.io/quay.io/ascend/vllm-ascend:v0.30.0rc2-310p
    container_name: vllm
    restart: unless-stopped
    network_mode: host
    ipc: private                      # 关键:不可用 host
    shm_size: 32g
    privileged: true
    devices:
      - /dev/davinci_manager
      - /dev/hisi_hdc
      - /dev/devmm_svm
      - /dev/davinci0
      - /dev/davinci1
      - /dev/davinci2
      - /dev/davinci3
    volumes:
      - /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro
      - /usr/local/sbin:/usr/local/sbin:ro
      - /data/big-model/qwen3.8-27b:/models/qwen3.8-27b:ro
      - /data/big-model/logs:/logs
    environment:
      - HCCL_OP_EXPANSION_MODE=AIV
      - HCCL_INTRA_PCIE_ENABLE=1
      - HCCL_INTRA_ROCE_ENABLE=0
      - HCCL_BUFFSIZE=1024
      - PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
    command: >
      vllm serve /models/qwen3.8-27b
      --served-model-name qwen3.8-27b
      --host 0.0.0.0
      --port 1025
      --max-model-len 65536
      --tensor-parallel-size 4
      --trust-remote-code
      --gpu-memory-utilization 0.9
      --enforce-eager
      --max-num-seqs 64
      --kv-cache-memory 28516917248
      --enable-auto-tool-choice
      --tool-call-parser qwen3_xml
      --speculative-config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 2}'

这份 compose 是 27B 的原文。9B 和 35B 的完整 compose 报告没有给出,只给出各自的关键参数与编排文件名;不要直接照抄 27B 的模型路径和上下文长度。

2.5 启动与验证

cd /data/big-model
docker compose -f docker-compose-qwen3.8-27b.yml up -d

# 启动约 3~4 分钟(权重加载 ~21s + 引擎初始化 ~41s + 多模态 warmup ~21s)
# 跟踪就绪:
for i in $(seq 1 30); do
  c=$(curl -s --max-time 3 -o /dev/null -w "%{http_code}" http://127.0.0.1:1025/health)
  [ "$c" = "200" ] && { echo "就绪"; break; }; sleep 10
done

# 验证清单
curl -s http://127.0.0.1:1025/health -o /dev/null -w "%{http_code}\n"        # 200
curl -s http://127.0.0.1:1025/v1/models | python3 -m json.tool               # max_model_len 65536
docker logs vllm 2>&1 | grep -E "KV cache size|Maximum concurrency"          # 676659 / 10.32x
docker logs vllm 2>&1 | grep "SpecDecoding metrics"                          # MTP 生效
npu-smi info                                                                 # 4 芯片占用 ~38GB
firewall-cmd --permanent --add-port=1025/tcp && firewall-cmd --reload        # 放行端口

每项怎么确认:

检查项期望结果说明
/healthHTTP 200200 之前不要压测
/v1/modelsqwen3.8-27b,max_model_len 65536模型名必须和请求里的 model 一致
KV cache size676659num=1 组;num=2 时报告记录为 651412
Maximum concurrency10.32x64K 满长并发能力
SpecDecoding metrics有接受长度/接受率输出说明 MTP 生效
npu-smi info4 芯片,占用约 38 GB/卡显存异常时先看日志

服务由 vLLM 提供 OpenAI 兼容 API,地址是 http://192.168.0.247:1025/v1,未启用鉴权,api_key 填任意非空字符串即可。模型名是 qwen3.8-27b。

2.6 参数逐条说明

启动参数

参数作用本平台上的注意点
vllm serve /models/qwen3.8-27b启动 vLLM 服务并加载容器内模型路径路径是容器内路径,对应 volume 挂载的 /data/big-model/qwen3.8-27b
--served-model-name qwen3.8-27b对外暴露的模型名客户端 model 字段必须一致,否则 404/400
--host 0.0.0.0监听所有网卡配合 network_mode: host,直接占用宿主 1025
--port 1025服务端口容器用 host 网络;防火墙要单独放行 1025/tcp
--max-model-len 65536服务上下文 64K模型原生上限 262144;报告在显存与并发之间折中到 64K,超原生上限会被拒
--tensor-parallel-size 44 芯片张量并行,权重按 TP=4 切分每卡加载约 9.7 GB;TP8 单流更快但并发聚合收益很小,见避坑
--trust-remote-code允许加载模型仓库自带的自定义建模代码该模型架构需要;只对可信权重开启
--gpu-memory-utilization 0.9显存占用目标比例310P 上会参与 KV 预算计算;报告从 0.95 降到 0.9 以降低常驻占用
--enforce-eager关闭 ACL Graph,走 eager 执行必须保留;310P 上 MTP 与 ACL Graph 互斥,删了会启动失败
--max-num-seqs 64调度层最大并发序列数不是 KV 上限;64 是生产值,96 实测峰值,128 会过载
--kv-cache-memory 28516917248请求 26.56 GiB 的 KV 预算310P 上实际不生效;实现强制除以 2,实际约 12 GiB/卡、676659 tokens,改大也无变化
--enable-auto-tool-choice启用 tool_choice:"auto"不开启时客户端传 auto 会报 HTTP 400
--tool-call-parser qwen3_xml解析模型 XML 格式的工具调用该模型 chat_template 是 XML 格式,parser 必须匹配
--speculative-config '{"method": "qwen3_5_mtp", "num_speculative_tokens": 2}'开启 MTP 投机解码,draft 2 个 tokenqwen3_5_mtp 与 mtp 等价,日志会提示 deprecated;num=2 是单流与并发的折中
--dtype float16指定计算精度27B 的 config 本身是 float16,compose 未显式写;9B 的 config 是 bfloat16,必须显式加,否则启动失败

不要加的参数

参数现象原因 / 结论
--enable-prefix-caching310P + MTP 输出乱码:丢字、标点复读、语义断裂报告未给出根因,只记录现象;不要开
--compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY", ...}'启动期 EE9999 rtStreamEndCapture、capture_end NPUGraph.cpp:240 error 507903ACL Graph 与 MTP 互斥;310P 官方 MTP 用例只覆盖 TP1 + eager
enable_npugraph_exWARNING + 无效310P 官方不支持,保持 false
重复写 --additional-config后者静默覆盖前者,参数丢失且无报错只写一次,把所有键合并进去
--max-model-len 超过原生上限请求被拒,实测 154K → HTTP 400不能超过 max_position_embeddings;9B 原生 262144

环境变量

变量作用说明
HCCL_OP_EXPANSION_MODE=AIVHCCL 算子展开模式报告注明 ACL Graph 场景需要,eager 下无害
HCCL_INTRA_PCIE_ENABLE=1开启节点内 PCIe 通信面向 A2/A3 PCIe 互联机型;本机是 PCIe 拓扑
HCCL_INTRA_ROCE_ENABLE=0关闭节点内 RoCE与上一项配套,本机不走 RoCE
HCCL_BUFFSIZE=1024HCCL 通信缓冲区大小报告只给值,未给出单位与调优依据
PYTORCH_NPU_ALLOC_CONF=expandable_segments:True减少显存碎片报告实测无负面影响

compose 关键项

配置作用注意点
image固定推理镜像 tagv0.30.0rc2-310p 是 RC 版本,不是正式版;旧 tag 已被远端覆盖,本地 tar 要留
container_name: vllm固定容器名9B/27B/35B 都用这个名字,切换时旧容器会被停掉
restart: unless-stopped异常退出自动重启Docker 开机自启后,服务器重启服务会自动拉起,约 3~4 分钟
network_mode: host容器直接用宿主网络没有 ports: 映射;1025 直接落在宿主,防火墙按宿主放行
ipc: private容器使用私有 IPC 命名空间不能改 host;银河麒麟会周期性清理 /dev/shm,host IPC 会让容器 25 秒内退出
shm_size: 32g共享内存 32 GB与 ipc: private 配套;不要只改 ipc 不改 shm
privileged: true特权容器配合 devices 访问 NPU;报告按原样保留
devices映射 4 颗 davinci + 管理设备容器创建后 device 不能改;改卡数要删容器重建
volumes 驱动只读挂载宿主 NPU 驱动容器内推理依赖宿主驱动
volumes 模型只读挂载权重目录bind mount 源不能在运行中移动,否则容器内路径立即失效
volumes 日志挂载 /data/big-model/logs便于宿主机查看
environmentHCCL 与显存分配配置见上表
commandvLLM 启动参数修改后要 up -d 重建容器才生效

2.7 多模型切换

报告同时保留了 9B、27B、35B-A3B 的权重和编排文件,但任一时刻只有一个模型在线,因为容器名都是 vllm、端口都是 1025。

cd /data/big-model

# 切到 9B
docker compose -f docker-compose-qwen3.5-9b.yml up -d

# 切到 27B
docker compose -f docker-compose-qwen3.8-27b.yml up -d

up -d 会自动停旧容器、建新容器,不需要先 down。切换中断约 3~4 分钟。切换后按 2.5 的清单重新验证,尤其是 /v1/models 里的模型名。


3. 避坑

下面先列报告 9.6 节的 12 条实测坑,再补几条部署和运维中同样会遇到的。

3.1 启动与参数类(报告 9.6 节 12 条)

#坑现象原因规避方式
1ACL Graph 与 MTP 互斥启动期 EE9999 rtStreamEndCapture / capture_end NPUGraph.cpp:240 error 507903,服务起不来310P 官方 MTP 用例只覆盖 TP1 + enforce_eager=True,从未验证 graph 模式;910B 上可并存,310P 不行保留 --enforce-eager,不要加 --compilation-config cudagraph_mode
2num_speculative_tokens 开大外部资料称“310P 开 2 即崩溃”,报告 9.6 表也写“只能 1”把 ACL Graph 的崩溃误归因到 num;报告 10.6 在同镜像实测 num=2/3/4 均正常启动、稳定运行、正确性 6/6生产用 2;以 10.6 的实测更正为准;不要同时开 ACL Graph
3--enable-prefix-caching310P + MTP 组合输出乱码:丢字、标点复读、语义断裂报告未给出根因,只记录现象不要开
4--ipc=host银河麒麟会周期性清理 /dev/shm,25 秒内容器异常退出宿主清理共享内存文件,host IPC 下容器内文件被清空用 ipc: private + shm_size: 32g
5用 MindIE 路线unsupported model type: qwen3_5;宿主 GLIBC 版本不足(GLIBC_2.33/2.34、GLIBCXX_3.4.30 not found)MindIE 不支持该模型类型,且宿主 GLIBC 太旧用 vllm-ascend 路线
6镜像直连 quay.io拉取超时国内直连 quay.io 慢或超时用 m.daocloud.io/quay.io/... 加速前缀
7客户端报思考内容回复前带大段思维链,看似“卡住”chat_template.jinja 默认开思考;两处条件要一起反转两处必须同改;只改一处会把 </think> 泄漏进 content。也可在请求里带 enable_thinking:false
8测 TPS 用流式 chunk 数MTP 下少算,误判为性能下降投机解码会把多个 token 合并进一个流式 chunk用 usage.completion_tokens,请求带 stream_options: {"include_usage": true}
9enable_npugraph_ex 开着WARNING + 无效310P 官方不支持保持 false
10改卡数直接改 devices容器创建后 device 不能改设备绑定在容器创建时固定删容器重建;重建前用 docker cp 备份容器内脚本与编译缓存
11重复写 --additional-config后者静默覆盖前者,参数丢失且无报错多份配置按顺序覆盖只写一次,合并所有键
12TP8 vs TP4TP8 单流快 26%,但并发聚合只差 5%,且多占 4 芯片单流受益于更多卡带宽,并发瓶颈在 KV/调度,不在算力卡数受限选 TP4

3.2 模型与运维类(补充)

#坑现象原因规避方式
139B 用 BF16 启动容器反复重启,docker ps 显示 Up 但 /health 一直 000;日志 WorkerProc initialization failed,aclnnInplaceNormal failed, error code is 161002,Self dtype DT_BF16 not support in current soc version310P 的 aclnnInplaceNormal 不支持 BF16 自张量;9B 的 config.json 是 bfloat16,镜像默认也是 bfloat16显式加 --dtype float16;27B 的 config 是 float16,所以未触发
14modelscope CLI 下 9B--local_dir 不生效或不可用报告记录 modelscope 1.9.5 的 CLI 不支持 --local_dir用 Python SDK snapshot_download(..., cache_dir=...),后台执行;落地路径是 <cache_dir>/<org>/<model>/
15运行中移动权重目录容器内路径立即失效模型目录是 bind mount 的源,运行中移动后源不存在先 docker compose -f ... down,再 mv,改 compose 挂载路径,再 up -d
16不带 -f 执行 composeno configuration file provided: not found默认 docker-compose.yml 已删除所有命令带 -f <模型文件>,或 export COMPOSE_FILE=...
17依赖远端旧镜像 tag旧 tag 被远端覆盖,无法再拉取tag 可变,且已从 quay.io 活跃列表消失本地 docker save tar 备份并记 md5;不要删 .image-backup/
18--max-model-len 超原生上限请求返回 HTTP 400超过模型 max_position_embeddings 后被拒9B 不超过 262144;27B 服务设 65536 是显存与并发的折中
199B 默认输出思考内容回复前先输出思维链9B 的 chat_template.jinja 条件与 27B 不同,默认开思考请求带 chat_template_kwargs: {"enable_thinking": false};或按 27B 的方式同改两处条件并重启

3.3 关于 num_speculative_tokens 的报告内部矛盾

这一点必须单独说明,因为报告自己前后不一致:

  • 9.6 节避坑表写:“310P 开 2 即崩溃,只能 1”。
  • 10.6 节写:“重要更正:外部资料称开 2 即崩溃,本机在同镜像上用 num=2/3/4 逐一实测,均能正常启动、稳定运行、正确性 6/6,从未出现任何崩溃。崩溃的是 ACL Graph,与 num 取值无关。”
  • 当前生产 compose 用的是 num_speculative_tokens: 2。

所以本文按 10.6 的实测更正处理:num=2 可用,生产用 2;9.6 那条是旧结论,与 10.6 冲突。 如果读者只看 9.6 会得出相反结论,这是报告本身需要修订的地方。


4. 测试

4.1 测试环境与方法

项目内容
服务器算力服务器 192.168.0.247,银河麒麟 Kylin V10 Halberd,aarch64
CPU / 内存鲲鹏 920 ×2 / 509 GiB
NPU2× Atlas 300I Duo(310P3),4 芯片 davinci0-3,单芯片 44278 MB
驱动 / 固件25.5.1 / 7.8.0.6.201
推理镜像vllm-ascend:v0.30.0rc2-310p(vllm 0.30.0 / vllm-ascend 0.30.0rc2 / torch_npu 2.10.0.post7 / CANN 9.2.0 / Python 3.12.13)
并行拓扑TP4
负载temperature=0,流式;单流 300 token ×5 取中位;并发每请求 200 token

关键方法:

  • token 数必须取 usage.completion_tokens,不能数流式 chunk。MTP 会把多个 token 合并进一个 chunk,按 chunk 数会严重少算。
  • TPS 计算:tps = (completion_tokens - 1) / (total_time - ttft)。
  • 请求体要带 stream_options: {"include_usage": true},否则拿不到准确 token 数。
  • 长跑压测要后台执行:nohup python3 /tmp/bench.py > /tmp/bench.out 2>&1 &,之后分次取结果。
  • 引擎侧交叉验证:docker logs vllm 2>&1 | grep "Avg generation throughput"、grep "SpecDecoding metrics"、grep -E "KV cache size|Maximum concurrency"。

4.2 三个模型横向对比

模型量化与配置单流速度并发速度首字时延上下文 / KV适用性(按本组数据判断)
Qwen3.8-27B-w8a8-310pW8A8_DYNAMIC(INT8),34 GB / 9 分片;TP4;MTP num=2;max-num-seqs 647.74 tok/s(num=2 生产)7.01 tok/s(num=1 基准)64 并发 290.1(num=2)/ 312.0(num=1);96 并发 392.0 峰值;128 并发 275.5 回落单流 1.10~1.16 s;64 并发 7.14 s;128 并发最大 56.59 s64K;KV 651,412(num=2)/ 676,659(num=1);64K 并发 10.32x(num=1)低并发内网、离线批处理、长文总结;不适合在线实时对话
Qwen3.5-9B-W8A8-310PW8A8_DYNAMIC,约 12.86 GB;TP4;MTP num=2;max-num-seqs 96;--dtype float1614.69~14.83 tok/s64 并发 412.8~558.9;96 并发 525.9~625.8 峰值;128 并发 417.1~436.6 过载单流 0.47~0.68 s;96 并发 3.1 s;128 并发尾部到 39 s128K;KV 1,657,999;128K 并发 12.65x同机速度最好;中等并发、长上下文;仍不适合极低时延场景
Qwen3.6-35B-A3B-w8a8W8A8 MoE,37 GB / 10 分片;TP4;MTP num=2;max-num-seqs 59.32 tok/s5 并发 37.8~38.1;更高并发报告未给出报告未给出256K;KV 1,133,679;256K 并发 4.32x长上下文、低并发 MoE;报告记录为当前在线模型

表中 num=1 的 64 并发,8.4 节记 312.0 tok/s,10.6 节复测记 313.5 tok/s,是两次运行的差异;表中取 312.0,MTP 扫描表保留 313.5。35B-A3B 的 max-num-seqs 5 来自报告 10.7 节列出的启动参数,报告未给出其完整 compose。

4.3 测试条件差异

这张表不能读成“同条件横评”。至少有以下差异:

  1. 上下文不同:27B 是 64K,9B 是 128K,35B-A3B 是 256K。
  2. 并发上限不同:27B 的 max-num-seqs 是 64,9B 是 96,35B-A3B 是 5。35B 只测到 5 并发,不能拿它的 37.8 tok/s 去和 27B 的 64 并发 290 tok/s 比。
  3. MTP num 的取值与测试批次不同:27B 的 96/128 并发点来自 8.4 节 num=1 组;num=2 只复测了 64 并发。表里同时标了 num=1 与 num=2,是为了不把两组混成一个数。
  4. 镜像/时间不同:27B 的 8.x 数据标注为 v0.30.0rc2-310p,但 10.6 的 num 扫描注明在 nightly-releases-v0.23.0-310p 上完成;9B 测试于 2026-10-15,35B-A3B 的复测在 2026-10-26 镜像升级后。不是同一镜像、同一批次的严格对照。
  5. 输出长度不同:单流是 300 token ×5 取中位;并发是每请求 200 token;35B-A3B 的并发输出长度报告未给出。
  6. 相同点:同一台机器、同一 TP4、同一套流式压测方法、token 数都取 usage.completion_tokens。所以可以看趋势和量级,不能把绝对值当成控制变量实验的结果。

4.4 27B 并发扩展曲线

报告 8.4 节的数据(num=1 基准,每请求 200 token):

并发总吞吐 (tok/s)单请求 TPS 中位TTFT 中位TTFT 最大全部完成KV 占用
16.66.710.83 s0.83 s30 s—
425.76.922.65 s2.65 s31 s—
849.86.912.73 s2.73 s32 s—
1693.37.013.91 s3.91 s34 s—
32183.06.963.68 s3.69 s35 s—
48260.96.645.15 s5.17 s37 s—
64312.05.977.14 s7.15 s41 s—
96392.0(峰值)5.218.20 s8.23 s49 s95%
128275.5(回落)4.159.69 s56.59 s93 s99.3%(打满)

规律:

  • 1→96 并发吞吐近线性增长(6.6→392 tok/s,约 59 倍),说明引擎批处理效率不差。
  • 并发 ≤32 时单请求仍有 6.9~7.0 tok/s,衰减很小;48→96 缓降到 6.64→5.21;128 掉到 4.15。
  • 拐点在 96。超过后 KV 池被打满(99.3%),出现 Waiting 排队,吞吐回落到 275。
  • KV 是最终瓶颈,不是算力。AICore 在 64 并发压测中只有 21~28%,但总吞吐能线性涨到 392,说明不是 host 侧空等。

4.5 MTP num 参数扫描

报告 10.6 节的实测(单流 300 token ×5 中位;64 并发 × 每请求 200 token):

num单流 TPS 中位相对 num=164 并发总吞吐相对 num=1接受长度接受率KV 池
17.01基准313.5基准1.54~2.0078%676,659
2(当前生产)7.74+10.4%290.1−7.5%1.95~2.1452~57%651,412
38.42+20.1%239.5−23.6%2.10~2.3237~44%—
48.66(最高)+23.5%162.3−48.2%2.09~2.7427~43%607,496

规律:num 越大,单流越快,但并发总吞吐越低,接受率也越低。交叉点在 num=2 附近:单流 +10.4%,并发只 −7.5%。所以生产选 2,不是选单流最高的 4。

4.6 测试结论

  • 27B 的单流速度由权重带宽决定,38.8 GB 权重每 token 读一遍,7 tok/s 是这套硬件的正常水平,不是配置没调好。
  • MTP 已经把能拿的收益拿了:num=1 相对无 MTP +42.2%,num=2 再比 num=1 单流 +10.4%;再往上加 num 会牺牲并发。
  • 并发上限由 KV 池固定容量决定,--kv-cache-memory 调不动;128 并发 KV 99.3% 后吞吐回落。
  • 9B 单流约为 27B 的两倍,35B-A3B 介于两者之间;这是模型规模和架构差异,不是同一条件下的横评。
  • 同模型 910B 四卡 68.45 tok/s,是这套 310P 的 3.35 倍。结论仍然是:这个速度不算好,能跑不等于好用。

报告未给出的内容,集中列在这里,避免读者误以为遗漏:

  • 驱动、固件、CANN、Docker 的具体下载 URL 和安装耗时;
  • 9B、35B-A3B 的完整 docker-compose 原文;
  • 35B-A3B 的单流首字时延、并发测试的输出长度;
  • 310P 的官方带宽规格(报告只给实测结果,没有给硬件带宽数字);
  • 9B 并发测试每次运行的实际 completion_tokens(报告只给脚本方法为每请求 200 token,未逐次列出)。

5. 这次部署是怎么来的

这次部署不是手工一步步敲出来的。整套流程在 deploy desk claw 上用一句话发起:找驱动、下载、部署、测试、生成报告,全程没有人工参与;本文的命令、版本和测试数据,都来自它生成的部署测试报告。

deploy desk claw 是多项目部署工作台:一句话发起,自动跑完从环境到报告的整条链路。它省的是人力,不是算力——7 tok/s 还是 7 tok/s。