VLLM / A2

Qwen3.5-397B-A17B · A2

每种布局独立记录镜像与脚本。先选拓扑，再核对具体的部署条件。

A2 / LAYOUT

2nodes

当前版本待验证

镜像TODO

Qwen3.5-397B-A17B-w8a8-mtp, 2x A2 (8 NPU/node) single mixed engine, DP=2 x TP=8 (dp-local=1, one DP rank per node). rank0=leader (API :8080, --api-server-count 2), rank1=headless. served-model-name qwen3.5, speculative qwen3_5_mtp (Qwen3.5 own MTP). headless node keeps --data-parallel-start-rank (no per-node API server, so --data-parallel-rank not needed). Deviations from upstream 5.2: /root/model, --port 8080 (upstream 8000), dropped VLLM_USE_MODELSCOPE; NIC/IP resolved at runtime via the spine (upstream had placeholder nic_name/local_ip/node0_ip).

脚本与说明

check_hccn.sh ↗meta.yaml ↗run.sh ↗run_node0.sh ↗run_node1.sh ↗setup_rank_env.sh ↗

打开完整部署目录 ↗

来源记录日期 2026-06-28 · 此页面不重新认定硬件验证结果

使用前核对

模型权重、镜像标签、节点数量、ModelArts 推理版本与 rank table 分组都需要匹配目标环境。源目录中的 README 和 meta.yaml 保留具体限制。历史使用基线不代表当前镜像已经跑通。

交给 vLLM 部署技能审查和适配 ↗ · 返回模型目录 ↗