VLLM / A3

DeepSeek-V4-Pro · A3

每种布局独立记录镜像与脚本。先选拓扑，再核对具体的部署条件。

A3 / LAYOUT

2nodes

当前版本待验证

镜像quay.io/ascend/vllm-ascend:v0.21.0rc1-a3

DeepSeek-V4-Pro-w4a8-mtp, 2x A3, TP=16 x DP=2. Already aligned with the v0.21.0rc1 Pro 2-node reference (mtp/enforce_eager). Deliberate deviation from upstream: uses --data-parallel-rank (not --data-parallel-start-rank, which causes a front-end handshake timeout per repo gotcha).

脚本与说明

check_hccn.sh ↗meta.yaml ↗run.sh ↗run_node0.sh ↗run_node1.sh ↗setup_rank_env.sh ↗

打开完整部署目录 ↗

来源记录日期 2026-06-27 · 此页面不重新认定硬件验证结果

使用前核对

模型权重、镜像标签、节点数量、ModelArts 推理版本与 rank table 分组都需要匹配目标环境。源目录中的 README 和 meta.yaml 保留具体限制。历史使用基线不代表当前镜像已经跑通。

交给 vLLM 部署技能审查和适配 ↗ · 返回模型目录 ↗