aishipbox.
VLLM / A3

GLM-5.2 · A3

每种布局独立记录镜像与脚本。先选拓扑,再核对具体的部署条件。

A3 / LAYOUT

1node

当前版本待验证
镜像quay.io/ascend/vllm-ascend:glm5.2-a3

GLM-5.2-w8a8, single A3 node, DP=2 x TP=8. served-model-name glm-52 (upstream). Speculative method deepseek_mtp is GLM-5.2 own MTP per upstream. Deviations: /root/model and --port 8080 (repo conventions; upstream cache path + 8077).

脚本与说明

来源记录日期 2026-06-27 · 此页面不重新认定硬件验证结果

A3 / LAYOUT

1x2p1x2d

当前版本待验证
镜像quay.io/ascend/vllm-ascend:glm5.2-a3

>

脚本与说明

来源记录日期 2026-06-27 · 此页面不重新认定硬件验证结果

A3 / LAYOUT

2nodes

当前版本待验证
镜像quay.io/ascend/vllm-ascend:glm5.2-a3

GLM-5.2-w8a8, 2x A3 single mixed engine, DP=2 x TP=16 (dp-local=1, one DP rank per node). rank0=leader (API :8080), rank1=headless. served-model-name glm-52, speculative method deepseek_mtp (GLM-5.2 own MTP). Deviations: /root/model and --port 8080 (upstream cache path + 8077).

脚本与说明

来源记录日期 2026-06-27 · 此页面不重新认定硬件验证结果

A3 / LAYOUT

4nodes

当前版本待验证
镜像quay.io/ascend/vllm-ascend:glm5.2-a3

GLM-5.2-w8a8, 4x A3 co-located mixed engine for 200k context, DP=4 x TP=8 (dp-local=1, one DP rank per node). rank0=leader (API :8080), ranks1-3=headless via a single run_node_headless.sh (dp-start-rank == node rank). served-model-name glm-52, speculative deepseek_mtp. Deviations: /root/model and --port 8080 (upstream cache path + 7000); upstream --max_model_len normalized to --max-model-len. NOTE: dp-local 1 x tp 8 = 8 uses only 8 of the 16 NPUs/node -- this is verbatim from the upstream 200k co-located config (it trades NPU count for context length), not a TP transcription slip; do not "fix" to TP=16.

脚本与说明

来源记录日期 2026-06-27 · 此页面不重新认定硬件验证结果

使用前核对

模型权重、镜像标签、节点数量、ModelArts 推理版本与 rank table 分组都需要匹配目标环境。源目录中的 README 和 meta.yaml 保留具体限制。历史使用基线不代表当前镜像已经跑通。

交给 vLLM 部署技能审查和适配 ↗ · 返回模型目录 ↗