VLLM / A2

GLM-5.2 · A2

每种布局独立记录镜像与脚本。先选拓扑，再核对具体的部署条件。

A2 / LAYOUT

1x4p1x4d

当前版本待验证

镜像quay.io/ascend/vllm-ascend:glm5.2

脚本与说明

check_hccn.sh ↗launch_online_dp.py ↗load_balance_proxy_server_example.py ↗meta.yaml ↗run.sh ↗run_decode_headless.sh ↗run_decode_node0.sh ↗run_dp_template_decode.sh ↗run_dp_template_prefill.sh ↗run_prefill_headless.sh ↗run_prefill_node0.sh ↗run_proxy.sh ↗setup_rank_env.sh ↗smoke_test.py ↗

打开完整部署目录 ↗

来源记录日期 2026-06-27 · 此页面不重新认定硬件验证结果

A2 / LAYOUT

2nodes

当前版本待验证

镜像quay.io/ascend/vllm-ascend:glm5.2

GLM-5.2-w8a8, 2x A2 (8 NPU/node) single mixed engine, DP=2 x TP=8 (dp-local=1, one DP rank per node). rank0=leader (API :8080), rank1=headless. No single-node A2 exists upstream (model needs >=2 A2 nodes). served-model-name glm-52, speculative deepseek_mtp (GLM-5.2 own MTP). Deviations: /root/model and --port 8080 (upstream cache path + 7000); upstream --max_model_len normalized to --max-model-len.

脚本与说明

check_hccn.sh ↗meta.yaml ↗run.sh ↗run_node0.sh ↗run_node1.sh ↗setup_rank_env.sh ↗

打开完整部署目录 ↗

来源记录日期 2026-06-27 · 此页面不重新认定硬件验证结果

使用前核对

模型权重、镜像标签、节点数量、ModelArts 推理版本与 rank table 分组都需要匹配目标环境。源目录中的 README 和 meta.yaml 保留具体限制。历史使用基线不代表当前镜像已经跑通。

交给 vLLM 部署技能审查和适配 ↗ · 返回模型目录 ↗