aishipbox.
LLM INFERENCE / v1.2.1

大模型推理部署

把 vLLM Ascend 教程转化为 ModelArts 可交付目录,处理多节点、rank table 与 PD 分离。

把这个技能交给 Agent

复制下面的消息,并补充你要完成的具体任务。本地预览地址只适用于能访问本机服务的 Agent。

请读取 __ORIGIN__/agents/guide.md,并从技能目录获取 vllm-ascend-modelarts-deploy 的 1.2.1 版本。先检查适用条件,核对包的 SHA-256,保留完整资源。安装位置遵循当前客户端约定;不要覆盖已有修改。读取技能后,再根据我的任务继续。

适用条件

华为云 ModelArts 昇腾推理环境;按目标模型确认拓扑与显存。

下载与离线使用

下载完整 ZIP 并核对校验值,解压后保留 SKILL.md 与配套资源的相对路径。将完整目录导入客户端支持的技能位置;具体客户端安装尚未逐项实测。不要仅复制入口文件。

curl -fL "https://aishipbox.obs.cn-southwest-2.myhuaweicloud.com/skills/vllm-ascend-modelarts-deploy/1.2.1/5d8b26d3dbd3a5611772a2a2afa0bfde0049e465285f07f997b356ae1c4affb7/vllm-ascend-modelarts-deploy-1.2.1.zip" -o vllm-ascend-modelarts-deploy-1.2.1.zip # 解压前验证归档 printf '%s %s\n' '5d8b26d3dbd3a5611772a2a2afa0bfde0049e465285f07f997b356ae1c4affb7' 'vllm-ascend-modelarts-deploy-1.2.1.zip' | shasum -a 256 -c -

macOS 可使用上述 shasum 命令;Linux 也可使用 sha256sum 校验。离线环境可从可联网设备转移已校验的完整包。

相关技能

此版本未声明需要获取的关联技能。先按技能自身说明完成任务。

交付成果

浏览已有模型部署脚本 ↗,按明确的版本与验证范围选择参考。

保留版本

验证范围

本站构建已验证归档 SHA-256、每个文件的校验值和归档路径。尚未验证全部客户端安装、真实 NPU 执行及国内下载表现。完整发布说明和技能正文中的验证状态优先。

阅读此版本的 SKILL.md ↗ · 机器可读版本记录 ↗