vLLM-Ascend部署-[Qwen3-Coder-30B-A3B-Instruct]
目标
提供私有化版本的推理服务体验模型效果
由于MindIE 2.1.RC1部署Qwen3-Coder-30B-A3B-Instruct模型报错。
(qwen3-coder-30b-a3b-instruct模型config文件适配MindIE资源-CSDN下载)
使用vllm-ascend进行部署。
1. 环境准备
运行环境
| 软件 |
版本 |
| cann |
8.1.RC1 |
| torch-npu |
2.5.1 |
| torch |
349



被折叠的 条评论
为什么被折叠?



