1. 从零开始:华为910B服务器与欧拉系统准备
最近有不少朋友在问,怎么把手头那台华为910B服务器用起来,特别是想跑一跑像DeepSeek-R1-Distill-Qwen-32B这样的大模型。我自己前阵子刚折腾完一套,从裸机到能稳定提供API服务的完整流程都走了一遍,踩了不少坑,也总结了不少经验。今天我就把这些实战经验,用最直白的话分享出来,目标是让你照着做就能成功部署,不用再像我当初那样到处查资料、试错。
首先得搞清楚我们这套技术栈的核心是什么。简单来说,就是在华为自研的昇腾910B AI处理器上,运行华为欧拉(OpenEuler)操作系统,然后通过华为的MindIE推理引擎,把DeepSeek-R1-Distill-Qwen-32B这个经过蒸馏的32B参数大模型给服务化,最终对外提供一个类似OpenAI API风格的HTTP接口。整个过程听起来有点复杂,但拆解成一步步的操作,其实并不难。关键是要把基础环境打牢,后面的事情就水到渠成了。
第一步,也是最基础的一步,就是给服务器安装操作系统。这里强烈推荐使用华为自家的OpenEuler。为什么不用更常见的CentOS或者Ubuntu呢?原因很简单,昇腾的驱动和软件栈对欧拉系统的兼容性和优化是最好的,后续安装驱动、运行容器能避免很多稀奇古怪的兼容性问题。你去OpenEuler官网下载镜像的时候,记得选服务器版本,我这次用的是最新的24.03 LTS版本,文件大概3.4G。下载下来做成启动U盘,或者通过服务器的远程控制台挂载ISO镜像,就可以开始安装了。
安装过程跟装其他Linux系统差不多,但有几点需要特别注意。在“软件选择”那个环节,如果你对服务器环境很熟悉,追求极致的干净和性能,可以选“最小安装”。但如果你是第一次操作,我建议选带“服务器”标识的那个基础环境,它会默认安装一些常用的管理工具和依赖库,后面能省不少事。另一个关键点是分区,对于AI服务器,我习惯把/home和/work(或者你自己规划的模型存放目录)单独分出来,并且给足空间。像DeepSeek-R1-Distill-Qwen-32B这种模型,光权重文件就好几十个G,后续还可能部署其他模型,存储空间一定要预留充足。最后设置好root密码,确认没有报错提示,就可以点安装了。安装完成后重启,一个纯净的欧拉系统就准备好了。
系统装好,第一件事不是急着装驱动,而是先配置好软件源并更新系统。华为欧拉默认的源有时候访问速度不理想,我们可以换成国内的镜像源,比如华为云自己的镜像仓库。执行 yum makecache 测试一下源是否可用,速度如何。然后运行 yum update -y 把系统更新到最新状态。接着,安装一些后续步骤必需的编译工具和内核头文件,命令是 yum install -y make dkms gcc kernel-headers-$(uname -r) kernel-devel-$(uname -r)。这个$(uname -r)会自动获取你当前系统的内核版本,确保安装的包是绝对匹配的,这一点很重要,否则后面编译驱动可能会失败。
2. 昇腾硬件的灵魂:NPU驱动与固件安装
系统基础环境搞定,接下来就要请出我们今天的主角——昇腾910B NPU(神经网络处理器)了。想让系统识别并使用这块强大的AI算力卡,必须安装正确的驱动和固件。这步是核心,但操作并不复杂,只要跟着步骤走,别跳步,基本都能成功。
首先,你需要去昇腾社区,根据你的910B芯片型号和欧拉系统版本,下载对应的驱动包和固件包。文件名通常类似 Ascend-hdk-910b-npu-driver_23.0.rc3_linux-aarch64.run 和 Ascend-hdk-910b-npu-firmware_1.87.23.8.220.run。下载后,上传到服务器的某个目录,比如 /opt/ascend。
安装前有个好习惯,先校验一下软件包的完整性,避免文件损坏导致安装中途失败。进入软件包所在目录,执行:
chmod +x Ascend-hdk-910b-npu-driver_*.run
chmod +x Ascend-hdk-910b-npu-firmware_*.run
./Ascend-hdk-910b-npu-driver_*.run --check
./Ascend-hdk-910b-npu-firmware_*.run --check
如果看到 Verifying archive integrity... 100% SHA256 checksums are OK. All good. 这样的回显,说明包没问题。
接下来先安装驱动。执行安装命令时,我推荐使用 --full 和 --install-for-all 参数,进行完整安装并为所有用户安装。
./Ascend-hdk-910b-npu-driver_*.run --full --install-for-all
安装过程会在终端打印大量信息,你只需要关注最后有没有出现 Driver package installed successfully! 这一行。有,就说明驱动安装成功了。如果没有,多半是前面的内核头文件没装对,回去检查一下。
驱动装好,接着安装固件,命令更简单:
./Ascend-hdk-910b-npu-firmware_*.run --full
同样,等待安装完成,确认输出中有 Firmware package installed successfully! 的字样。安装成功后,系统通常会提示你需要重启。我建议不管提不提示,都执行一次 reboot 重启服务器,让驱动和固件完全加载。
重启后,我们来验收一下成果。运行一个非常重要的命令:
npu-smi info
这个命令类似于NVIDIA的 nvidia-smi,是查看昇腾NPU状态的管理工具。如果一切顺利,你会看到一个表格,清晰地显示NPU芯片的型号、算力版本、温度、功耗、内存使用情况等信息。如果能正常显示,那么恭喜你,910B硬件已经被系统完美识别了!如果命令报错或者找不到,那就需要回头检查驱动安装日志(通常在/var/log/ascend_seclog/目录下),看看哪里出了问题。
3. 容器化基石:Docker服务的安装与配置
在现代AI部署中,容器化几乎是标准答案。它能把复杂的依赖环境打包,保证应用在任何地方运行的一致性。我们要用的MindIE推理引擎,也是以Docker镜像的形式提供的。所以,在欧拉系统上安装和配置Docker是必不可少的一步。
欧拉系统默认的软件源里可能没有最新版的Docker,所以我们先添加一个可靠的Docker仓库。这里我直接使用华为云的Docker镜像仓库,速度和稳定性都有保障。执行以下命令来添加仓库:
yum install -y yum-utils
yum-config-manager --add-repo https://repo.huaweicloud.com/docker-ce/linux/centos/docker-ce.repo
不过,这里有个小坑我踩过。有时候因为系统变量$releasever解析的问题,添加仓库会报错,提示某个XML路径不对。别慌,我们有办法手动解决。可以先把仓库文件下载下来,手动修改后再添加。
wget https://repo.huaweicloud.com/docker-ce/linux/centos/docker-ce.repo -P /usr/local/docker
下载后,用vim编辑这个文件,把里面所有的 $releasever 替换成欧拉系统对应的版本号,比如对于基于CentOS 7的欧拉,就替换成 7。
vi /usr/local/docker/docker-ce.repo
在vim命令模式下,输入 :%s/\$releasever/7/g 然后回车,即可全部替换。注意$前要加反斜杠转义。保存退出后,用修改后的文件重新添加仓库:
yum-config-manager --add-repo /usr/local/docker/docker-ce.repo
仓库搞定,就可以安装Docker了。欧拉系统推荐使用dnf包管理器(兼容yum):
dnf install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin -y
安装完成后,启动Docker服务并设置开机自启:
systemctl start docker
systemctl enable docker
运行 systemctl status docker 检查一下状态,如果显示 active (running),说明Docker服务已经跑起来了。最后,为了后面拉取镜像更顺畅,建议配置一下Docker的镜像加速器。创建或修改 /etc/docker/daemon.json 文件,加入国内镜像地址,比如:
{
"registry-mirrors": ["https://docker.mirrors.ustc.edu.cn"]
}
然后重启Docker服务:systemctl restart docker。至此,容器平台就准备就绪了。
4. 核心引擎登场:MindIE镜像获取与容器启动
前面都是铺垫,从这里开始,我们正式接触AI推理的核心——MindIE。MindIE是华为昇腾的推理引擎,你可以把它理解成一个高度优化的“翻译官”和“调度员”。它负责把像PyTorch训练出来的模型,高效地“翻译”成能在昇腾芯片上执行的指令,并且管理好计算任务在多个NPU核心上的调度,从而充分发挥910B的算力。
首先,我们需要获取MindIE的官方Docker镜像。你需要前往昇腾社区的镜像仓库(SWR),找到对应910B和你的系统版本的MindIE镜像。镜像名字很长,但信息很全,例如:swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.0.RC2-800I-A2-py311-openeuler24.03-lts。这个标签包含了MindIE版本(2.0.RC2)、支持的芯片(800I-A2,对应910B)、Python版本(3.11)和基础操作系统(OpenEuler 24.03 LTS)。务必选择2.0.0及以上版本,因为它才支持我们想部署的DeepSeek-R1蒸馏模型。
在服务器上,使用docker pull命令拉取镜像:
docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.0.RC2-800I-A2-py311-openeuler24.03-lts
这个过程取决于网速,镜像比较大,可能需要一些时间。拉取完成后,运行 docker images 就能看到它了,记下它的IMAGE ID,比如2ed659651f4f。
接下来是关键一步:创建并启动容器。直接写一长串docker run命令容易出错,我习惯写一个启动脚本。用 vim docker_start.sh 创建一个文件,把下面的内容贴进去。这里有很多细节需要注意:
#!/bin/bash
docker run --rm -itd \
-p 8011:8011 \
--name=mindie_server \
--ipc=host \
--shm-size=16g \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device=/dev/devmm_svm \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi:ro \
-v /usr/local/Ascend/driver/lib64/common:/usr/local/Ascend/driver/lib64/common \
-v /usr/local/Ascend/driver/lib64/driver:/usr/local/Ascend/driver/lib64/driver \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /etc/vnpu.cfg:/etc/vnpu.cfg \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /work/LLM:/home/models \
-v ./conf/config.json:/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json \
-w /usr/local/Ascend/mindie/latest/mindie-service/ \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.0.RC2-800I-A2-py311-openeuler24.03-lts \
bash
我来解释几个重要参数:
-p 8011:8011:把容器内的8011端口映射到宿主机。后面MindIE服务默认可能用1025,但我们在配置文件里可以改,这里先映射出来。--ipc=host和--shm-size=16g:大模型推理需要进程间共享内存,ipc=host使用宿主机的IPC命名空间,shm-size设置共享内存大小,32B模型建议给到16G以上。- 那一串
--device:这是把昇腾NPU的设备文件映射到容器内,让容器里的程序能直接访问硬件。davinci2到davinci5通常对应不同的NPU核心或功能单元。 - 那一串
-v挂载:这是把宿主机的驱动文件、配置文件和模型目录挂载到容器内。特别注意/work/LLM:/home/models这一条,我假设你把下载的DeepSeek模型权重放在了宿主机的/work/LLM目录下,它会被映射到容器内的/home/models。 -w:设置容器启动后的工作目录。
保存脚本后,给它执行权限并运行:chmod +x docker_start.sh && ./docker_start.sh。用 docker ps 看看容器是否已经跑起来了。如果没起来,用 docker logs mindie_server 查看日志排错。
5. 模型准备与MindIE服务化配置
容器跑起来后,我们通过 docker exec -it mindie_server bash 进入容器内部。现在,我们需要两样东西:一是模型文件本身,二是告诉MindIE如何加载和运行这个模型的配置文件。
模型权重下载:DeepSeek-R1-Distill-Qwen-32B是一个经过知识蒸馏的模型,在保持不错性能的同时,对推理资源更友好。你可以从ModelScope或魔搭社区这样的平台下载。通常下载下来是一个包含多个.bin或.safetensors权重文件和config.json、tokenizer.json等配置文件的文件夹。假设你在宿主机上已经下载并解压到了/work/LLM/deepseek-r1-distill-qwen-32b目录下。那么它在容器内的路径就是/home/models/deepseek-r1-distill-qwen-32b。
配置MindIE服务:这是部署的核心环节。MindIE服务的所有行为都由一个config.json文件控制。在容器内,进入配置目录:
cd /usr/local/Ascend/mindie/latest/mindie-service/conf/
cp config.json.example config.json # 如果有示例文件的话
vim config.json
我们需要根据实际情况修改这个JSON文件。下面是一个关键配置项的示例和解释:
{
"ServerConfig": {
"ipAddress": "0.0.0.0", // 服务监听地址,0.0.0.0表示监听所有网络接口
"port": 8011, // 服务端口,和前面docker映射的端口一致
"httpsEnabled": false // 我们内网测试先用HTTP,生产环境建议启用HTTPS
},
"BackendConfig": {
"npuDeviceIds": [[0,1]], // 使用的NPU设备ID,910B通常是多核的,这里表示使用第0和第1个核心
"maxSeqLen": 32768, // 模型支持的最大序列长度
"maxInputTokenLen": 16384, // 单次输入的最大token数
"modelName": "deepseek-r1-distill-qwen-32b", // 自定义模型名,调用API时会用到
"modelWeightPath": "/home/models/deepseek-r1-distill-qwen-32b", // 模型权重在容器内的绝对路径
"worldSize": 2 // 并行使用的NPU核心数,和npuDeviceIds对应
},
"ScheduleConfig": {
"maxPrefillTokens": 16384, // 预填充阶段处理的最大token数,影响首次响应速度
"maxIterTimes": 16384 // 最大迭代次数,根据模型和需求调整
}
}
这里有几个参数需要你特别关注:
npuDeviceIds和worldSize:必须匹配。如果你只有一张910B卡,但卡有多个计算核心(比如4个),你可以根据模型大小选择使用其中几个。[[0,1]]表示使用一个“组”,组内有核心0和1。worldSize: 2表示使用2个核心进行张量并行。对于32B模型,使用2个核心是比较常见的配置。modelWeightPath:路径一定要准确,必须指向容器内那个包含了所有模型文件的文件夹,而不是某个单独的文件。maxSeqLen:需要查阅模型的原始配置文件,确保设置的值不超过模型本身的能力上限。设大了会浪费内存,设小了会影响长文本任务。
修改完配置后,建议先修改一下模型自带的config.json文件的权限,避免读取问题:chmod 640 /home/models/deepseek-r1-distill-qwen-32b/config.json。
6. 启动服务与API接口测试
配置检查无误后,就可以启动MindIE推理服务了。在容器的服务目录下,直接运行启动脚本:
cd /usr/local/Ascend/mindie/latest/mindie-service/
./bin/mindieservice_daemon
如果一切正常,你会看到服务初始化的日志,加载模型权重,最后显示类似 "Daemon start success!" 或 "Server is listening on 0.0.0.0:8011" 的信息,这表明服务已经成功启动并在8011端口监听了。
注意:直接在前台运行,方便看日志排错。如果确认服务稳定,可以改用后台运行:
nuhup ./bin/mindieservice_daemon 2>&1 &。之后用tail -f nohup.out查看日志。
服务起来后,我们最激动人心的时刻就到了:测试API接口。MindIE服务化部署后,会提供一个与OpenAI API兼容的接口。我们打开另一个终端,连接到宿主机,然后向这个服务发送一个HTTP请求来测试。
因为我们的服务运行在容器内,端口8011已经映射到了宿主机,所以我们可以直接在宿主机上测试。使用curl命令发送一个POST请求:
curl -H "Accept: application/json" \
-H "Content-type: application/json" \
-X POST \
-d '{
"model": "deepseek-r1-distill-qwen-32b",
"messages": [
{"role": "user", "content": "请用简单的比喻解释一下机器学习中的‘蒸馏’是什么?"}
],
"max_tokens": 512,
"stream": false,
"temperature": 0.7
}' \
http://localhost:8011/v1/chat/completions
我来拆解一下这个请求:
-H参数设置了请求头,告诉服务器我们发送和希望接收的都是JSON格式的数据。-d参数后面跟的就是请求体,一个JSON对象。"model":这里填的值,必须和你在MindIE配置文件config.json里设置的modelName一模一样。"messages":对话历史,我们发送一个用户问题。"max_tokens":限制模型回复的最大长度。"stream":设为false是普通阻塞式响应,会等模型生成完所有内容再一次性返回。如果设为true,则是流式响应,会像打字机一样一个字一个字地返回,适合需要实时显示的场景。"temperature":控制生成随机性的参数,值越低输出越确定和保守,值越高越有创造性。
如果部署成功,你会收到一个JSON格式的响应,其中choices[0].message.content字段里就是模型的回答。看到它流畅地生成文本,那一刻的成就感是非常足的!
7. 性能调优与生产环境考量
让服务跑起来只是第一步,要让它在生产环境中稳定、高效地运行,还需要一些调优和加固措施。这里分享几个我在实际项目中总结的经验点。
首先,监控NPU资源使用情况。在宿主机上,npu-smi命令是我们的好帮手。除了基础的info,常用命令还有:
npu-smi info -t memory -i 0:查看0号NPU核心的内存使用详情。npu-smi info -t utilization -i 0:查看0号NPU核心的算力利用率。watch -n 1 npu-smi:每秒刷新一次NPU状态,实时监控。
在模型推理过程中,你可能会发现内存占用很高,这是正常的。32B模型参数量大,需要加载到NPU的HBM(高速内存)中。确保你的910B卡有足够的内存(比如32GB或以上)。如果遇到内存不足的错误,可以尝试在MindIE配置中调低maxSeqLen或maxPrefillTokens。
其次,优化容器启动参数。之前我们给的启动脚本是基础版。对于生产环境,可以考虑增加以下参数:
--ulimit memlock=-1:取消内存锁定限制,对于大内存应用很重要。--cpuset-cpus="0-7":将容器绑定到指定的CPU核心上,减少上下文切换,提升性能。- 在
docker run命令最后,可以考虑将启动命令从bash改为直接启动服务的命令,让容器启动即服务。
第三,配置模型预热。对于生产API服务,冷启动时加载模型会导致第一个请求响应非常慢。可以在服务启动后,自动发送一个简单的预热请求,让模型权重充分加载到NPU内存中。可以写一个简单的脚本放在容器启动后执行。
第四,考虑多模型与高可用。一台910B服务器可能不止部署一个模型。你可以通过修改MindIE的配置文件,尝试部署多个较小的模型,或者通过启动多个容器(绑定不同的NPU核心组和端口)来服务不同的模型。这时候,需要一个简单的网关(比如用Nginx)来做路由和负载均衡。
最后,日志与故障排查。MindIE服务的日志默认输出到标准输出,我们通过docker logs查看。建议将日志持久化到宿主机文件,方便后续分析。可以在启动容器时增加挂载卷:-v /path/on/host/logs:/usr/local/Ascend/mindie/latest/mindie-service/logs。常见的故障有:
- 端口冲突:确保宿主机8011端口未被占用。
- 模型路径错误:检查
modelWeightPath,确保路径下所有模型文件可读。 - NPU设备权限问题:确保容器有权限访问
/dev/davinci*系列设备文件。 - 内存不足:观察
npu-smi的内存使用,考虑是否模型太大或并发请求过多。
部署完成后,我建议你用一些压力测试工具(如wrk或locust)模拟一下并发请求,看看服务的稳定性和响应延迟。根据测试结果,再回头调整ScheduleConfig里的参数,比如调整maxPrefillTokens来平衡首包响应时间(TTFT)和整体吞吐量。这个过程可能需要反复几次,才能找到最适合你业务场景的配置。
6130



被折叠的 条评论
为什么被折叠?



