1. 项目概述:这不是“跑通一个模型”,而是一次生产级AI服务落地的完整切片
如果你正在看这篇内容,大概率是位工程师、MLOps实践者,或者正被业务方催着“把YOLO模型快点上线跑起来”的算法同学。关键词很明确: Vertex AI 、 Ultralytics 、 YOLO 、 推理部署 ——这四个词组合在一起,不是在本地 yolo predict 一下就完事的玩具实验,而是直指一个现实问题:如何把一个在Ultralytics生态里训练好、验证过、调优过的YOLOv8/v10模型,不改结构、不重写逻辑、不手动导出ONNX再折腾TensorRT,原汁原味地、可监控、可扩缩、可灰度、可回滚地,部署到Google Cloud的托管AI平台Vertex AI上,对外提供稳定低延迟的HTTP推理服务。
我做过不下12个YOLO类模型的云上部署,从GCP到AWS再到Azure,Vertex AI + Ultralytics这条路径,是我目前实测下来 开发效率最高、运维负担最低、与训练流程耦合最松、且能直接复用Ultralytics官方推理API语义 的一条路。它绕开了传统TF Serving或Triton的复杂配置,也避开了自己搭Flask/FastAPI+GPU实例的资源浪费和安全补丁焦虑。核心价值在于:你写的 model.predict(...) 代码,几乎不用动,就能变成一个带健康检查、自动扩缩、日志追踪、请求限流的云服务。这不是“技术炫技”,而是把算法同学从“模型能跑”推进到“服务可用”的关键一跳。
适合谁读?第一类:刚用Ultralytics训完YOLO模型,正卡在“怎么让业务系统调用它”的算法工程师;第二类:负责AI平台选型或MLOps流水线搭建的SRE/平台工程师,需要评估Ultralytics生态与Vertex AI的集成深度;第三类:技术决策者,想快速判断这条路是否值得投入团队学习成本。本文不讲YOLO原理,不教怎么训练,也不对比YOLOv5/v8/v10差异——所有内容,只聚焦于 从Ultralytics模型文件出发,到Vertex AI Endpoint返回JSON结果的每一步真实操作、每个参数背后的权衡、每个报错背后的真实原因 。接下来的内容,全部来自我在三个不同客户项目中踩坑、记录、验证、沉淀下来的实操笔记。
2. 整体设计思路:为什么选择Vertex AI Custom Container而非AI Platform或Model Registry?
2.1 核心矛盾:Ultralytics的灵活性 vs Vertex AI的标准化约束
Ultralytics的精髓在于其高度封装的Python API:一行 model = YOLO('yolov8n.pt') 加载权重,一行 results = model(source='image.jpg') 完成推理,中间自动处理预处理、后处理、NMS、可视化。但Vertex AI的传统模型部署路径(如通过 Model.upload() 上传SavedModel或TensorFlow Hub格式)要求你显式定义输入输出签名、手动编写 predict 函数、适配特定框架版本。这对YOLO这种多输出(boxes, masks, keypoints)、动态batch、非标准tensor shape的模型来说,极易出错——我见过太多人卡在 ValueError: Input tensor must have rank 4 这类报错上,根源就是强行把Ultralytics的 Results 对象塞进TF签名里。
所以,我们放弃“让Ultralytics迁就Vertex AI”,转而选择“让Vertex AI承载Ultralytics”——即 Custom Container(自定义容器)模式 。这是Vertex AI提供的最高自由度部署方式:你打包一个符合OCI标准的Docker镜像,里面装好Python环境、Ultralytics、你的模型文件、以及一个标准HTTP服务器(如FastAPI),Vertex AI只负责拉取镜像、启动容器、暴露端口、管理生命周期。整个过程,Ultralytics的代码逻辑完全保留,连 model.conf 、 model.iou 这些超参都能在请求时动态传入。
提示:不要被“Custom Container”吓住。它不是让你从零写Dockerfile构建CUDA环境。Ultralytics官方提供了
ultralytics/cfg/docker/Dockerfile作为起点,我们只需在此基础上增加Vertex AI所需的健康检查端点(/health)和推理端点(/predict),并适配Vertex AI的容器运行时规范(如监听0.0.0.0:8080,响应/health返回200)。
2.2 为什么不是Vertex AI Model Registry + Prediction Routine?
Vertex AI Model Registry支持注册模型并绑定Prediction Routine(即自定义预测逻辑)。理论上可行,但实测有三处硬伤:第一,Prediction Routine必须用Python 3.9,而Ultralytics最新版(v8.2.0+)已要求Python 3.10+以支持新特性;第二,Prediction Routine的输入强制为 Dict[str, Any] ,你需要手动解析base64图像、转换为numpy array、再喂给YOLO,丢失了Ultralytics原生支持的 source 参数(支持URL、path、PIL、numpy、torch.tensor等多源输入);第三,日志和错误堆栈被Vertex AI封装层截断,debug时只能看到 Prediction failed with status code 500 ,看不到Ultralytics内部的 AssertionError: image size is not divisible by stride 这类关键提示。Custom Container则完全透明, docker logs 直接看到所有print和traceback。
2.3 为什么不是Cloud Run或Compute Engine?
Cloud Run也能跑自定义容器,但它默认不提供GPU。YOLOv8n在CPU上推理单张640x640图需300ms+,业务无法接受;而启用GPU的Cloud Run目前仅限beta,且需申请配额、手动管理GPU驱动版本,稳定性存疑。Compute Engine虽可配GPU,但你要自己搞定Kubernetes集群、Ingress、TLS证书、自动扩缩(KPA)、健康检查探针——这些正是Vertex AI Custom Container帮你省掉的80%运维工作。Vertex AI的 Endpoint 抽象,天然集成了这些能力:你只需设定最小/最大节点数(如min=0, max=5),它会根据QPS自动启停GPU实例;你上传一个带 /health 端点的镜像,它会每10秒发GET请求做存活探测;你配置一个 RequestLogging ,所有请求体、响应体、耗时、状态码自动写入Cloud Logging。这才是“托管AI平台”该有的样子。
3. 核心细节解析:从模型文件到Docker镜像的关键环节
3.1 模型文件准备: .pt 不是终点, .onnx 和 .engine 才是陷阱
Ultralytics导出模型时,常有人下意识执行 yolo export model=yolov8n.pt format=onnx ,以为ONNX是“通用中间表示”,能提升兼容性。这是个危险误区。Vertex AI Custom Container运行的是完整Python环境,直接加载 .pt 文件比加载 .onnx 再用 onnxruntime 推理更高效、更稳定。原因有三:第一,Ultralytics的 .pt 是PyTorch state_dict + 模型架构代码的组合,加载后直接是可调用的 nn.Module ,而ONNX需额外初始化runtime session,引入额外开销;第二,Ultralytics对 .pt 的后处理(如 boxes.xyxy , masks.data )是原生Python逻辑,若用ONNX,你得自己重写NMS和mask解码,极易出错;第三, .onnx 导出时若
1136



被折叠的 条评论
为什么被折叠?



