Jetson调用triton inference server详细笔记

【工程实践】Triton Inference Server Triton Inference Server是英伟达Nvidia开源的高性能推理,可以在CPU、GPU上加速模型推理的一个工具。Triton Inference Server是一个适用于深度学习与机器学习模型的推理服务引擎,支持将TensorRT、TensorFlow、PyTorch或ONNX等多种AI框架的模型部署为在线推理服务,并支持多模型管理、自定义backend等功能。将模型转成onnx之后,使用Triton Inference Server加载并提供服务,推理速度提升,内存占用减少。 阅读详情
AI摘要

本文详细介绍了如何在Jetson平台上安装和配置Triton服务器,包括triton-inference-server的安装、模型文件生成、TensorRT支持及Yolov5模型部署。涵盖了从基础环境设置到实际应用的完整过程,适合初学者和开发者快速上手。

系列文章目录

yolov5 win10 CPU与GPU环境搭建,亲测有效!
yolov5训练自己的数据集,详细教程!
yolov5转tensorrt模型
Jetson调用triton inference server详细笔记
yolov5模型部署:Triton服务器+TensorRT模型加速(基于Jetson平台)



一、jetson安装triton-inference-server

1.1 jtop命名行查看jetpack版本与其他信息

本机盒子jetpack信息如下:
在这里插入图片描述

1.2下载对应版本的安装包

下载地址:https://github.com/triton-inference-server/server/tags
我这里选用的是:V2.11.0版本
在这里插入图片描述
选这个版本也是有理由的:因为此版本支持 TensorFlow 2.4.0、TensorFlow 1.15.5、TensorRT 7.1、OnnxRuntime 1.8.0 以及集成。自带可用的backend会多一些。在网页最下面,下载安装包:
在这里插入图片描述

1.3解压刚刚下载的安装包,并进入到对应的bin目录下

tar tritonserver2.11.0-jetpack4.5.tgz
cd tritonserver2.11.0-jetpack4.5/bin/

1.4尝试运行一下tritonserver

./ tritonserver

如出现如下错误:

error while loading shared libraries: libXXX.so.X: cannot open shared object file: No such file or directory

可能存在以下两种情况:
1.4.1可能是操作系统里确实没有包含该共享库(lib*.so.*文件)或者共享库版本不对, 遇到这种情况那就去网上下载并安装上即可。
只需要sudo apt-get install libXXX

1.4.2已经安装了该共享库, 但 执行需要调用该共享库的程序的时候, 程序按照默认共享库路径找不到该共享库文件。

	1.4.2.1 如果不知道,请查找库的放置位置:`sudo find / -name libXXX.so.X`
	1.4.2.2检查动态库路径环境变量是否存在( LD_LIBRARY_PATH):echo $LD_LIBRARY_PATH
	1.4.2.3将`libXXX.so.X`文件复制到动态库路径环境中

注意以上两个步骤不是二选一的关系,可能同时存在,需要读者自己甄别。
若出现以下提示,说明动态库文件没问题了:
在这里插入图片描述


二、运行triton-inference-server

2.1下载相关文件包

下载地址: https://github.com/triton-inference-server/server,解压并把docs文件夹复制到tritonserver2.11.0-jetpack4.5下。
在这里插入图片描述

2.2 生成模型文件

进入到tritonserver2.11.0-jetpack4.5/docs/examples文件夹下运行

bash fetch_models.sh

会生成一个model_repository文件夹,里面包含如下内容:
在这里插入图片描述

2.3启动tritonserver

cd 进入tritonserver2.11.0-jetpack4.5/bin/
运行./tritonserver –model-repository=../docs/examples/model_repository
若出现如下提示:
在这里插入图片描述
需要把tritonserver2.11.0-jetpack4.5/backends复制到 /opt/tritionserver /opt/tritonserver下,再次运行./tritonserver –model-repository=../docs/examples/model_repository
在这里插入图片描述
出现以上系统提示,说明tritonserver启动成功了。

三、测试triton client demo

3.1安装客户端依赖项

要运行客户端,必须安装以下依赖项。

apt-get install -y --no-install-recommends \
        curl \
        pkg-config \
        python3 \
        python3-pip \
        python3-dev

pip3 install --upgrade wheel setuptools cython && \
pip3 install --upgrade grpcio-tools numpy future attrdict

3.2安装python 客户端库

python 客户端库的存在于tritonserver2.11.0-jetpack4.5/clients/python中,可以通过运行以下命令进行安装:

python3 -m pip install --upgrade clients/python/tritonclient-2.11.0-py3-none-linux_aarch64.whl[all]

3.3运行onnx分类模型demo

在tritonserver2.11.0-jetpack4.5/clinets/python目录下,运行

python3 ./image_client.py -m densenet_onnx  -s INCEPTION ~/LH/tritonserver2.11.0-jetpack4.5/qa/images/mug.jpg

此处需根据自己的路径稍加修改。
在这里插入图片描述
到这里就说明运行成功了!!!

总结

Triton 部署真的很方便,苦于之前没做过部署,弄了有一个星期,感觉还挺吃力的,现在跑动一个demo也是很开心呢!!!继续加油呀!!!
如果阅读本文对你有用,欢迎关注点赞评论收藏呀!!!
2021年8月12日20:25:55在这里插入图片描述

【高可用AI推理服务】使用WSL2部署Triton Inference Server推理服务器 Triton Inference Server(Triton推理服务器)是NVIDIA推出的高性能推理服务器,皆在实现简化ML Ops的工作流程。PytorchONNXTensorRTTriton Infercen Server极大程度的便利了AI开发者的工作流,通过将模型统一放置在模型仓库内进行统一管理,以及gRPC/HTTP2通信协议,使得Triton在保证了高性能的同时,也有着极强的高可用性和扩展性。针对如何使用Triton部署自己训练的模型,以及如何编写。 阅读详情

相关推荐

Triton Inference Server教程2

本文介绍config文件中的参数配置,如何设置能够提升GPU的利用率,提高模型吞吐

lansebingxuan的专栏 6691

指南:Triton Inference Server

关于triton inference server的详细记录,涉及安装,服务部署,优化。通过例子一步一步搭建一个可实际使用的服务。

5671

【ai】tx2 nx: jetson Triton Inference Server 运行YOLOv4

【ai】tx2 nx: jetson Triton Inference Server 部署YOLOv4

突围 382

深度学习部署神器——triton inference server入门教程指北

triton作为一个NVIDIA开源的商用级别的服务框架,个人认为很好用而且很稳定**,API接口的变化也不大,我从2020年的20.06切换到2022年的22.06,两个大版本切换,一些涉及到代码的工程变动很少,稍微修改修改就可以直接复用,很方便。 > 本系列讲解的版本也是基于22.06。

老潘的博客 7226

【ai】tx2 nx: jetson Triton Inference Server 部署YOLOv4

jetson

突围 382

Jetson调用Triton笔记[可运行源码]

本文详细记录了在Jetson平台上安装和运行Triton Inference Server的完整过程。首先介绍了通过jtop命令行查看Jetpack版本信息,并下载对应版本的Triton安装包。接着详细说明了安装过程中可能遇到的动态库缺失问题的解决方法,包括安装缺失库和配置环境变量。然后指导读者下载模型文件并启动Triton服务器,包括处理可能出现的backend缺失问题。最后演示了如何安装Python客户端依赖项和运行ONNX分类模型demo。文章内容详实,步骤清晰,对想在Jetson平台上部署Triton Inference Server的开发者具有很好的参考价值。

边缘计算新选择:Triton Inference Server Jetson平台部署指南

你是否正在为 Jetson 设备上的 AI 模型部署效率低下而困扰?是否尝试过多种框架却仍无法平衡性能与资源占用?本文将系统介绍如何在 Jetson 平台部署 Triton Inference Server(推理服务器),通过优化的推理流程、动态批处理和并发执行能力,解决边缘设备算力有限的核心痛点。读完本文后,你将掌握: - Triton 与 Jetson 硬件架构的协同原理 - 从环境配置到模...

gitblog_00345的博客 1079

Verilog流水线CPU设计(超详细)

快把这一篇给更了

Ace Cheney的博客 7万+

CircularNet 部署指南:基于 Triton Inference Server 在 Google Cloud(T4)与 Jetson 边缘设备上构建垃圾图像推理服务

本文围绕 CircularNet(TensorFlow Model Garden 中 `waste_identification_ml` 项目提供的垃圾识别模型)的部署教程展开:如何为 CircularNet 创建一个基于 NVIDIA Triton Inference Server 的推理服务,覆盖 Google Cloud 上挂载 NVIDIA T4 GPU 的云 VM 与 NVIDIA Je

gitblog_00865的博客 297

BUSCO评估基因组的完整性

因为数据库收集的时候找的就是在不同的物种间都是单拷贝的基因,所以说在评估的物种里面应该也是单拷贝的状态才对。基因组层面评估:先去基因组上预测这些基因,再去做评估,如果说给他是一个注释好的基因集,这个时候提供的是一个蛋白集合,它就直接是去进行同源搜索,再去评估,看BUSCO数据库里面的这些单拷贝基因有或者无;首先,tblastn也是同源搜索,同源搜索之后,去对转录本进行读码框预测,预测完的结果还是去进行hmmsearch的搜索(hmmsearch是做蛋白质结构域搜索的),最终拿到BUSCO评估结果。

qq_64400864的博客 2964

ClickHouse分布式表原理:大数据分片存储与查询

我是一名资深大数据工程师,专注于ClickHouse优化和分布式架构设计。拥有5年以上大数据开发经验,曾为多家电商、金融公司提供ClickHouse解决方案。欢迎关注我的博客(),一起探讨大数据技术!留言互动:你在使用ClickHouse分布式表时遇到过什么问题?欢迎在评论区分享,我会一一解答!

AI大模型应用之禅 959

边缘推理服务自动化部署:Triton Inference Server远程执行终极指南

Triton Inference Server是一款由NVIDIA开发的优化型云边一体化推理解决方案,能够帮助开发者快速部署和管理AI模型推理服务。本文将详细介绍如何通过自动化方式在边缘环境中部署Triton Inference Server,实现高效的远程模型推理执行。 ## 一、Triton Inference Server核心架构解析 Triton Inference Server采用模

gitblog_00035的博客 655

学Simulink——基于Simulink的单相PWM整流器PI电压外环+电流内环控制建模示例

本文详细介绍了基于Simulink的单相PWM整流器双闭环控制仿真方法。通过电压外环PI控制器调节有功功率生成电流指令,电流内环PI控制器实现正弦电流跟踪,最终达到输出电压稳定(400V±2V)、输入电流THD<3%、功率因数>0.99的目标。文章包含系统架构、数学模型、Simulink搭建步骤(主电路、PI控制器、SPWM调制等)及三种典型工况的仿真验证,并给出电感设计、数字实现等工程实践要点。该方案克服了传统整流器高谐波、低功率因数的问题,为绿色电源开发提供了可验证的仿真模型。

xiaoheshang_123的博客 75

从零到一:Triton Inference Server在边缘计算中的实战部署与优化

本文详细介绍了NVIDIA Triton Inference Server在边缘计算中的实战部署与优化策略。通过镜像瘦身、功耗控制和动态调度等关键技术,解决了Jetson设备资源受限和网络不稳定等挑战,显著提升推理效率和性能。文章还分享了智慧交通等实际应用案例,展示Triton在边缘计算中的强大潜力。

data3的博客 1062

2024年广东省职业院校技能大赛“区块链技术应用”任务书—区块链应用系统开发参考答案

摘要 本文档提供了2024年广东省职业院校技能大赛"区块链技术应用"项目中区块链电子签章前端功能开发的参考答案。主要内容包括:1)注册页面开发,实现身份证号码双向绑定和注册请求发送;2)登录页面开发,实现用户认证、状态保存和页面跳转;3)个人印章页面开发,实现注销功能和印章信息展示。每个任务均包含具体实现代码片段和功能测试要点,涵盖Vue.js框架下的数据绑定、axios请求处理和本地存储等关键技术点。

我是网络安全兼技能大赛工程师,专注网络安全技术学习与技能大赛实战!持续分享最新的技术文章,帮你少走弯路,一起在技术赛道上进步~ 346

MinerU 本地部署完整指南:从零构建你的私有文档智能处理系统

摘要: MinerU是一款开源本地化文档解析工具,可将PDF、Word等文件智能转换为结构化Markdown,保留表格、公式、图片等元素。其核心优势包括: 隐私安全:完全离线处理,避免云端数据泄露风险; 高精度解析:基于深度学习还原文档逻辑结构,支持多格式输入; 易集成:提供RESTful API,适合金融、医疗等敏感场景。部署需Python 3.9+环境,支持CPU/GPU运行,推荐配置16GB内存及NVIDIA显卡。通过命令行或Docker即可快速启动,适用于知识库构建、RAG系统预处理等。

reset2021的博客 757

推理服务跨平台迁移:Triton Inference Server从x86到ARM

随着边缘计算和物联网设备的普及,ARM架构凭借其低功耗、高性能的特点,在嵌入式系统和边缘设备中得到了广泛应用。然而,许多深度学习推理服务最初是在x86平台上开发和部署的。将这些服务迁移到ARM平台,可以显著降低边缘设备的功耗,提高推理效率。Triton Inference Server(TIS)作为一款高性能的推理服务软件,支持在NVIDIA GPU、x86和ARM CPU上运行,为跨平台迁移提供...

gitblog_00588的博客 577

Python爬虫实战:爬取携程旅游平台数据,我拆解了动态反爬+Cookie续命(附完整可运行代码)

反爬类型表现形式应对思路sign参数返回403/空数据逆向JS还原加密逻辑Cookie时效登录后1小时Cookie失效定时刷新Cookie/保存登录态行为检测爬取过快触发验证码模拟真人延时/随机点击IP封禁单IP爬取超50条数据被封付费代理池/降低请求频率爬取携程旅游平台数据的核心,不是“简单的HTTP请求”,而是“理解平台的反爬逻辑并合规适配”——从sign参数破解到Cookie维护,再到行为模拟,每一步都是对HTTP协议、前端加密、用户行为的深度理解。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1719

终极Triton Inference Server模型输入输出完全指南:自动生成请求响应示例

Triton Inference Server是一款由NVIDIA开发的优化云边推理解决方案,能够帮助开发者轻松部署和管理各种深度学习模型。本文将为新手和普通用户提供一份全面易懂的Triton Inference Server模型输入输出指南,包括自动生成请求响应示例的方法和技巧。 ## Triton Inference Server架构概览 📊 Triton Inference Serve

gitblog_00684的博客 693

基于Playwright与异步技术的公司评价智能爬取实战:以Glassdoor为例

本文将介绍一套基于最新Python技术的智能爬虫解决方案,使用Playwright实现浏览器自动化,结合异步编程和智能解析技术,高效抓取Glassdoor等平台的公司评价数据。我们不仅关注数据获取,更注重数据的结构化处理和反反爬虫策略的实现。

2201_76125261的博客 224

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Jetson + Triton Inference Server:模型服务化部署

特性说明多框架动态批处理自动合并请求模型并发多模型同时服务gRPC高性能远程调用监控Prometheus 指标模型仓库:标准目录结构,config.pbtxt 定义输入输出动态批处理:提升吞吐 2-4xTensorRT 优化:platform=tensorrt_plan 获得最佳性能Docker 部署:一行命令启动服务gRPC 优先:比 REST 更快,适合高并发场景。

谁念西风独自凉 46

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

5分钟搭建边缘AI监控系统:Triton Inference Server与Prometheus实战指南

Triton Inference Server是一个优化的云和边缘推理解决方案,能够帮助开发者高效部署和管理AI模型。通过集成Prometheus监控工具,您可以实时掌握模型性能指标,确保AI服务稳定运行。本文将带您快速搭建完整的边缘AI监控系统,无需复杂配置即可实现专业级监控。 ## 📊 Triton监控系统核心架构 Triton Inference Server内置完善的监控体系,通过P

gitblog_00680的博客 613

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Triton Inference Server终极指南:边缘推理与SQLite数据存储集成

Triton Inference Server是NVIDIA推出的开源推理服务软件,专为AI模型部署优化设计。作为边缘推理和云端部署的终极解决方案,Triton支持多种深度学习框架,包括TensorRT、TensorFlow、PyTorch、ONNX等,并提供高效的数据存储与管理能力。无论您是在云端、数据中心还是边缘设备上部署AI模型,Triton都能提供卓越的性能和灵活性。 ## 🔥 Tri

gitblog_00434的博客 957

边缘推理服务远程调试终极指南:10个Triton Inference Server gdbserver配置技巧

Triton Inference Server是NVIDIA推出的优化云和边缘推理解决方案,为AI模型提供高性能的推理服务。在实际部署中,边缘推理服务的远程调试是开发者经常面临的挑战,特别是在生产环境中服务器出现崩溃或性能问题时。本文将为您详细介绍如何在Triton Inference Server中使用gdbserver进行远程调试的完整流程。 [![Triton Inference Serv

gitblog_00590的博客 431

Triton Inference Server Jetson 实战:并发模型执行与动态批处理(PeopleNet 行人检测示例)

本文以 Triton Inference Server 官方示例 `concurrency_and_dynamic_batching` 为主线,讲解如何在 Jetson 平台上利用 Triton 的**并发模型执行(concurrent model execution)**与**动态批处理(dynamic batching)**两大核心调度能力,提升深度学习推理的吞吐与资源利用率。你将完整走通一条

gitblog_00593的博客 5
上一篇: (self: pyds.NvDsComp_BboxInfo) -> _NvBbox_Coords
下一篇: Ubuntu下关于pillow(PIL)安装问题
AI小笔记
AI小笔记 新星创作者: 人工智能技术领域 新星创作者: 人工智能技术领域
博客等级 码龄8年 1万+粉丝 154原创
评论 10
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI小笔记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值