yolov5模型部署:Triton服务器+TensorRT模型加速(基于Jetson平台)

NVIDIA Triton系列-YOLOV5 部署(1) -环境搭建及部署并使用Perf_Analyze测试ONNX YOLOV5M 利用英伟达高性能部署方案Triton完成YOLOV5的trt+ensemble+python backend的部署 阅读详情

系列文章目录

yolov5 win10 CPU与GPU环境搭建,亲测有效!
yolov5训练自己的数据集,详细教程!
yolov5转tensorrt模型
Jetson调用triton inference server详细笔记
yolov5模型部署:Triton服务器+TensorRT模型加速(基于Jetson平台)



前言

在完成yolov5环境搭建,训练自己的模型,以及将yolov5模型转换成Tensorrt模型后,下面就要对得到的tensorrt模型进行部署,本文采用的Triton服务器的部署方式。
本文是在完成yolov5转tensorrt模型、Jetson安装完成triton inference server的前提下进行的,故所用的模型文件也是以上文章中产生的。对这些步骤不熟悉的同学可以参考系列文章。

一、建立triton模型库

yolov5转tensorrt模型生成了yolov5s.engin与libmyplugins.so文件。

1.1config文件编写

config.pbtxt按如下例子编写:

platform: "tensorrt_plan"
max_batch_size : 1
input [
  {
    name: "data"
    data_type: TYPE_FP32
    dims: [ 3, 640, 640 ]
  }
]
output [
  {
    name: "prob"
    data_type: TYPE_FP32
    dims: [ 6001, 1, 1]
  }
]

其中input与output名称与维度在生成engine文件过程中就已确定。

1.2文件配置

将之前生成的yolov5s.engin改名为model.plan。另外还有生成的libmyplugins.so文件,按照下面tree放置:
在这里插入图片描述

二、启动triton服务

cd 到tritonserver目录下,运行:

LD_PRELOAD=/media/nvidia/ubuntu_fs/plugins/yolov5s/libmyplugins.so ./tritonserver --model-repository=/media/nvidia/ubuntu_fs/model_path

这里需要把libmyplugins.so与model_path改为自己的路径
在这里插入图片描述
可以看到yolov5s模型已经启动成功了(这里我的model_path包含多个模型,如果同学们按照教程来只会出现一个yolov5s模型)
注意:这里必须要加载libmyplugins.so,否则模型无法正常启动。


三、启动客户端

这里需要自己编写前处理与后处理代码,下面给出样例代码:
https://github.com/JulyLi2019/tensorrt-yolov5(欢迎star!!!)
下面贴出client端关键部分代码:

    inputs = []
    outputs = []
    inputs.append(grpcclient.InferInput('data', [1, 3, 640, 640], "FP32"))
    outputs.append(grpcclient.InferRequestedOutput('prob'))

    input_image_buffer = preprocess(frame, FLAGS.mask_y)
    input_image_buffer = np.expand_dims(input_image_buffer, axis=0)
    inputs[0].set_data_from_numpy(input_image_buffer)

    results = triton_client.infer(model_name=FLAGS.model,
                                  inputs=inputs,
                                  outputs=outputs,
                                  client_timeout=None)

    result = results.as_numpy('prob')
    detected_objects = postprocess(result, frame.shape[1], frame.shape[0], FLAGS.confidence, FLAGS.nms)

测试图片

在这里插入图片描述
在这里插入图片描述

测试视频

在这里插入图片描述

总结

Triton环境搭建与模型成功部署,整个过程相当痛苦,前前后后搞了有两周,特别是加载自己的模型时,遇到了很多问题,也询问一些CSDN的博主,这里特别感谢小屋*大神,不仅给了回答了我的很多问题,还给我提供了测试代码,虽然你不一定会看到这篇博客,但是还要谢谢你!!!

参考文档:
https://blog.csdn.net/weixin_48994268/article/details/118859830
http://doge.ac.cn/?p=2856

如果阅读本文对你有用,欢迎一键三连呀!!!
2021年8月24日15:55:18
在这里插入图片描述

VoLo模型本地部署 这篇说的是我对部署YoLo模型的记录和整理,YoLo模型是有很多种,目前最新的就是YoLov11。 阅读详情

相关推荐

Jetson ONNX Runtime GPU部署实战:从编译到TensorRT加速

ONNX Runtime 是边缘AI推理的事实标准框架,其GPU执行提供器(CUDA/TensorRT EP)可显著提升Jetson系列设备的推理性能。原理上,它通过统一Session接口封装底层加速库,绕过Python运行时开销,实现模型逻辑与硬件后端解耦;技术价值在于跨平台兼容性、低延迟和高吞吐,尤其适配JetPack SDK约束下的嵌入式环境;典型应用场景包括YOLOv8目标检测、Whisper语音识别等实时AI任务。本文聚焦Jetson Orin/Nano平台,深入解析ONNX Runtime GP

weixin_34160277的博客 543

Triton推理服务器部署YOLOv8实战

Triton Inference Server(Triton 推理服务器)是一个高性能、灵活、可扩展的推理服务器,支持多种机器学习框架(PyTorch、ONNX等)和部署场景。本课程讲述如何在Triton Inference Server(推理服务器)上部署YOLOv8目标检测的推理服务。 课程完整演示了在Ubuntu操作系统上使用Triton推理服务器的ONNX Runtime后端和TensorRT后端部署YOLOv8目标检测模型。部署流程涵盖了以下关键步骤: 安装Docker、安装Nvidia Container Toolkit、导出ONNX模型、构建TensorRT引擎、组织模型仓库布局文件、构建Triton推理Docker容器、运行和测试Triton推理服务器。

Jetson Orin Nano边缘AI部署实战:TensorRT加速YOLOv8与轻量LLM集成

边缘AI部署的核心挑战在于如何在资源受限的设备上高效运行复杂的深度学习模型。其基本原理是通过模型压缩、推理优化和硬件加速,在保证精度的前提下提升运行速度并降低功耗。技术价值在于将AI能力从云端下沉到终端,实现低延迟、高隐私的实时智能决策。应用场景广泛覆盖机器人、自动驾驶、智能安防和工业质检等领域。本文以NVIDIA Jetson Orin Nano为硬件平台,深入探讨了如何利用TensorRT对YOLOv8视觉模型进行FP16/INT8量化加速,并结合TensorRT-LLM部署轻量级大语言模型Phi-2,

cuiji1279的博客 346

YOLOv5-6.1从训练到部署(三):模型在CPU上部署

模型在CPU上部署

TANTANWANG的博客 3387

YOLOv8全平台部署与优化实战指南

目标检测作为计算机视觉的核心技术,其部署优化直接影响实际应用性能。YOLOv8作为当前最先进的实时检测框架,通过ONNX、TensorRT等跨平台格式实现了端到端部署方案。从原理上看,模型转换工具链的完善大幅降低了部署门槛,而硬件适配层优化则显著提升了推理效率。在工程实践中,需要根据延迟敏感度、功耗约束等维度选择匹配的部署方案,例如工业质检推荐Jetson+TensorRT组合,移动端则适用TFLite量化模型。本文以YOLOv8 8.2.28为例,详解从模型导出、性能调优到多语言集成的全流程实战经验,特别

weixin_33827731的博客 649

YOLOv8部署指南:从训练到落地生产的全链路实践(含TensorRT加速)

本文详细介绍了YOLOv8在工业级部署中的全链路实践,包括TensorRT加速和多平台适配。通过模型优化、量化压缩和TensorRT深度加速方案,显著提升推理速度和显存效率。适用于计算机视觉领域的智能质检、安防监控等场景,帮助开发者实现从训练到落地的高效转换。

weixin_33701251的博客 227

TensorRT与Jetson平台部署:边缘AI加速实践

在工业质检的流水线中,一台 Jetson Xavier NX 需实时处理 3 路 1080P 视频流的缺陷检测;在自动驾驶原型车上,Orin Nano 要在 20ms 内完成多传感器融合的障碍物识别——这些场景下,传统 CPU 推理方案往往因延迟超过 100ms 而失效。NVIDIA TensorRT 与 Jetson 平台的组合,通过硬件架构优化、模型压缩和运行时调优的三重加速,将推理性能提升 ...

gitblog_00456的博客 1453

深度学习模型服务端部署:Triton server+TensorRT【PyTorch格式---->ONNX格式---->TensorRT格式---->利用Triton server部署】

本来是想着直接用简单的Flask+TensorRT去做服务端的,但是奈何我比较懒,现在已经沉溺于Python,再去花费时间学一个Flask我估摸着时间不够,于是百度之后发现了Tritonserver,这个是NVIDIA自己做的开源产品,支持GRPC和HTTP,还说支持C API直接访问(这部分不了解,相关视频后续在官方教程里会给出)sid=493256最后说一下为什么要选择TensorRT。

u013250861的博客 2516

[实践]YOLOv5提升10倍推理速度:利用TensorRT 在Jetson NX上的模型部署

关注公众号,发现CV技术之美本文转自 空中机器人前沿,作者西湖大学工程师梁甲琛。随着算力的不断提升和数据的不断增长,深度学习算法有了巨大的发展。深度学习算法也越来越多的应用在各个领域中,比如图像识别算法应用于自动驾驶领域和安防等场景,再比如语音处理和自然语言处理应用于人机交互,以及近期火热对于许多领域都有重大影响的AIGC。针对不同的平台,如何使深度学习算法的推理速度更快,无疑可以影响用户的体验,...

我爱计算机视觉 3507

Halcon手眼标定实战:九点标定法从入门到精通(附完整代码)

本文详细介绍了Halcon环境下九点标定法的完整实现流程,从基础概念到实战技巧,帮助开发者快速掌握手眼标定技术。通过精确采集图像坐标与机械坐标,计算仿射变换矩阵,实现相机与机械臂坐标系的精确映射,适用于工业自动化中的平面定位场景。

v4w5x6的博客 411

cesium加载天地图、OSM、谷歌底图

以上示例是加载矢量底图,若要加载影像或者其他只需要更换相应的url,在WebMapTileServiceImageryProvider中还要更改layer参数。url中’‘vec_w’,一些其他风格,基于CRAT渲染,两种方法效果差别不大。有两种方法加载天地图分别是。对应投影样式,具体可看。还要谷歌的一些卫星底图。

qq_44897914的博客 3003

Jetson调用triton inference server详细笔记

文章目录一、jetson安装triton-inference-server1.1 jtop命名行查看jetpack版本与其他信息1.2下载对应版本的安装包1.3解压刚刚下载的安装包,并进入到对应的bin目录下1.4尝试运行一下tritonserver二、运行triton-inference-server2.1下载相关文件包2.2 生成模型文件2.3启动tritonserver三、测试triton client demo3.1安装客户端依赖项3.2安装python 客户端库3.3运行onnx分类模型demo总

JulyLi2019的博客 5184

Anaconda安装教程傻瓜教程

网上好多教程找的我心好累,为了方便新手安装,我这边整理了大致详细的教程,参考了好几个大佬的教程,废话不多说,直接开始~ **前言:**有人纠结先安装python还是安装anaconda,这边的建议是装anaconda,就不需要单独装python了。 其次,有小伙伴的Anaconda的安装分两种情况: 情况一:电脑现在没有装python或者现在装的可以卸载掉(装Anaconda时先卸python); 情况二:电脑目前装了python,但想保留它;

zlc2351951436的博客 5万+

YOLOv5模型TensorRT加速实战:从ONNX转换到边缘部署

深度学习模型部署中,推理加速是提升实时性的关键技术。TensorRT作为NVIDIA推出的高性能推理优化器,通过层融合、精度校准和内存优化等原理,能显著提升模型推理速度。在计算机视觉领域,YOLO系列作为经典目标检测算法,结合TensorRT可实现3-5倍的性能提升。特别是在边缘计算场景(如Jetson设备)和实时视频分析系统中,这种优化方案能有效解决延迟敏感型应用的性能瓶颈。以YOLOv5为例,从ONNX模型转换、INT8量化到Triton服务器部署的全流程优化,为工业质检、智能监控等场景提供了可靠的工程

weixin_30945039的博客 417

飞腾X100芯片GPU状态查询

本文档对在linux系统下查看X100芯片GPU状态信息进行说明,可以帮助大家了解芯片的实时工作状态。

乌拉大喵喵 2821

Flink实战项目——城市交通实时监控平台

本项目是与公安交通管理综合应用平台、机动车缉查布控系统等对接的,并且基于交通部门现有的数据平台上,进行的数据实时分析项目。

yangwei2048的博客 839

YOLOv5~TRT~JetsonNX部署

针对不同的平台,如何使深度学习算法的推理速度更快,无疑可以影响用户的体验,甚至可以影响一个算法的有效性,这是深度学习模型部署所要研究的问题。目前模型部署框架则有NVIDIA推出的TensorRT,谷歌的Tensorflow和用于ARM平台的tflite,开源的caffe,百度的飞桨等。在AIOT、移动设备以及自动驾驶等领域...

weixin_41287143的博客 318

AMBA VIP基础使用方式(AXI)

AXI环境配置 1)基础配置 作为master或者slave使用时,对应的is_active = 1 只作为i监测(monitor)使用时,对应slave_cfg的is_active = 0(对应端口连接也有所区别) class smu_axi_cfg extends svt_axi_system_configuration; `uvm_object_utils(smu_aix_cfg) function new(string name="smu_axi_cfg); super.new(n..

qq_37573794的博客 7984

Jetson边缘AI多任务视觉推理引擎:TensorRT与Triton实战部署指南

在嵌入式AI和边缘计算领域,如何在资源受限的设备上高效运行多个AI模型是核心挑战。其基本原理在于通过资源共享、流水线优化和智能调度,最大化硬件利用率。这项技术的核心价值在于解决边缘设备GPU内存和算力有限的问题,实现多个视觉任务(如目标检测、语义分割)的并行处理,从而提升系统整体吞吐量并降低延迟。典型的应用场景包括自动驾驶感知、机器人导航和智能安防等需要同时处理多种视觉信息的边缘AI应用。本文聚焦于在NVIDIA Jetson平台上,结合TensorRT推理优化和Triton Inference Serve

weixin_28717807的博客 326

Python爬虫技术:使用Playwright和Twitter API v2高效获取Twitter/X数据完全教程

遵守规则:始终遵循Twitter的使用条款和速率限制错误处理:实现完善的错误处理和重试机制数据质量:进行数据清洗和验证性能优化:使用异步处理和合理的延迟设置可维护性:模块化代码,便于维护和扩展。

2201_76125261的博客 671

Level 4自动驾驶系统设计49——L4 架构设计 2

在 9.3.2 节所述的 SerDes 晶圆级原生“双出(Splitter Mode)”物理架构中,若解串芯片内部的其中一路 MIPI 供电轨因大算力 SoC 1 的高热漏电流污染突发二阶瞬态电磁耦合,导致双出通道产生 $\mathbf{\Delta} \text{Skew} \ge 15\text{ps}$ 的时序偏置。其中,$\mathbf{H}(t)$ 为最低限度生存网雷达几何测量的观测矩阵,$\mathbf{R}_{\text{fallback}}$ 为清洗后的雷达测量不确定度协方差。

Godspeed_zwh的博客 311

TensorRT深度学习推理加速实战与优化技巧

深度学习推理加速是提升模型部署效率的关键技术,TensorRT作为NVIDIA推出的高性能推理优化器,通过计算图优化、精度量化和内核自动调优等核心技术,显著提升模型推理速度。在CV/NLP等领域,TensorRT可实现数倍的性能提升,如ResNet50在T4显卡上从45FPS优化至220FPS。其核心原理包括算子融合减少计算开销、FP16/INT8量化降低内存占用,以及针对不同GPU架构的自动内核选择。实际应用中,TensorRT广泛适用于实时视频分析、大语言模型加速等场景,特别是在边缘设备如Jetson系

Eric.Net的专栏 351

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Nvidia GPU边缘AI推理部署实战:从TensorRT加速到API封装

在边缘计算场景中,实时目标检测常受限于设备功耗、体积与算力。Nvidia GPU凭借成熟的驱动、CUDA及推理引擎体系,成为边缘AI部署的主流选择。本文从通用技术视角切入:先梳理GPU推理的基本原理与硬件选型,再阐述如何通过TensorRT对ONNX模型进行量化加速,大幅提升检测吞吐,同时结合FastAPI将模型封装为可调用的HTTP接口,并给出批量图片验证与显存观察方法。无论是无人机巡检、工业质检还是机器人视觉,遵循概念→环境配置→模型转换→服务化→稳定性测试的路径,都能在有限资源下获得可落地的边缘推理能

weixin_33797791的博客 417

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

边缘AI工程实战:Jetson Orin Nano上稳定部署YOLOv5s的全链路

边缘AI是指将人工智能模型部署在靠近数据源头的嵌入式或工业终端设备上,其核心挑战在于算力受限、功耗敏感与环境不可控。技术原理上需融合模型量化(如INT8)、推理引擎优化(TensorRT)、服务框架裁剪(Triton Lite)及系统级资源管控,以实现低延迟、低抖动、高可靠性的确定性推理。这一能力直接支撑智能质检、设备预测性维护、冷链状态监测等工业落地场景。本文聚焦NVIDIA Jetson Orin Nano平台,详解从系统刷写、YOLOv5s模型INT8量化、TensorRT Engine生成到Trit

weixin_30430169的博客 471

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

YOLOv11工业部署实战:从数据标注到TensorRT优化

目标检测作为计算机视觉的核心技术,通过深度学习模型实现物体定位与分类。YOLO系列以其出色的实时性能著称,最新YOLOv11在保持速度优势的同时显著提升检测精度。该技术通过卷积神经网络提取特征,结合锚框机制实现高效检测,在工业质检、医疗影像等领域具有重要应用价值。本文以YOLOv11为例,详解工业级部署全流程,包含数据标注工具选型(如Label Studio)、数据增强策略优化(如Cutout增强提升12% F1-score)、以及TensorRT加速等关键技术。特别针对边缘设备部署场景,分享Jetson

392

基于Jetson Nano的边缘AI交通控制系统:从模型部署到硬件集成实战

边缘计算作为将数据处理和分析从云端下沉到网络边缘的关键技术,其核心原理是在靠近数据源头的设备上进行实时计算,以降低延迟、提升响应速度并减少网络带宽依赖。这项技术的核心价值在于为物联网、智慧城市等场景提供了高可靠性、低成本的本地化智能解决方案。在智慧交通领域,边缘AI通过部署轻量化的视觉模型,能够实现车辆检测、车牌识别等实时分析任务。本文聚焦于一个具体的工程实践:利用NVIDIA Jetson Nano开发板,构建一个完整的“道路空间配给”边缘控制系统。该系统通过集成YOLOv5s车辆检测模型与车牌识别模型,

weixin_34212762的博客 405
上一篇: yolov5转tensorrt模型
下一篇: ffmpeg与opencv实现rtmp推流(基于ZLMediaKit实现)
AI小笔记
AI小笔记 新星创作者: 人工智能技术领域 新星创作者: 人工智能技术领域
博客等级 码龄8年 1万+粉丝 154原创
评论 45
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI小笔记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值