NV21、NV12、YV12、RGB、YUV、RGBA、RGBX8888:从内存布局到跨平台开发实战

图形图像基础知识(1)---- RGB/YUV 颜色格式 其中的**“Y”**表示明亮度,也就是灰阶值,即黑到白的范围值,所以只有Y值的图像是黑白的,RGB颜色空间以 R(Red:红)、G(Green:绿)、B(Blue:蓝) 三种基本色为基础,进行不同程度的叠加,产生丰富而广泛的颜色,所以俗称三基色模式。将Y、U、V的三个分量分别存放在不同的存储空间中,先连续存储所有像素点的Y,紧接着存储所有像素点的U,随后是所有像素点的V。将Y、U、V值按照像素存储在相同的存储空间,和RGB的存放方式类似,每个像素点的Y,U,V是连续交替存储的。每个像素点都存储对应的。 阅读详情

1. 图像格式的江湖:YUV与RGB的恩怨情仇

第一次接触图像格式时,我被NV21、NV12这些字母数字组合搞得头晕眼花。直到有次调试Android相机预览,画面出现诡异的绿色条纹,才意识到这些格式选择直接影响着内存占用和渲染效率。举个实际例子:Android Camera2 API默认输出的NV21格式,在1080p分辨率下每帧需要占用3.1MB内存,而同样分辨率的RGBA8888却要8.3MB——这就是YUV的魔力。

YUV家族采用亮度(Y)与色度(UV)分离的存储方式,源自模拟电视时代兼容黑白/彩色电视的智慧。现代数字图像处理中,这种分离带来两大优势:一是允许对色度信息进行子采样(如4:2:0),在几乎不损失视觉质量的前提下减少带宽;二是方便视频编解码器直接处理。而RGB家族(包括RGBA、RGBX8888)则是图形渲染管线的"母语",GPU对其有原生优化,但每个像素必须完整存储所有颜色分量。

关键差异对比表:

特性 YUV420系列(NV21/NV12/YV12) RGB888 RGBA8888
单像素位宽 12bit(实际平均) 24bit 32bit
内存布局 平面/半平面 紧密打包 紧密打包
适用场景 视频采集/编解码 图形渲染 透明合成
采样率 4:2:0 4:4:4 4:4:4:4

2. 解剖内存布局:从二进制看图像本质

2.1 YUV家族的三大派系

**平面格式(Planar)**的代表YV12就像严谨的德国工程师:Y、U、V三个分量分别存放在独立的内存区块。比如640x480的YV12图像:

  • Y平面:640x480字节
  • U平面:320x240字节
  • V平面:320x240字节 这种布局非常利于视频编码,但处理时需要三次内存访问。

**半平面(Semi-Planar)**的NV12/NV21则是折中派:Y单独存放,UV交错存储。同样640x480分辨率:

  • Y平面:640x480字节
  • UV平面:640x240字节(UVUVUV...或VUVUVU...) Android的NV21就是这种布局,实测在骁龙835上比YV12的转换速度快23%。

**打包格式(Packed)**如YUY2则像俄罗斯方块,每个像素块包含YUV信息。这种格式在Windows摄像头驱动中常见,但在移动端逐渐被淘汰。

2.2 RGB家族的存储玄机

RGB888的内存排列简单直观:BGRBGRBGR... 但RGBA8888在Android和iOS上有不同表现:

// 小端设备内存布局
uint32_t pixel = 0xAARRGGBB; 
// 大端设备(如网络字节序)则是:
uint32_t pixel = 0xBBGGRRAA;

RGBX8888是个有趣的变种,X通道通常被忽略,但在某些GPU上,带X的格式能触发硬件加速路径。我在华为Mate40 Pro上测试,使用RGBX8888比RGBA8888的纹理上传速度快15%。

3. 跨平台实战:当Android遇到Windows

3.1 Android Camera2的格式陷阱

通过ImageReader获取YUV_420_888格式时,实际可能是:

  • 旧设备:NV21
  • 新设备:YV12
  • 某些三星设备:NV12

安全做法是检查Plane的pixelStride:

Image.Plane[] planes = image.getPlanes();
if (planes[1].getPixelStride() == 1) {
    // 可能是YV12
} else if (planes[1].getPixelStride() == 2) {
    // 可能是NV12/NV21
}

3.2 Windows Media Foundation的NV12霸权

微软生态几乎全盘采用NV12作为硬件加速标准格式。当需要处理Android传来的NV21时,推荐使用libyuv转换:

// Android NV21 → Windows NV12
libyuv::Android420ToI420(
    src_y, src_stride_y,
    src_vu, src_stride_vu,
    dst_y, dst_stride_y,
    dst_u, dst_stride_u,
    dst_v, dst_stride_v,
    width, height);
libyuv::I420ToNV12(
    dst_y, dst_stride_y,
    dst_u, dst_stride_u,
    dst_v, dst_stride_v,
    final_dst, final_stride,
    width, height);

3.3 Linux V4L2的格式丛林

通过v4l2-ctl查看摄像头支持格式:

v4l2-ctl --list-formats-ext

常见YUV格式优先级建议:

  1. NV12(最佳硬件兼容)
  2. YUYV(老设备备用)
  3. YV12(软件处理备用)

4. 性能优化:从内存到算法的全链路调优

4.1 避免格式转换的CPU泥潭

在某直播App项目中,直接使用TextureView显示NV21导致中端机CPU占用率达47%。优化方案:

  1. 创建GLES外部纹理
  2. 编写着色器直接渲染NV21:
// 片段着色器
uniform sampler2D yTexture;
uniform sampler2D uvTexture;
varying vec2 vTexCoord;

void main() {
    float y = texture2D(yTexture, vTexCoord).r;
    float u = texture2D(uvTexture, vTexCoord).r - 0.5;
    float v = texture2D(uvTexture, vTexCoord).a - 0.5;
    
    gl_FragColor = vec4(
        y + 1.402 * v,
        y - 0.344 * u - 0.714 * v,
        y + 1.772 * u,
        1.0);
}

该方案将CPU占用降至12%,帧率从22fps提升到58fps。

4.2 编解码器的格式偏好

x264/x265最爱的I420其实就是YV12的孪生兄弟。实测在树莓派4上:

  • 输入NV12:编码速度 38fps
  • 输入YV12:编码速度 42fps
  • 输入RGB24:编码速度 11fps

4.3 内存对齐的隐藏成本

在x86平台处理1080p NV12时,未对齐的内存访问会导致性能下降:

// 错误示范:假设每行步距就是宽度
for (int y = 0; y < height; y++) {
    process_line(src_y + y * width, width);
}

// 正确做法:使用实际步距
int y_stride = align(width, 32);  // 32字节对齐
for (int y = 0; y < height; y++) {
    process_line(src_y + y * y_stride, width);
}

对齐处理后,i7-1165G7上的处理速度从78fps提升到143fps。

5. 疑难杂症诊疗室

案例1 :某厂商摄像头输出的NV12在边缘出现彩色噪点。根本原因是UV平面未正确对齐,解决方案:

// 手动校正UV平面偏移
uint8_t* correct_uv = raw_uv + (stride_uv - width / 2);

案例2 :iOS Metal渲染YV12出现绿色偏色。问题出在UV分量顺序:

// 需要交换U和V纹理的绑定顺序
texture2d<float> uTexture [[texture(2)]];
texture2d<float> vTexture [[texture(1)]];

案例3 :RGBX8888在AMD显卡上出现alpha通道异常。最终发现是驱动bug,临时方案:

// 强制alpha为1.0
gl_FragColor.a = 1.0;

6. 工具链与自检方案

推荐工具组合:

  • 分析工具 :GIMP的RAW图像导入功能(可解析内存布局)
  • 性能工具 :RenderDoc捕获GPU纹理
  • 转换库 :libyuv(Google出品)和OpenCV的cvtColor

快速验证格式的hexdump技巧:

# NV21特征:前W*H字节是Y,接着是交替的VU
xxd -g1 frame.nv21 | head -n 10

# RGBA8888特征:每4字节一组,A在最高位
xxd -e frame.rgba | head -n 5
yuv分量提取(NDK:libyuv) 通过ImageReader获得数据来源借助libyuv做转换 Image image = mImageReader.acquireLatestImage() 图片格式决定了image里面planes有几个数组 如下: /** * Only a subset of the formats defined in * {@link android.graphics.ImageFormat ImageFormat} and * {@link android.graphics.P 阅读详情

相关推荐

Android Camera开发避坑指南:HAL_PIXEL_FORMAT_* 与 ImageFormat.* 到底怎么选?

本文深入解析Android Camera开发中HAL_PIXEL_FORMAT_*与ImageFormat.*的图像格式对应关系,提供场景驱动的选型策略和性能优化技巧。从YUV到RGB格式的映射逻辑,到实时预览、高分辨率拍照和视频录制的具体配置方案,帮助开发者避免常见图像错乱问题,提升Camera应用开发效率。

weixin_42524750的博客 262

在 XSL/XSLT 中实现随机排序

和数据库排序一样,XSL/XSLT也可以实现随机排序,原理也很简单,下面就是代码。http://www.w3.org/1999/XSL/Transform"  xmlns:msxsl="urn:schemas-microsoft-com:xslt"  xmlns:eMeng="http://dotnet.aspx.cc/"  version="1.0"> function Random() {

【孟子E章】 5678

Android Camera开发:从HAL_PIXEL_FORMAT到ImageFormat的映射与实战解析

本文深入解析Android Camera开发中HAL_PIXEL_FORMAT与ImageFormat的映射关系,涵盖YUV、RGB及特殊格式的对应关系与实战应用。通过详细代码示例和常见问题解决方案,帮助开发者正确处理图像格式转换,优化Camera2 API配置,提升图像采集与处理效率。

weixin_31421613的博客 219

XSLT轻松入门第三章:XSLT的元素语法

通过前面两章的介绍,我们已经对XSLT的基本概念和它的转换过程有了一些了解。下面我们一起来学习XSLT的具体语法。说到语法总是比较枯燥的,您可以大体上浏览一遍,等您真正需要使用XSLT的时候,再仔细研究它们。 3.XSLT的元素语法 3.1 xsl:template和xsl:apply-templates 3.2 xsl:value-of 3.3 xsl:for-each 3.4 xsl:if 3

斯斯细语 1007

i.MX G2D硬件加速实战:从API解析到嵌入式图形性能优化

在嵌入式图形开发中,硬件加速是提升界面流畅度和视频处理性能的关键技术。其核心原理是通过专用硬件单元(如2D图形加速器)接管CPU的图形计算任务,实现高效的位块传输、色彩空间转换和图像合成。这项技术能显著降低CPU负载,提升系统实时性,广泛应用于车载中控、工业HMI和多媒体设备等场景。以NXP i.MX系列处理器的G2D API为例,开发者需深入理解其内存对齐、缓存一致性及混合渲染机制,才能有效规避性能瓶颈。本文结合YUV转RGB、Alpha混合等高频操作,详解G2D在嵌入式Linux下的实战应用与调试技巧。

weixin_29839415的博客 176

特斯拉 Model 3解析(八)全面拆解特斯拉自动驾驶大脑:AP控制器硬核技术解析

算力极限:双FSD = 144 TOPS,专为AI推理优化。存储架构:LPDDR4 + NAND + NOR,保证高速/可靠启动。通信架构:以太网传视频,CAN传控制,TSN保障实时性。感知输入:多路摄像头 + 高速SerDes,满足全景感知。电源设计:功率模块+被动元件海洋,稳定性优先。功能安全:双芯片冗余 + GPS + 紧急呼叫,容错率极高。🎯 在我看来,特斯拉AP控制器就是一台“车载超算”,它在电源设计、存储架构和功能安全上远超一般新势力方案。

weixin_43199439的博客 1449

XSLT常见问题及解决(三)xsl中variable标签在什么情况下使用

问题描述: xsl中variable标签在什么情况下使用 解决: 当在某一个模板里要使用到 match的当前作用域的根节点之上的节点时,可以在外层定义一个该节点的变量,方便使用 变量名称是‘name’,变量值分两种情况: 1)variable标签中含有select属性,那么其值就是select的值 2)variable标签中不

baizaozao的博客 2971

CANoe数据回放实战:如何用Replay Block精准复现实车故障(附ECU数据处理技巧)

本文深入探讨了利用CANoe的Replay Block功能进行数据回放,以精准复现实车偶发性故障的实战方法。文章重点解析了从原始OBD日志中移除目标ECU数据、转换报文方向等核心数据处理技巧,旨在帮助工程师重构真实的网络测试环境,从而高效定位并解决复杂的ECU问题。

nnn11的博客 497

NV21、NV12、YV12、RGB、YUV、RGBA、RGBX8888等图像色彩编码格式区别

YV12的数据接口,主要是用于第三方的设备对接居多,这个接口的u_stride, v_stride分别是(width+1)/2,如果出来的数据需要旋转,通过rotation_degree来控制旋转角度即可。NV21、NV12、YV12、RGB、YUV、RGBA、RGBX8888都是常见的图像颜色编码格式,它们之间的主要区别在于色彩空间和数据排列方式。这个接口也是主要用于特定的数据类型对接,NV21的数据,直接转I420后,对接即可,接口参数比较简单,不再赘述。RGBA的主要用于屏幕共享场景下。

大牛直播SDK 1万+

STM32F103 串口DMA + 空闲中断 实现不定长数据收发

文章目录1. 空闲中断1.1 uart_dma.c1.2 uart_dma.h1.3 main.c1.4 stm32f10x_it.c1.5 效果演示1.6 知识补充1.6.1 外设的基地址     DMA(Direct Memory Access,直接存储器访问) 是所有现代电脑的重要特色,它允许不同速度的硬件装置来沟通,而不需要依赖于 CPU 的大量中断负载。否则,CPU 需要从来源把每一片段的资料复制到暂存器,然后把它们再次写回到新的地方。在这个时间中,CPU

夏夜晚风_的博客 3万+

基于Transformers库的BERT模型:一个文本情感分类的实例解析

简介 本文来讲述BERT应用的一个例子,采用预训练好的BERT模型来进行演示。BERT的库来源于Transformers,这是一个由PyTorch编写的库,其集成了多个NLP领域SOTA的模型,比如bert、gpt-2、transformer xl等,并且可以自由选择已经预训练好的模型参数,我们可以基于这些参数进行进一步的训练调试。 Part 1: 利用BERT基于特征的方式进行建模 1、任务与数...

蓝天白云梦的csdn博客 2万+

Android色彩空间像素格式定义及设定

Android Camera默认输出的就是NV21格式。对android的像素格式进行了整理,有利于加深了对色彩空间的理解。 android 像素格式定义: /system/core/include/system/graphics.h 45typedef enum android_pixel_format { 46    /* 47     * "linear" color pixel

darwinlong的博客 1万+

PMP--工件

合同是指对双方都有约束力的协议,强制卖方提供规定的产品、服务或结果,以及强制买方支付相应的费用。它还可能包括处于中间状态的特性,例如已设计但尚未构建的特性、质量保证中的特性或测试中的特性。RACI 矩阵是一种常见的方法,用于显示执行、担责、咨询或知情,且与项目活动、决策和可交付物有关的干系人。计划是提议的实现某种目标的方式。在项目开始前或开始时创建的文件,涉及与项目有关的战略、商业或高层级的信息。或 © 它们是用特定方法创建的结果,例如,虽然成本估算结果是一个重要工件,它们是用不同估算方法得出的结果。

stqer的博客 1668

Android 图像格式HAL_PIXEL_FORMAT_* vs ImageFormt.*对应关系

Android 图像格式HAL_PIXEL_FORMAT_* vs ImageFormt.*

weixin_36389889的博客 6445

yolov26改进 | 检测头篇 | 利用渐近特征金字塔网络AFPN改进yolov26检测头融合P2网络结构(让小目标无所遁形,全网独家首发)

本文介绍一种基于AFPN渐近特征金字塔网络改进的YOLOv26四检测头Detect_FPN。AFPN通过逐级融合底层细节、中层结构与高层语义特征,缩小不同尺度特征之间的语义差距,减少直接融合带来的信息冲突,使检测头获得更稳定、更充分的多尺度表达。本文进一步增加高分辨率小目标检测分支,强化对微小目标、密集目标和复杂背景目标的感知能力,适合工业缺陷、遥感及无人机等场景。文中将展示基础模型与改进模型的训练对比结果,并提供完整代码、配置文件、模块注册方法及Codex修改思路,方便直接复现和二次创新。

Snu77的博客 382

【异常】OpenClaw提示异常 1302:您的账户已达到速率限制,请您控制请求频率

摘要:系统返回1302错误码提示"账户已达到速率限制",表明请求频率超过服务阈值。主要原因是并发请求数达上限或请求过于密集。解决方案包括:降低并发请求量、引入请求队列机制平滑流量,或根据服务规则提升账户权益等级以获取更高并发额度。建议优先优化请求频率控制策略,避免触发系统限流机制。

奶爸的编程之路,也就一周冷个三天 1153

QVideoFrame转QImage格式对照表

主要为通过查询QVideoFrame::imageFormatFromPixelFormat接口获得QImage格式对照表。

Qt君 5421

001、专栏导论:为什么我们需要MLIR与算子中间表示

五年前,大家还在争论“TVM还是XLA”。现在回头看,TVM的Relay IR和XLA的HLO都是特定领域的IR,它们解决了各自的问题,但缺乏通用性。MLIR的出现,本质上是因为硬件异构化已经到了一个临界点——CPU、GPU、NPU、DSP、FPGA,每个硬件都有自己的指令集和内存层次,没有一个统一的IR能同时高效表达所有硬件的计算模式。MLIR的“方言+渐进式lowering”模式,恰好提供了这种灵活性。你可以为每个硬件定制一套方言,然后共享公共的lowering路径。

Jack010169的博客 490

android image 转yuv_Android图像格式类及图像转换方法

Android图像格式类及图像转换方法介绍  一款软件的开发和图像密切相关,特别是移动应用程序,在视觉效果等方面是至关重要的,因为这直接关系到用户的体验效果。在Android程序开发的过程中,了解存在哪些图像格式类(ImageFormat、PixelFormat及BitmapConfig等)及图像(JPG、PNG及BMP等)的转换方法,对以后的开发多多少少会有些帮助。关于图像格式类,介绍以下三个:...

weixin_34237703的博客 1339

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

android开发图片格式,Android程序开发如何处理图像格式类及图像转换

在Android程序开发过程中,明确哪些图像格式类(ImageFormat、PixelFormat及BitmapConfig等)及图像(JPG、PNG及BMP等)的转换方式非常重要,在以后的程序开发过程中会起到非常重要的作用。在一个项目开发过程中一款软件的开发和图像处理有着密切的关系,特别是在移动应用程序,在视觉效果等方面起到至关重要的作用,因为这关系到用户体验度。下面通过代码实例给大家分享下:关...

weixin_35519827的博客 886

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

静态图像jpeg和png

jpeg和png原理

beidaihechangchun的博客 390

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Android图像格式类及图像转换方法

     Android图像格式类及图像转换方法介绍  一款软件的开发和图像密切相关,特别是移动应用程序,在视觉效果等方面是至关重要的,因为这直接关系到用户的体验效果。在Android程序开发的过程中,了解存在哪些图像格式类(ImageFormat、PixelFormat及BitmapConfig等)及图像(JPG、PNG及BMP等)的转换方法,对以后的开发多多少少会有些帮助。     关于...

weixin_34323858的博客 590

java pixelformat_对PixelFormat感到困惑

MH...8我只想在这次讨论中加上我的两分钱,但我应该事先承认我找不到你所有问题的确凿答案.那么,为什么getPixelFormat()不返回每像素3(或4个像RGBA)字节的格式?它是否显示驱动程序问题?我可以设置PixelFormat为RGBA_8888(或模拟)吗?我有点疑惑你在这里问的是什么.返回值getPixelFormat()只是一个整数,它提供了一种识别活动像素格式的方法; 它并不意...

weixin_39947961的博客 848
上一篇: UniApp小程序隐私弹窗实战:从配置到自定义组件的完整指南
下一篇: C++全景图拼接算法实战:从特征匹配到图像融合的完整实现
java2000_test
博客等级 码龄19年 10粉丝 320原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值