camera、sensor,v4l2基础知识

V4L2框架解析 和你一起终身学习,这里是程序员Android经典好文推荐,通过阅读本文,您将收获以下知识点:一、概览二、流程简介三、关键结构体四、模块初始化五、处理用户空间请求一、概览相机驱动层位于HAL Moudle与硬件层之间,借助linux内核驱动框架,以文件节点的方式暴露接口给用户空间,让HAL Module通过标准的文件访问接口,从而能够将请求顺利地下发到内核中,而在内核中,为了更好的支持视频流的操作,... 阅读详情
AI摘要

本文详细介绍了摄像头的工作原理,包括镜头、传感器、ISP和DSP的角色,以及CCM的关键技术。同时,讲解了V4L2驱动的相关内容,如帧同步逻辑、ioctl接口、V4L2驱动中的核心结构体以及V4L2工具的使用方法。还涉及到Media子系统和pipeline的概念,阐述了多媒体设备的链接方式。

结构和工作原理

(1)、工作原理:物体通过镜头(lens)聚集的光,通过CMOS或CCD集成电路,把光信号转换成电信号,再经过内部图像处理器(ISP)转换成数字图像信号输出到数字信号处理器(DSP)加工处理,转换成标准的GRB、YUV等格式图像信号。

(2)、CCM 包含四大件: 镜头(lens)、传感器(sensor)、软板(FPC)、图像处理芯片(DSP)。决定一个摄像头好坏的重要部件是:镜头(lens)、图像处理芯片 (DSP)、传感器(sensor)。CCM的关键技术为:光学设计技术、非球面镜制作技术、光学镀膜技术。

Cmos内部结构

帧同步的逻辑关系

PCLK:是像素点同步时钟信号。也就是每个PCLK对应一个像素点。

VSYNC:是场同步信号。以高电平有效为例,VSYNC置高直到被拉低,这个区段所输出的所有影像数据组成一个frame。

HSYNC:是行同步信号。就是在告诉接收端:“HSYNC”有效时段内接收端接收到的所有的信号输出属同一行。

若要显示一个640x480的画面,显示不正确的时候,若量PCLK,VSYNC和HSYNC这三个信号,就可以知道这三个信号配置是否有问题,一般来讲,这种情况是有公式的:

VSync = HSYNC x 320;

Hsync = PCLK x 640;

软硬件的完整流程:

1.摄像头的初始化(输出格式、分辨率、输出速率)

2.使能摄像头接入主控板卡中的物理通道(mipi、cif也就是dvp;摄像头的dvp口传输协议和lcd ttl口协议差不多。)

3.使能主控板卡中的ISP(图像信号处理模块)、并让ISP知道当前有效接入的摄像头是哪一个(因为可以多个接入,但只能一个有效)。

4.告诉ISP输进来的数据如何处理(颜色空间转换、缩放、裁剪、旋转等)、经由那个通道输出到内存/显存(MP主通道、SP自身通道)。SP一般用来预览图片,SP图片的最大分辨率比MP低。

5.输出到内存

V4l2的采集过程(应用程序):

1)     打开设备,获得文件描述符;

2)     设置图片格式;

3)     分配缓冲区;

4)     启动采集过程,读取数据;

5)     停止采集,关闭设备。

从V4L2简单框图可以看出,V4L2是一个字符设备,而V4L2的大部分功能都是通过设备文件的ioctl导出的。

一般来说,摄像头驱动需要实现与向核心层提交下面十几个ioctl接口

VIDIOC_REQBUFS:分配内存

VIDIOC_QUERYCAP:查询驱动功能

VIDIOC_ENUM_FMT:获取当前驱动支持的视频格式

VIDIOC_S_FMT:设置当前驱动的频捕获格式

VIDIOC_G_FMT:读取当前驱动的频捕获格式

VIDIOC_TRY_FMT:验证当前驱动的显示格式

VIDIOC_CROPCAP:查询驱动的修剪能力

VIDIOC_S_CROP:设置视频信号的边框

VIDIOC_G_CROP:读取视频信号的边框

VIDIOC_QBUF:把数据放回缓存队列

VIDIOC_DQBUF:把数据从缓存中读取出来

VIDIOC_STREAMON:开始图像捕获

VIDIOC_STREAMOFF:结束图像捕获

1.V4L2 驱动中的核心结构体

v4l2_device;一个v4l2的总设备。

v4l2_sbudev:来描述camera等sensor设备,一般是指挂接在总线(i2c)上的摄像头

video_device:实际和处理器采集口相关的配置,一般该设备会完成注册以/dev/video0,video1的字符设备注册的形式暴露给应用层。

v4l-utils工具包用法

v4l-utils工具包中的:v4l2-ctl实现抓图。

V4l2-ctl 工具则是针对/dev/video0,/dev/video1 等 video设备,它在 video 设备上进行 set_fmt,reqbuf(申请buf),qbuf(送buf回队列),dqbuf(从队列取出buf),stream_on,stream_off 等一系列操作。

n为4的倍数(0,1,2,3...)

/dev/videon+0:视频输出 SP主通道

/dev/videon+1:视频输出 MP自身通道

/dev/videon+2:3A统计

/dev/videon+3:3A参数设置

打开v4l2中的ioctl调用开关:

echo 0x1f > /sys/class/video4linux/video0/dev_debug

echo 0x1f > /sys/class/video4linux/video1/dev_debug

echo 0x1f > /sys/class/video4linux/video2/dev_debug

echo 0x1f > /sys/class/video4linux/video3/dev_debug

设置 fmt 并抓帧:

板端:

v4l2-ctl -d /dev/video0 --set-selection=target=crop,width=1920,height=1080 --set-fmt-video=width=1280,height=720,pixelformat=NV21 \

--stream-mmap=3 --stream-to=mp.out --stream-count=1 --stream-poll

参数的说明:

    -d,指定操作对象为/dev/video0 设备。

    --set-selection=target=crop 设置裁剪功能,width=1920,height=1080 裁剪后的大小1920x1080

    --set-fmt-video,指定了宽高及 pxielformat。NV12,即用 FourCC 表示的 pixelformat。FourCC 编码详见下文 FourCC。

    --stream-mmap,指定 buffer 的类型为 mmap,即由 kernel 分配的物理连续的或经过iommu 映射的 buffer。

    --stream-to,指定帧数据保存的文件路径

    --stream-count,指定抓取的帧数, 不包括--stream-skip 丢弃的数量

--stream-poll,该选项指示 v4l2-ctl 采用异步 IO,即在 dqbuf 前先用 select 等等帧数据完成,从而保证 dqbuf 不阻塞。否则 dqbuf 将会阻塞直到有数据帧到来。

将mp.out推到ubantu上用mplayer打开它。

ubantu端:

W=1280; H=720; mplayer mp.out -loop 0 -demuxer rawvideo -fps 25 -rawvideo w=${W}:h=${H}:size=$((${W}*${H}*3/2)):format=nv21

    注意了抓图操作的pixelformat和mplayer播放的format需要一致。

前提是摄像头驱动和摄像头本身要支持nv12,分辨率也同理。

Media子系统和pipeline汇总

在rk 9.0之前还没有用meidia子系统,为了解决多媒体设备的复杂性和流动性,把多媒体各个模块树状链接,可以很方便的操作各个链接点的格式分辨率等。但是这样需要代码来支持,所以就用了media子系统,虽然增加了大段代码,但是这样操作更加灵活。

Media子系统是一种pipeline形式

Rk从sensor到ddr设定了4个设备如下

sensor —> DPHY —> isp —> stream

其中每个设备都认为是一个entity,是一个节点。每个都包含一个或者多个pads,可以认为是各个分叉,link就是将各个分叉pad链接起来,也就是谁链接谁。谁是源端,谁是目的端。

根据上图:

sensor有ov5695和ov2659,它们只有一个pad,因为只能输出

DPHY 就是mipi dphy 接收sensor数据,输出输出到isp,所有有2个pads

Isp 因为isp除了要接收dphy进来的数据,还要接收input参数,输出统计信息,最后将数据输出到 mainpath和selfpath(这个不清楚是否rkisp独有),4个pads

Mp和sp 接收isp处理好的数据 所以只有一个pad。

V4L2系列 之 V4L2驱动框架 本篇文章主要介绍Linux内核中的V4L2框架,本篇文章所用内核版本:linux-4.19v4L2 (Video for Linux 2),是linux的一套视频框架,共主体位于内核,可以理解为是整个linux系统上面的视频源捕获驱动框架。其广泛应用在嵌入式设备、移动端以及个人电脑设备上面,市而上使用视频图像采集的设备如:手机、IPC、行车记录仪都会用到这个框架来进行视频采集。v4L2允许 应用程序 控制图像传感器以及传输格式,应用程序 借此完成拍照、预览、视频记录等图像传感器数据应用。 阅读详情

相关推荐

Linux下v4l2-camera子系统之sensor驱动(四)

Linux下v4l2-camera子系统之sensor驱动(三) 平台:君正x1000 linux kernel: 3.10 camera sensor:ov7725 在Linux下v4l2-camera子系统之soc_camera_device(二)和Linux下v4l2-camera子系统之soc_camera_host(三)中已经分析了ov7725注册进camera_device并用i2c_new_device(adapter, info)创建一个client,然后就会和驱动匹配,进入驱动的probe

weixin_44139476的博客 2298

V4l2框架分析

1. V4L2框架概述 1.1 v4l2设备应用层流程 1.2 内核V4L2模块 2 2. video_device 2.1图像处理模块 2.2 video注册流程 3. videobuf2 3.1 与video device的关系: 3.2 buffer类型 3.3 vb2_ops回调函数 3.4 mmap 流程...

welljrj的博客 8964

V4L2框架视频sensor模块驱动开发汇总

二、一、V4L2框架概述V4L2是Video for linux2的简称,为linux中关于视频设备的内核驱动。在Linux中,视频设备是设备文件,可以像访问普通文件一样对其进行读写。V4L2在设计之初时,是要支持很多广泛的设备的,如声卡, display, FB, I2C, camera等.它们之中只有一部分在本质上是真正的视频设备,也是造成V4l2源码冗余的原因之一。

hhhhhhh_hhhhhh_的博客 1490

Linux内核V4L2架构

V4L2是Video for linux2的简称,为linux中关于视频设备的内核驱动。是linux操作系统下一套用于采集图片、视频和音频数据的通用API接口,配合适当的视频采集设备和相应的驱动程序,可以实现图片、视频、音频等的采集。​ V4L2支持三种方式来采集图像:内存映射方式(mmap)、直接读取方式(read)和用户指针;

yzw_yy的博客 5581

高通平台Camera Sensor驱动从V4L2到CamX架构全解析

在摄像头驱动开发中,传感器驱动是决定成像链路稳定性的关键环节,它负责初始化图像传感器、配置上电时序与通信接口,是相机系统正常工作的基石。随着移动平台架构演进,传感器驱动实现方式从内核态V4L2框架逐步迁移至用户态CamX架构,这一变化不仅降低了内核崩溃风险,也提升了模块化配置的灵活性。实际工程中,Camera Bringup常涉及MIPI信号调试、CCI/I2C通信校验、GPIO复用冲突以及设备树参数匹配等复杂问题,需要借助示波器、逻辑分析仪及日志工具进行多维度排查。本文基于高通从MSM8953到SM825

weixin_29189373的博客 308

Linux下v4l2-camera子系统之soc_camera_host(三)

Linux下v4l2-camera子系统之soc_camera_host(三) 平台:君正x1000 linux kernel: 3.10 camera sensor:ov7725 上节分析了camera_device感觉并没接触到核心,那么camera_host就该完成关键代码了。 Camera_host设备 static struct resource jz_cim_resources[] = { [0] = { .flags = IORESOURCE_MEM, .start = CIM_IO

weixin_44139476的博客 988

camera调试:RK3588如何点亮一个sensor?

rk平台,添加点亮一个新的camera调试。

qq_34341546的博客 1万+

Camera、Sensor与V4L2:从镜头到像素的完整协同链路解析

在嵌入式Linux与Android相机开发中,一条图像数据从物理光线变为屏幕画面,需跨越光学、模拟电路、数字逻辑与内核框架等多层协作。理解Camera子系统、Sensor感光芯片与V4L2视频框架之间的分工与边界,是定位黑屏、花屏、掉帧等疑难问题的关键。Camera整体由Sensor、ISP、V4L2及HAL构成,Sensor负责光电转换输出Raw数据,ISP完成色彩与降噪处理,V4L2则作为内核视频调度中枢管理Buffer流转与Streaming状态机。这种分层解耦设计让不同厂商部件可灵活替换,但调试时必

weixin_29189381的博客 305

camera驱动调试:sensor驱动移植

本文详细介绍了基于V4L2框架和I2C设备的新传感器驱动移植步骤。主要内容包括:1)I2C子设备驱动实现,需完成结构体成员定义和probe函数;2)V4L2子设备实现,需配置核心操作、视频操作和pad操作回调;3)初始化配置序列和上下电时序实现;4)曝光、增益等关键控制寄存器配置方法;5)MIPI时钟与像素时钟设置。文章以具体传感器为例,阐述了驱动开发中的关键点和注意事项,为开发者移植新传感器驱动提供了系统性的指导方案。

qq_34341546的博客 2474

深入Linux V4L2主从设备通信机制:从Camera Host控制器到Sensor的完整数据流分析

本文深入解析Linux V4L2子系统中的主从设备通信机制,详细分析从Camera Host控制器到Sensor的完整数据流。通过架构设计、数据结构解析和通信机制剖析,揭示V4L2如何实现硬件无关性和动态组合,并以RK3588平台为例展示实际应用场景,为开发者提供全面的技术参考和优化建议。

weixin_28475533的博客 381

Camera Sensor与V4L2协同:从光子到像素的完整链路解析

在嵌入式Linux与Android相机开发中,理解从硬件到软件的视频采集链路至关重要。图像传感器(Sensor)负责将光信号转换为RAW数据,ISP完成色彩处理,而V4L2作为内核标准接口,将复杂的硬件操作抽象为统一的设备节点。本文从CMOS Sensor的工作原理入手,讲解曝光、增益、帧率控制及镜头匹配关键参数,随后深入V4L2驱动框架,解析subdev模型、缓冲区管理和核心ioctl流程,最后结合应用层实战与高频踩坑记录,展示如何高效调试图像异常。无论是驱动移植、Sensor调试还是相机项目开发,掌握这

weixin_31858171的博客 315

Linux设备驱动之Camera驱动

Linux Camera驱动框架

chengwei_peng 9918

rk3128 camera sensor的注册

rk3128

liujun502589075的专栏 2286

camera调试:serdes camera调试

RK3588 camera serdes 调试

qq_34341546的博客 9532

一文读懂V4L2(Video for Linux 2)框架

V4L2(Video for Linux 2)是Linux操作系统中用于支持摄像头和视频设备的框架。它提供了一组API和驱动程序接口,用于在Linux系统中进行视频采集、视频流处理和视频播放等操作。设备抽象层:V4L2框架提供了一个设备抽象层,使得应用程序可以与各种不同类型的视频设备进行通信,包括摄像头、视频采集卡等。统一的控制接口:V4L2定义了一套统一的控制接口,可以通过这些接口来配置和调整视频设备的各种参数,比如亮度、对比度、饱和度等。

小灰灰的博客 4879

【军标】《军用软件计价规范(试行)》和GJB 10162-2021《军用软件计价功能项识别方法》-费用标准解读系列37

2021年2月1日实施的《军用软件计价规范(试行)》(替代了2019年版本)以及2021年3月1日实施的《军用软件计价功能项识别方法》(GJB 10162-2021),是我们平时在军用软件造价咨询中进行软件规模度量、计价和审价的主要依据。《军用软件计价规范(试行)》(4号文)的附件1为《军用软件功能规模度量方法》,即4号文本身包含对软件规模测试的方法(功能点方法主要参考NESMA等国际标准)、规模度量过程、功能点计数和计算规则等相关说明。(四)软件研发费用=软件研发工作量x软件研发人月综合费率。

xiaosenyouli的博客 6167

经典驱动案例分析-V4L2的Camera子系统

一 简介 1 V4L2 定义:V4L2(Video ForLinux Two) 是内核提供给应用程序访问音、视频驱动的统一接口。 核心:v4L2的核心源码位于drivers/media/v4l2-core 应用:V4L2是linux操作系统下用于采集图片、视频和音频数据的API接口,配合适当的视频采集设备和相应的驱动程序,可以实现图片、视频、音频等的采集。在远程会议、可视电话、视频监控系统和嵌入式多媒体终端中都有广泛的应用。 基础结构: [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(

weixin_42534168的博客 1064

常见的AXI总线仲裁器概述-AXI协议理解(一)

SoC 设计广泛采用共享总线式的片上通信,其中的仲裁器是共享总线的关键技术之一。AMBA AXI 总线协议以高性能、高频率的系统设计为目标,适合高带宽、低延迟的系统设计,可以达到高频率的操作而不需要复杂的总线桥,满足众多部件的接口要求,具备高度灵活的互联结构,并且向后兼容 AHB 和 APB 接口。

Paul 安的博客 1万+

高通msm-V4L2-Camera驱动浅析1-初识

前言 V4L2是 linux 设备设计的一套视频框架,网上已经有很多博文可以研究学习。 V4L2源码路径:kernel/msm-4.9/drivers/media/v4l2-core 阅读本文之前,需要对V4L2有一定的了解。 推荐一些不错的V4L2文章0.V4L2_htjacky的专栏-CSDN博客1.v4l2的学习建议和流程解析 - silenceer - 博客园 (cnblogs.com)2.linux内核之 V4L2框架分析_zhc的博客-CSDN博客_v4l2 框架3.深入学习Linux摄像头

转载和创作优秀的博客 1909

Spring WebFlux响应式编程实战(三):优雅处理异常与高效调试技巧

本文深入探讨了Spring WebFlux响应式编程中的异常处理与调试技巧。文章通过电商订单流处理场景,详细解析了Reactor核心操作符onErrorReturn、onErrorResume和onErrorMap的实战应用,并介绍了如何构建@ControllerAdvice和WebExceptionHandler全局异常处理防线。同时,提供了使用.log()操作符、Hooks.onOperatorDebug()及BlockHound进行高效调试的方法,旨在帮助开发者构建健壮、可维护的响应式应用。

weixin_29252171的博客 69

通信原理期末考试试题及答案

五、(总分12分)设某信道具有均匀的的双边噪声功率谱密度在该信道中传输抑制载波的单边带(上边带)信号,并设调制信号m(t)的频带限制在5K HZ,而载波为100 K HZ,已调信号的功率为10KW。:(1)单边带信号的载频为100kHz,带宽B=5kHz,为使信号顺利通过,理想带通滤波器的中心频率为。8、对最高频率为fH的调制信号m(t)分别进行AM、DSB、SSB调制,相应已调信号的带宽分别为。7、设调制信号为f(t)载波为,则抑制载波双边带调幅信号的时域表达式为,频域表达式为。

qq_67692062的博客 2398

Camera sensor 基本知识

一、Camera 工作原理介绍 1. 结构 . 一般来说,camera 主要是由 lens 和 sensor IC 两部分组成,其中有的 sensor IC 集成 了 DSP,有的没有集成,但也需要外部 DSP 处理。细分的来讲,camera 设备由下边几部 分构成: 1) lens(镜头) 一般 camera 的镜头结构是有几片透镜组成,分有塑胶透镜(Plastic)和玻璃透 镜(Glas

jo_joe的博客 2万+

微信公众号数据采集实战:历史文章、互动数据与评论详情全解析

本文提供了一套完整的微信公众号数据采集实战方案,详细解析了如何通过接口调用获取公众号的历史文章列表、单篇文章的互动数据以及详细的用户评论。文章从环境准备、核心参数解析到分页逻辑、批量处理和异常处理,提供了可运行的Python代码示例,旨在帮助开发者高效、稳定地构建自动化采集工具,用于竞品分析、内容研究和舆情监控。

u5v6w7的博客 1608
下一篇: isp概要介绍
梁洪飞
博客等级 码龄18年 150粉丝 33原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值