【Linux驱动】Linux--V4L2视频驱动框架

V4L2系列 之 V4L2驱动框架 本篇文章主要介绍Linux内核中的V4L2框架,本篇文章所用内核版本:linux-4.19v4L2 (Video for Linux 2),是linux的一套视频框架,共主体位于内核,可以理解为是整个linux系统上面的视频源捕获驱动框架。其广泛应用在嵌入式设备、移动端以及个人电脑设备上面,市而上使用视频图像采集的设备如:手机、IPC、行车记录仪都会用到这个框架来进行视频采集。v4L2允许 应用程序 控制图像传感器以及传输格式,应用程序 借此完成拍照、预览、视频记录等图像传感器数据应用。 阅读详情

Linux–V4L2驱动框架

一、V4L2 框架

v4l2驱动框架主要的对象有video_device、v4l2_device、v4l2_subdev、videobuf

  • video_device

    一个字符设备,为用户空间提供设备节点(/dev/videox),提供系统调用的相关操作(open、ioctl…)

  • v4l2_device

    嵌入到video_device中,表示一个v4l2设备的实例

  • v4l2_subdev

    依附在v4l2_device之下,并表示一个v4l2设备的子设备,一个v4l2_devide下可以有多个sub_device

  • videobuf

    v4l2驱动的缓存管理

v4l2_device和v4l2_subdev的关系:

subdev的设计目的是为了多路复用,就是用一个v4l2_device可以挂接多个v4l2_subdev。所谓的多路复用就是使用一个摄像头控制器来控制多个摄像头。比如手机上有前置和后置摄像头。

在V4L2驱动中,使用v4l2_device来表示摄像头控制器(ISP)。使用v4l2_subdev来表示具体的某一个摄像头(Sensor)。

对于手机而言 ,一般都有两个摄像头,一个前置摄像头,一个后置摄像头,其接发下图所示

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mhEUpd9Q-1679823694000)(image/Linux之V4L2视频应用驱动/20190815164203333.png)]

在V4L2驱动中,使用v4l2_device来表示摄像头控制器

使用v4l2_subdev来表示具体的某一个摄像头的I2C控制模块,进而通过其控制摄像头

v4l2_device里有一个v4l2_subdev链表,可以选择v4l2_device去控制哪一个v4l2_subdev

v4l2框架图如下:

二、V4L2驱动主要数据结构

V4l2驱动的代码在drivers\media\v4l2-core文件夹下

  1. videobufxx_xxx.c系列文件是用于实现视频的内存分配,videobuf2_xxx系列文件是对应v4l2,而videobuf_xxx系列文件是对应于v4l(video for linux version1)。
  2. v4l2-dev.c对应于video_device的实现。
  3. v4l2-device.c对应 v4l2_device的实现。
  4. v4l2-ioctl.c对应 ioctl的实现。
  5. v4l2-subdev.c对应 42vl_subdev的实现等等。
  • struct video_device
  • video_device是个字符设备,保存管理V4l2_device设备数据。 包含底层驱动结构体v4l2_device以及为上层提供的接口cdev。
  • 应用层通过/dev/videoX的文件操作会调用video_device的v4l2_file_operations结构体中指向的函数。
  • V4L2的ioctl很复杂,应用层调用ioctl会调用到v4l2_ioctl_ops结构体中指向的函数。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gCC1pW6u-1679823694002)(image/Linux之V4L2视频应用驱动/1679802252106.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ktzeoCfO-1679823694003)(image/Linux之V4L2视频应用驱动/1679802627676.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WuDmXTKr-1679823694003)(image/Linux之V4L2视频应用驱动/1679802655865.png)]

  • struct v4l2_device
    • 代表一个v4l2设备,保存设备实例的数据
    • v4l2_device中有一个链表 ,挂载着v4l2_subdev,用于管理v4l2_subdev

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5z7I4O6q-1679823694004)(image/Linux之V4L2视频应用驱动/1679801446289.png)]

  • struct v4l2_subdev
  • sub-devices子设备,代表实实在在的camera等传感器设备。驱动需要与子设备进行通信,这些子系统一般情况下就是音频处理,编解码器等,camera常见的子设备有传感器和摄像头控制器,为了方便代码管理,内核v4l2提供了一个统一的接口给这些子设备,即v4l2_sbudev结构体。
  • v4l2_subdev内有一个链表节点,可以链接至 v4l2_device。
  • v4l2_subdev有v4l2_device指针,表示属于哪个v4l2_device。
  • v4l2_subdev_ops为v4l2_subdev的具体功能实现。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cLPshbGD-1679823694005)(image/Linux之V4L2视频应用驱动/1679802947458.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-J1CaZzZ5-1679823694006)(image/Linux之V4L2视频应用驱动/1679803243676.png)]

三、V4L2提供的外部接口

  • struct video_device (在v4l2-dev.h文件中)
static inline int __must_check video_register_device(struct video_device *vdev,
						     enum vfl_devnode_type type,
						     int nr)
    
void video_unregister_device(struct video_device *vdev);
  • **struct v4l2_device ** (在v4l2-device.h中)
int __must_check v4l2_device_register(struct device *dev,
				      struct v4l2_device *v4l2_dev);


void v4l2_device_unregister(struct v4l2_device *v4l2_dev);
  • struct v4l2_subdev (在v4l2-device.h中)
int __must_check v4l2_device_register_subdev(struct v4l2_device *v4l2_dev,
					     struct v4l2_subdev *sd);

void v4l2_device_unregister_subdev(struct v4l2_subdev *sd);

四、V4L2驱动框架模板

步骤:

  • 分配设置video_device结构体,包括.fops以及.ioctl_ops
  • 初始化v4l2_device结构体(代表一个v4l2设备)
  • 注册video_device结构体(video_device是内核对v4l2_device的官方封装,用于管理v4l2_device数据),向上层用户提供访问接口
#include <...>

static struct video_device* video_dev;
static struct v4l2_device v4l2_dev;

/* 实现各种系统调用 */
static const struct v4l2_file_operations video_dev_fops = {
	.owner		    = THIS_MODULE,
	.release        = vdev_close,
	.read           = vdev_read,
	.poll		    = vdev_poll,
	.ioctl          = video_ioctl2,
	.mmap           = vdev_mmap,
};

/* 实现各种系统调用 */
static const struct v4l2_ioctl_ops video_dev_ioctl_ops = {
	.vidioc_querycap      = vidioc_querycap,
	.vidioc_enum_fmt_vid_cap  = vidioc_enum_fmt_vid_cap,
	.vidioc_g_fmt_vid_cap     = vidioc_g_fmt_vid_cap,
	.vidioc_try_fmt_vid_cap   = vidioc_try_fmt_vid_cap,
	.vidioc_s_fmt_vid_cap     = vidioc_s_fmt_vid_cap,
	.vidioc_reqbufs       = vidioc_reqbufs,
	.vidioc_querybuf      = vidioc_querybuf,
	.vidioc_qbuf          = vidioc_qbuf,
	.vidioc_dqbuf         = vidioc_dqbuf,
	.vidioc_enum_input    = vidioc_enum_input,
	.vidioc_g_input       = vidioc_g_input,
	.vidioc_s_input       = vidioc_s_input,
	.vidioc_streamon      = vidioc_streamon,
	.vidioc_streamoff     = vidioc_streamoff,
};

static int __init video_init(void)
{
    /* 分配并设置一个video_device */
    video_dev = video_device_alloc();
    video_dev->fops = &video_dev_fops;
    video_dev->ioctl_ops = &video_dev_ioctl_ops;
    video_dev->release = video_device_release;
    video_dev->tvnorms = V4L2_STD_525_60;
    video_dev->current_norm = V4L2_STD_NTSC_M;

    /* 注册一个v4l2_device */
    v4l2_device_register(video_dev->dev, &v4l2_dev);    
    video_dev->v4l2_dev = &v4l2_dev;

    /* 注册一个video_device字符设备 */
    video_register_device(video_dev, VFL_TYPE_GRABBER, -1);

    return 0;
}

static void __exit video_exit(void)
{
    video_unregister_device(video_dev);
    v4l2_device_unregister(&v4l2_dev);
    video_device_release(video_dev);
}


module_init(video_init);
module_exit(video_exit);

五、虚拟摄像头驱动

驱动位于drivers\media\platform\vivid文件夹下

【转载】Linux摄像头驱动1——vivid_linux 摄像头驱动_seiyaaa的博客-CSDN博客

参考资料

摄像头驱动——V4L2框架分析 - 朱果果 - 博客园 (cnblogs.com)

Linux V4l2驱动 – 框架概述 - 忆云竹 (eyunzhu.com)

深入学习Linux摄像头(二)v4l2驱动框架_v4l2_subdev_ops_JT同学的博客-CSDN博客

V4L2框架解析 和你一起终身学习,这里是程序员Android经典好文推荐,通过阅读本文,您将收获以下知识点:一、概览二、流程简介三、关键结构体四、模块初始化五、处理用户空间请求一、概览相机驱动层位于HAL Moudle与硬件层之间,借助linux内核驱动框架,以文件节点的方式暴露接口给用户空间,让HAL Module通过标准的文件访问接口,从而能够将请求顺利地下发到内核中,而在内核中,为了更好的支持视频流的操作,... 阅读详情

相关推荐

Linux驱动框架之v4l2视频驱动框架解析

一、简介 v4l2是专门为linux设备设计的一套视频框架,其主体框架在linux内核,可以理解为是整个 linux 系统上面的视频源捕获驱动框架。其广泛应用在嵌入式设备以及移动端、个人电脑设备上面,市面上的编码产品类如:SDV、手机、IPC、行车记录仪都会用到这个框架来进行视频采集。 二、V4l2框架的结构 v4l2的核心源码位于linux/drivers/media/v4l2-core。 2.1、相关对象 v4l2驱动框架主要的对象有vi...

陈子陌的博客 6024

V4l2框架分析

1. V4L2框架概述 1.1 v4l2设备应用层流程 1.2 内核V4L2模块 2 2. video_device 2.1图像处理模块 2.2 video注册流程 3. videobuf2 3.1 与video device的关系: 3.2 buffer类型 3.3 vb2_ops回调函数 3.4 mmap 流程...

welljrj的博客 8964

V4L2框架深度解析:从设备树到视频流的Linux内核驱动实践

本文深度解析Linux V4L2框架,从设备树配置到视频流驱动的完整实现。详细介绍了video_device结构体、videobuf2缓冲区管理和v4l2_subdev架构,涵盖媒体控制器框架和实战案例,帮助开发者掌握Linux内核视频驱动开发核心技术。

u6v7w8x的博客 1054

【音视频开发】Linux V4L2 (Video for Linux 2) 驱动框架深度解析白皮书

摘要: 本文深度解析Linux V4L2驱动框架,涵盖其技术背景、架构设计及核心实现。V4L2作为Linux视频处理标准接口,提供统一的硬件无关API,支持多平面格式、硬件编解码等高级特性。采用分层架构设计,包含设备节点管理(video_device)、视频缓冲队列(videobuf2)、控制接口(v4l2_ctrl_handler)和子设备(v4l2_subdev)等核心组件,结合Media Controller实现复杂拓扑管理。通过源码分析展示了v4l2_device初始化和video_device注册

love131452098的博客 1407

深入剖析Linux V4L2视频驱动框架:从架构设计到实战应用

本文深入剖析了Linux V4L2视频驱动框架的架构设计与实战应用。V4L2作为Linux内核中统一的多媒体设备驱动框架,通过核心层与设备层的分层模型,以及video_device、v4l2_subdev等核心对象的协作,实现了对摄像头等视频硬件的抽象与管理。文章结合代码示例,详解了从驱动注册、格式设置到缓冲区管理的完整流程,并提供了实用的调试技巧,是深入理解Linux视频子系统开发的必备指南。

weixin_29192365的博客 291

Linux V4L2框架实战:从摄像头驱动到视频采集的完整流程解析

本文深入解析了Linux V4L2框架的完整实战流程,涵盖从摄像头驱动初始化到用户空间视频采集的核心步骤。详细阐述了v4l2_device、v4l2_subdev和video_device三大核心结构体的关系与职责,并重点剖析了videobuf2内存管理机制及用户空间通过MMAP模式高效采集视频数据的标准流程,为嵌入式Linux视频开发提供实践指导。

weixin_28278377的博客 223

Linux V4L2 视频采集框架深度解析:从 sensor 驱动到用户态 DQBUF 的完整视频管线分析

V4L2 是分层设计的典范:v4l2_subdev 抽象传感器控制,video_device 提供用户态接口,videobuf2 管理缓冲区,三层解耦支持灵活的拓扑。MMAP 是默认首选模式:零拷贝、低延迟,适合单设备采集。需要跨设备共享帧时升级为 DMABUF 模式。帧数据的完整流转链路:sensor 曝光 → MIPI 传输 → bridge 驱动的 ISP 管线 → DMA 写入 vb2_buffer → 中断通知 buf_done → 用户态 DQBUF 取出。关键 ioctl 序列。

qq_42431428的博客 4840

深入解析Linux V4L2框架:从设备驱动到视频编解码实战

本文深入解析Linux V4L2框架,从设备驱动到视频编解码实战,详细介绍了V4L2的核心组件、设备类型及M2M设备工作原理。通过实际代码示例和调试技巧,帮助开发者掌握视频采集、编解码及性能优化技术,提升在嵌入式系统中的视频处理效率。

weixin_29243279的博客 867

TP9930 视频解码芯片的 Linux 驱动调试:V4L2 框架与设备树实战

嵌入式视频采集场景中,模拟高清输入芯片往往需要通过 Linux 内核驱动接入 V4L2 框架才能正常出图。TP9930 这类视频解码芯片在驱动开发与移植时,依赖 I2C 子设备注册、设备树端点匹配以及媒体控制器拓扑连接等多层机制。理解其原理与调试方法,能显著缩短驱动适配和问题定位周期,广泛适用于安防监控、车载影像、工业视觉等实际工程。本文围绕一份典型的 tp28xx 平台驱动包,梳理从解压编译、设备树节点配置到模块加载、media-ctl 管道验证的完整链路,并结合常见 probe 失败、信号失锁、花屏等血

weixin_29196315的博客 225

韦东山第3期嵌入式Linux项目-视频监控-1-v4l2视频框架分析

韦东山第3期嵌入式Linux项目-视频监控-1 硬 件 :电脑、 JZ2440 开发板、 UVC 摄像头(推荐使用) 系 统 : Ubuntu9.10// 即光盘提供的那个虚拟机系统 Uboot : u-boot-2012.04.01 // 即毕业班移植新 uboot 那个 Kernel : linux-3.4.2 // 即毕业班移植新内核那个文件系统: fs_mini_mdev_new.tar...

Iron_man的博客 6946

linux V4L2子系统——v4l2架构(1)之整体架构

V4L(Video for Linux)是Linux内核中关于视频设备的API接口,涉及视频设备的音频和视频信息采集及处理、视频设备的控制。V4L出现于Linux内核2.1版本,经过修改bug和添加功能,Linux内核2.5版本推出了V4L2(Video for Linux Two)子系统,功能更多且更稳定。...

枫潇潇 7996

V4L2框架深度解析:OV5640如何通过子设备驱动融入Linux视频生态

本文深度解析V4L2框架下OV5640摄像头通过子设备驱动集成到Linux视频生态的技术细节。详细介绍了子设备驱动模型、硬件抽象、操作集分工及媒体控制器框架下的数据流集成,为嵌入式开发者提供OV5640摄像头驱动的实战指南和调试方法。

www00的博客 158

一文读懂V4L2(Video for Linux 2)框架

V4L2(Video for Linux 2)是Linux操作系统中用于支持摄像头和视频设备的框架。它提供了一组API和驱动程序接口,用于在Linux系统中进行视频采集、视频流处理和视频播放等操作。设备抽象层:V4L2框架提供了一个设备抽象层,使得应用程序可以与各种不同类型的视频设备进行通信,包括摄像头、视频采集卡等。统一的控制接口:V4L2定义了一套统一的控制接口,可以通过这些接口来配置和调整视频设备的各种参数,比如亮度、对比度、饱和度等。

小灰灰的博客 4879

linux V4L2框架 视频驱动

xyc310898673的专栏 477

Linux:V4L2应用及框架分析

文章目录1、V4L2简介1.1 来自内核文档的介绍1.2 V4L2支持设备1.3 V4L2驱动框架提供的ioctl选项2、从应用层看V4L2视频捕获功能2.1 相关操作步骤2.1.1 打开设备:open2.1.2 查询设备性能:VIDIOC_QUERYCAP2.1.3 枚举格式:VIDIOC_ENUM_FMT2.1.4 设置格式:VIDIOC_S_FMT2.1.5 “请求”缓存:VIDIOC_REQBUFS2.1.6 查询/映射缓存:VIDIOC_QUERYBUF2.1.7 将缓存放入队列:VIDIOC_Q

weixin_44498318的博客 694

Xarray实战:从气象数据到可视化分析的完整流程(附Python代码)

本文详细介绍了使用Xarray库处理气象数据的完整实战流程。针对气象领域常见的NetCDF和GRIB格式,文章从数据读取、坐标操作、智能索引、统计计算到高级可视化,提供了完整的Python代码示例。重点阐述了Xarray如何高效处理高维标记数据,帮助地球科学领域的研究人员将繁琐的数据处理工作转化为高效的分析流水线。

d6e7f8g9h的博客 296
上一篇: 【Linux应用】Linux--V4L2摄像头应用编程
下一篇: 【转载】全志的 Linux 内核后门分析
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ssq不是上上签

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值