[分享] -- V4L2 框架分析及使用流程分析

V4L2框架解析 和你一起终身学习,这里是程序员Android经典好文推荐,通过阅读本文,您将收获以下知识点:一、概览二、流程简介三、关键结构体四、模块初始化五、处理用户空间请求一、概览相机驱动层位于HAL Moudle与硬件层之间,借助linux内核驱动框架,以文件节点的方式暴露接口给用户空间,让HAL Module通过标准的文件访问接口,从而能够将请求顺利地下发到内核中,而在内核中,为了更好的支持视频流的操作,... 阅读详情

分享一篇写的很好的V4L2文章

一、概述

Video4Linux2 是 Linux 内核中关于视频设备的内核驱动框架,为上层的访问底层的视频设备提供了统一的接口。凡是内核中的子系统都有抽象底层硬件的差异,为上层提供统一的接口和提取出公共代码避免代码冗余等好处。就像公司的老板一般都不会直接找底层的员工谈话,而是找部门经理了解情况,一个是因为底层屌丝人数多,意见各有不同,措辞也不准,部门经理会把情况汇总后再向上汇报;二是老板时间宝贵。

V4L2 支持三类设备:视频输入输出设备、VBI设备和 radio 设备(其实还支持更多类型的设备,暂不讨论),分别会在 /dev 目录下产生 videX、radioX 和 vbiX 设备节点。我们常见的视频输入设备主要是摄像头,也是本文主要分析对象。

1.1 Linux 系统中视频输入设备主要包括一下四个部分:

字符设备驱动程序核心:V4L2 本身就是一个字符设备,具有字符设备所有的特性,暴露接口给用户空间;

V4L2驱动核心:主要是构建一个内核中标准视频设备驱动的框架,为视频操作提供统一的接口函数;

平台 V4L2 设备驱动:在 V4L2 框架下,根据平台自身的特性时间与平台相关的 V4L2 驱动部分,包括注册 video_device 和 v4l2_dev。

具体的 sensor 驱动:主要上电、提供工作时钟、视频图像裁剪、流 IO 开启等,实现各种设备控制方法供上层调用并注册 v4l2_subdev。

1.2 V4L2 的核心源码位于 drivers/media/v4l2-core,源码以实现的功能可以划分为四类:

核心模块实现:由 v4l2-dev.c 实现,主要作用申请字符主设备号、注册 class 和提供 video device 注册注销等相关函数;

V4L2 框架:由 v4l2-device.c、v4l2-subdev.c、v4l2-fh.c、v4l2-ctrls.c 等文件实现,构建 V4L2 框架;

Videobuf 管理:由 videobuf2-core.c、videobuf2-dma-config.c、videobuf2-dma-sg.c、videobuf2-memops.c、videobuf2-vmalloc.c、v4l2-mem2mem.c 等文件实现,完成 videobufffer 的分配、管理和注销。

Ioctl 框架:由v4l2-ioctl.c 文件实现,构建 V4L2 ioctl 的框架。

二、V4L2 框架

2.1 结构框架图

结构体 v4l2_device、video_device、v4l2_subdev 和 v4l2_fh 是搭建框架的主要元素。下图是 V4L2 框架的结构图:

从上图 V4L2 框架是一个标准的树形结构,v4l2_device 充当了父设备,通过链表把所有注册到其下的子设备管理起来,这些设备可以是 GRABBER、VBI 和 RADIO。v4l2_subdev 是子设备,v4l2_subdev 结构体包含了对设备操作的 ops 和 ctrls,这部分代码和硬件相关,需要驱动工程师根据硬件实现,像摄像头设备需要实现控制上下电、读取 ID、饱和度、对比度和视频数据流打开关闭的接口函数。

Video_device 用于创建子设备节点,把操作设备的接口暴露给用户空间。v4l2_fh 是每个子设备的文件句柄,在打开设备节点文件时设置,方便上层索引到 v4l2_ctrl_handler,v4l2_ctrl_handler 管理设备的 ctrls,这些 ctrls(摄像头设备)包括调节饱和度、对比度和白平衡等。

2.2 v4l2_device

v4l2_device 在 v4l2 框架中充当所有 v4l2_subdev 的父设备,管理这注册在其下的子设备。以下是 v4l2_device 结构体原型(去掉了无关的成员):

 
  1. struct v4l2_device {

  2. struct list_head subdevs; //用链表管理注册的 subdev

  3. char name[V4L2_DEVICE_NAME_SIZE]; //device 名字

  4. struct kref ref; //引用计数

  5. ... ...

  6. };

可以看出 v4l2_device 的主要作用是管理注册在其下的子设备,方便系统查找引用到。

v4l2_device 的注册和注销:

 
  1. int v4l2_device_register(struct device *dev, struct v4l2_device *V4l2_dev);

  2. static void v4l2_device_release(struct kref *ref);

2.3 V4l2_subdev

v4l2_subdev 代表子设备,包含了子设备的相关属性和操作。先来看下结构体原型:

 
  1. struct v4l2_subdev {

  2. struct v4l2_device *v4l2_dev; //指向父设备

  3. const struct v4l2_subdev_ops *ops; //提供一些控制 v4l2 设备的接口

  4. const struct v4l2_subdev_internal_ops; *internal_ops; //向 v4l2 框架提供的接口函数

  5. //subdev 控制接口

  6. struct v4l2_ctrl_handler *ctrl_handler;

  7. /* name nust be unique */

  8. char name[V4L2_SUBDEV_NAME_SIZE];

  9. /* subdev device node */

  10. struct video_device *devnode;

  11. };

每个子设备驱动都需要实现一个 v4l2_subdev 结构体,v4l2_subdev 可以内嵌到其它结构体中,也可以独立使用。结构体中包含了对子设备操作的成员 v4l2_subdev_ops 和 v4l2_subdev_internal_ops。

v4l2_subdev_ops 结构体原型如下:

 
  1. struct v4l2_subdev_ops {

  2. const struct v4l2_subdev_core_ops *core; //视频设备通用的操作:初始化、加载FW、上电和 RESET 等

  3. const struct v4l2_subdev_tuner_ops *tuner; //tuner 特有的操作

  4. const struct v4l2_subdev_audio_ops *audio; //audio 特有的操作

  5. const struct v4l2_subdev_video_ops *video; //视频设备的特有操作:设置帧率,裁剪图像、开关视频流等

  6. ... ...

  7. };

视频设备通常需要实现 core 和 video 成员,这个两个 ops 中的操作都是可选的,但是对于视频流设备 video->s_stream(开启或关闭流 IO)必须要实现。

v4l2_subdev_internal_ops 结构体原型如下:

 
  1. struct v4l2_subdev_internal_ops {

  2. //当 subdev 注册时被调用,读取 IC 的 ID 来进行识别

  3. int (*registered)(struct v4l2_subdev *sd);

  4. void (*unsigned)(struct v4l2_subdev *sd);

  5. //当设备节点被打开时调用,通常会给设备上电和设置视频捕捉 FMT

  6. int (*open)(struct v4l2_subdev *sd, struct v4l2_subdev_fh *fh);

  7. int (*close)(struct v4l2_subdev *sd, struct v4l2_subdev_fh *fh);

  8. };

v4l2_subdev_internal_ops 是向 V4L2 框架提供的接口,只能被 V4L2 框架层调用。在注册或打开子设备时,进行一些辅助性操作。

subdev 的注册和注销:当我们把 v4l2_subdev 需要实现的成员都已经实现,就可以调用以下函数把子设备注册到 V4L2 核心层:

int v4l2_device_register_subdev(struct v4l2_device *v4l2_dev, struct v4l2_subdev *sd);

当卸载子设备时,可以调用以下函数进行注销:

void v4l2_device_unregister_subdev(struct v4l2_subdev *sd);

2.4 video_device

video_device 结构体用于在 /dev 目录下生成设备节点文件,把操作设备的接口暴露给用户空间。

 
  1. struct video_device {

  2. const struct v4l2_file_operations *fops;

  3. /* sysfs */

  4. struct device dev; /* v4l device */

  5. struct cdev *cdev; // 字符设备

  6. /* Seteither parent or v4l2_dev if your driver uses v4l2_device */

  7. struct device *parent; /* device parent */

  8. struct v4l2_device *v4l2_dev; /* v4l2_device parent */

  9. /* Control handler associated with this device node. May be NULL */

  10. struct v4l2_ctrl_handler *ctrl_handler;

  11. /* 指向 video buffer 队列 */

  12. struct vb2_queue *queue;

  13. int vfl_type; /* device type */

  14. int minor; //次设备号

  15. /* V4L2 file handles */

  16. spin lock_t fh_lock; /* lock for all v4l2_fhs */

  17. struct list_head fh_list /* List of struct v4l2_fh */

  18. /* ioctl 回调函数集,提供 file_operations 中的 ioctl 调用 */

  19. const struct v4l2_ioctl_ops *ioctl_ops;

  20. ... ...

  21. };

video_device 分配和释放,用于分配和释放 video_device 结构体:

 
  1. struct video_device *video_device_alloc(void);

  2. void video_device_release(struct video_device *vdev);

video_device 注册和注销,实现 video_device 结构体的相关成员后,就可以调用下面的接口进行注册:

 
  1. static inline int __must_checkvideo_register_device(struct video_device *vdev, int type, int nr);

  2. void void_unregister_device(struct video_device *vdev);

vdev:需要注册和注销的 video_device;

type:设备类型,包括 VFL_TPYE_GRABBER、VFL_TYPE_VBI、VFL_TYPE_RADIO 和 VFL_TYPE_SUBDEV。

nr:设备节点名编号,如 /dev/video[nr]。

2.4 v4l2_fh

v4l2_fh 是用来保存子设备的特有操作方法,也就是下面要分析到的 v4l2_ctrl_handler,内核提供一组 v4l2_fh 的操作方法,通常在打开设备节点时进行 v4l2_fh 注册。

初始化 v4l2_fh,添加 v4l2_ctrl_handler 到 v4l2_fh:

void v4l2_fh_init(struct v4l2_fh *fh, struct video_device *vdev);

添加 v4l2_fh 到 video_device,方便核心层调用到:

void v4l2_fh_add(struct v4l2_fh *fh);

2.5 v4l2_ctrl_handler

v4l2_ctrl_handler 是用于保存子设备控制方法集的结构体,对于视频设备这些 ctrls 包括设置亮度、饱和度、对比度和清晰度等,用链表的方式来保存 ctrls,可以通过 v4l2_ctrl_new_std 函数向链表添加 ctrls。

struct v4l2_ctrl *v4l2_ctrl_new_std(struct v4l2_ctrl_handler *hdl, const struct v4l2_ctrl_ops *ops, u32 id, s32 min, s32 max, u32 step, s32 def);

hdl 是初始化好的 v4l2_ctrl_handler 结构体;

ops 是 v4l2_ctrl_ops 结构体,包含 ctrls 的具体实现;

id 是通过 IOCTL 的 arg 参数传过来的指令,定义在 v4l2-controls.h 文件;

min、max 用来定义某操作对象的范围。如:

v4l2_ctrl_new_std(hdl, ops, V4L2_CID_BRIGHTNESS, -208, 127, 1, 0);

用户空间可以通过 ioctl 的 VIDIOC_S_CTRL 指令调用到 v4l2_ctrl_handler,id 透过 arg 参数传递。

三、ioctl 框架

你可能观察到用户空间对 V4L2 设备的操作基本都是 ioctl 来实现的,V4L2 设备都有大量可操作的功能(配置寄存器),所以 V4L2 的 ioctl 也是十分庞大的。它是一个怎样的框架,是怎么实现的呢?

Ioctl 框架是由 v4l2_ioctl.c 文件实现,文件中定义结构提数组 v4l2_ioctls,可以看做是 ioctl 指令和回调函数的关系表。用户空间调用系统调用 ioctl,传递下来 ioctl 指令,然后通过查找此关系表找到对应回调函数。

以下是截取的数组的两项:

 
  1. IOCTL_INFO_FNC(VIDIOC_QUERYBUF, v4l2_querybuf, v4l_printf_buffer, INFO_FL_CLEAR(v4l2_buffer, length)),

  2. IOCTL_INFO_STD(VIDIOC_G_FBUF, vidioc_g_fbuf, v4l_print_framebuffer, 0),

内核提供两个宏(IOCTL_INFO_FNC 和 IOCTL_INFO_STD)来初始化结构体,参数依次是 ioctl 指令、回调函数或者 v4l2_ioctl_ops 结构体成员、debug 函数、flag。如果回调函数是 v4l2_ioctl_ops 结构体成员,则使用 IOCTL_INFO_STD;如果回调函数是 v4l2_ioctl.c 自己实现的,则使用 IOCTL_INFO_FNC。

IOCTL 调用的流程图如下:

用户空间通过打开 /dev/ 目录下的设备节点,获取到文件的 file 结构体,通过系统调用 ioctl 把 cmd 和 arg 传入到内核。通过一系列的调用后最终会调用到 _video_do_ioctl 函数,然后通过 cmd 检索 v4l2_ioctls[],判断是 INFO_FL_STD 还是 INFO_FL_FUNC。如果是 INFO_FL_STD 会直接调用到视频设备驱动中 video_device->v4l2_ioctl_ops 函数集。如果是 INFO_FL_FUNC 会先调用到 v4l2 自己实现的标准回调函数,然后根据 arg 再调用到 video_device->v4l2_ioctl_ops 或 v4l2_fh->v4l2_ctrl_handler 函数集。

扩展:

1、v4l2 control 框架:既然涉及到视频输入,就会有很多与 ISP 相关的效果,比如对比度、饱和度、色温、白平衡等等,这些都是通用的、必须的控制项,并且大多数仅需要设置一个整数值即可。V4L2 很贴心地为我们提供了这样一些接口以供使用(可以说是非常贴心的了),在内核里面,这些控制项被抽象为一个个的控制 ID,分别以 V4L2_CID_XXX 来命名。

2、v4l2 ioctl 框架:用户空间对 V4L2 设备的操作基本都是通错 ioctl 来实现的,比如:VIDIOC_QUERYCAP、VIDIOC_S_FMT、VIDIOC_DQBUF 等等。

四、IO 访问

V4L2 支持三种不同 IO 访问方式(内核中还支持了其它的访问方式,暂不讨论):

  1. read 和 write,是基本帧 IO 访问方式,通过 read 读取每一帧数据,数据需要在内核和用户之间拷贝,这种方式访问速度可能会非常慢;
  2. 内存映射缓冲区(V4L2_MEMORY_MMAP),实在内核空间开辟缓冲区,应用通过 mmap() 系统调用映射到用户地址空间。这些缓冲区可以是大而连续的 DMA 缓冲区、通过 vmalloc() 创建的虚拟缓冲区,或者直接在设备的 IO 内存中开辟的缓冲区(如果硬件支持);
  3. 用户空间缓冲区(V4L2_MEMORY_USERPTR),使用户空间的应用中开辟缓冲区,用户与内核空间之间交换缓冲区指针。很明显,在这种情况下是不需要 mmap() 调用的,但驱动为有效的支持用户空间缓冲区,其工作将也会更加困难。

read 和 write 方式属于帧 IO 访问方式,每一帧都要通过 IO 操作,需要用户和内核之间数据拷贝,而后两种是流 IO 访问方式,不需要内存拷贝,访问速度比较快。内存映射缓冲区访问方式是比较常用的方式。

4.1 内存映射缓冲区方式

硬件层的数据流传输

Camera sensor 捕捉到图像数据通过并口或 MIPI 传输到 CAMIF(camera interface),CAMIF 可以对图像数据进行调整(翻转、裁剪和格式转换等)。然后 DMA 控制器设置 DMA 通道请求 AHB 将图像数据传送到分配好的 DMA 缓冲区。

待图像数据传输到 DMA 缓冲区之后,mmap 操作把缓冲区映射到用户空间,应用就可以直接访问缓冲区的数据。

4.2 vb2_queue

为了使设备支持流 IO 这种方式,驱动需要实现 struct vb2_queue,来看下这个结构体:

 
  1. struct vb2_queue {

  2. enum v4l2_buf_type type; //buffer 类型

  3. unsigned int io_modes; //访问 IO 的方式:mmap、userptr etc

  4. const struct vb2_ops *ops; //buffer 队列操作函数集合

  5. const struct vb2_mem_ops *mem_ops; //buffer memory 操作集合

  6. struct vb2_buffer *bufs[VIDEO_MAX_FRAME]; //代表每个 buffer

  7. unsigned int num_buffers; //分配的 buffer 个数

  8. ... ...

  9. };

vb2_queue 代表一个 video buffer 队列,vb2_buffer 是这个队列中的成员,vb2_mem_ops 是缓冲内存的操作函数集,vb2_ops 用来管理队列。

4.3 vb2_mem_ops

vb2_mem_ops 包含了内存映射缓冲区、用户空间缓冲区的内存操作方法:

 
  1. struct vb2_mem_ops {

  2. void *(*alloc)(void *alloc_ctx, unsigned long size); //分配视频缓存

  3. void (*put)(void *buf_priv); //释放视频缓存

  4. //获取用户空间视频缓冲区指针

  5. void *(*get_userptr)(void **alloc_ctx, unsigned long vaddr, unsigned long size, int write);

  6. void (*put_userptr)(void *buf_priv); //释放用户空间视频缓冲区指针

  7. //用于缓冲同步

  8. void (*prepare)(void *buf_priv);

  9. void (*finish)(void *buf_priv);

  10. void *(*vaddr)(void *buf_priv);

  11. void *(*cookie)(void *buf_priv);

  12. unsigned int (*num_users)(void *buf_priv); //返回当期在用户空间的buffer数

  13. int (*mmap)(void *buf_priv, struct vm_area_struct *vma); //把缓冲区映射到用户空间

  14. };

这是一个相当庞大的结构体,这么多的结构体需要实现还不得类似,幸运的是内核都一名帮我们实现了。提供了三种类型的视频缓存去操作方法:

  1. 连续的 DMA 缓冲区;
  2. 集散的 DMA 缓冲区;
  3. vmalloc 创建的缓冲区。

分别由 videobuf2-dma-contig.c、videobuf2-dma-sg.c 和 videobuf-vmalloc.c 文件实现,可以根据实际情况来使用。

4.4 vb2_ops

vb2_ops 是用来管理 buffer 队列的函数集合,包括队列和缓冲区初始化

 
  1. struct vb2_ops {

  2. //队列初始化

  3. int (*queue_setup)(struct vb2_queue *q, const struct v4l2_format *fmt, unsigned int *num_buffers, unsigned int *num_planes, unsigned int sizes[], void *alloc_ctxs[]);

  4. //释放和获取设备操作锁

  5. void (*wait_prepare)(struct vb2_queue *q);

  6. void (*wait_finish)(struct vb2_queue *q);

  7. //对 buffer 的操作

  8. int (*buf_init)(struct vb2_buffer *vb);

  9. int (*buf_prepare)(struct vb2_buffer *vb);

  10. int (*buf_finish)(struct vb2_buffer *vb);

  11. int (*buf_cleanup)(struct vb2_buffer *vb);

  12. //开始视频流

  13. int (*start_streaming)(struct vb2_queue *q, unsigned int count);

  14. //停止视频流

  15. int (*stop_streaming)(struct vb2_queue *q);

  16. //把 VB 传递给驱动

  17. void (*buf_queue)(struct vb2_buffer *vb);

  18. };

vb2_buffer 是缓存队列的基本单位,内嵌在其中 v4l2_buffer 是核心成员。当开始流 IO 时,帧以 v4l2_buffer 的格式在应用和驱动之间传输。一个缓冲区可以有三种状态:

  1. 在驱动的传入队列中,驱动程序将会对此队列中的缓冲区进行处理,用户空间通过 IOCTL:VIDIOC_QBUF 把缓冲区放入到队列。对于一个视频捕获设备,传入队列的缓冲区是空的,驱动会往其中填充数据;

  2. 在驱动的传出队列中,这些缓冲区已由驱动处理过,对于一个视频捕获设备,缓存区已经填充了视频数据,正等用户空间来认领;

  3. 用户空间状态的队列,已经通过 IOCTL:VIDIOC_DQBUF 传出到用户空间的缓冲区,此时缓冲区由用户空间拥有,驱动无法访问。

这三种状态的切换如下图所示:

v4l2_buffer 结构如下:

 
  1. struct v4l2_buffer {

  2. __u32 index; //buffer 序号

  3. __u32 type; //buffer 类型

  4. __u32 byteused; //缓冲区已使用 byte 数

  5. __u32 flags;

  6. __u32 field;

  7. struct timeval timestamp; //时间戳,代表帧捕获的时间

  8. struct v4l2_timecode timecode;

  9. __u32 sequence;

  10. /* memory location */

  11. __u32 memory; //代表缓冲区是内存映射缓冲区还是用户空间缓冲区

  12. union {

  13. __u32 offset; //内核缓冲区的位置

  14. unsigned long userptr; //缓冲区的用户空间地址

  15. struct v4l2_plane *planes;

  16. __s32 fd;

  17. }m;

  18. __u32 length; //缓冲区大小,单位 byte

  19. };

当用户空间拿到 v4l2_buffer,可以获取到缓冲区的相关信息。byteused 是图像数据所占的字节数:

  • 如果是 V4L2_MEMORY_MMAP 方式,m.offset 是内核空间图像数据存放的开始地址,会传递给 mmap 函数作为一个偏移,通过 mmap 映射返回一个缓冲区指针 p,p+byteused 是图像数据在进程的虚拟地址空间所占区域;
  • 如果是用户指针缓冲区的方式,可以获取的图像数据开始地址的指针 m.userptr,userptr 是一个用户空间的指针,userptr+byteused 便是所占的虚拟地址空间,应用可以直接访问。

五、用户空间访问设备

下面通过内核映射缓冲区方式访问视频设备(capture device)的流程。

1> 打开设备文件

 
  1. fd = open(dev_name, O_RDWR /* required */ | O_NONBLOCK, 0);

  2. //dev_name[ /dev/videoX ]

2> 查询设备支持的能力

 
  1. struct v4l2_capability cap;

  2. ioctl(fd, VIDIOC_QUERYCAP, &cap);

3> 设置视频捕获格式

 
  1. fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;

  2. fmt.fmt.pix.width = 640;

  3. fmt.fmt.pix.height = 480;

  4. fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV; //像素格式

  5. fmt.fmt.pix.field = V4L2_FIELD_INTERLACED;

  6. ioctl(fd, VIDIOC_S_FMT, &fmt);

4> 向驱动申请缓冲区

 
  1. struct v4l2_buffer req;

  2. req.count = 4;

  3. req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;

  4. req.memory = V4L2_MEMORY_MMAP;

  5. if(-1 == xioctl(fd, VIDIOC_REQBUFS, &req))

5> 获取每个缓冲区的信息,映射到用户空间

 
  1. struct buffer {

  2. void *start;

  3. size_t length;

  4. } *buffers;

  5. buffers = calloc(req.count, sizeof(*buffers));

  6. for(n_buffers = 0; n_buffers < req.count; ++n_buffers){

  7. struct v4l2_buffer buf;

  8. buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;

  9. buf.memory = V4L2_MEMORY_MMAP;

  10. buf.index = n_buffers;

  11. if(-1 == xioctl(fd, VIDIOC_QUERYBUF, &buf))

  12. errno_exit("VIDIOC_QUERYBUF");

  13. buffers[n_buffers].length = buf.length;

  14. buffers[n_buffers].start =

  15. mmap(NULL /* start anywhere */,

  16. buf.length,

  17. PROT_READ | PROT_WRITE /* required */,

  18. MAP_SHARED /* recommended */,

  19. fd,

  20. buf.m.offset);

  21. }

6> 把缓冲区放入到传入队列上,打开流 IO,开始视频采集

 
  1. for(i=0; i<n_buffers; ++i){

  2. struct v4l2_buffer buf;

  3. buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;

  4. buf.memory = V4L2_MEMORY_MMAP;

  5. buf.index = i;

  6. if(-1 == xioctl(fd, VIDIOC_QBUF, &buf))

  7. errno_exit("VIDIOC_QBUF");

  8. type = V4L2_BUF_TYPE_VIDEO_CAPTURE;

  9. if(-1 == xioctl(fd, VIDIOC_STREAMON, &type))

  10. }

7> 调用 select 监视文件描述符,缓冲区的数据是否填充好,然后对视频数据

 
  1. for(;;) {

  2. fd_set fds;

  3. struct timeval tv;

  4. int r;

  5. FD_ZERO(&fds);

  6. FD_SET(fd, &fds);

  7. /* timeout */

  8. tv.tv_sec = 2;

  9. tv.tv_usec = 0;

  10. //监测文件描述是否变化

  11. r = select(fd + 1, &fds, NULL, NULL, &tv);

  12. if(-1 == r) {

  13. if(EINTR == errno)

  14. continue;

  15. errno_exit("select");

  16. }

  17. if(0 == r){

  18. fprintf(stderr, "select timeout\r\n");

  19. exit(EXIT_FAILURE);

  20. }

  21. //对视频数据进行处理

  22. if(read_frame())

  23. break;

  24. /* EAGAIN - continue select loop. */

  25. }

8> 取出已经填充好的缓冲,获取到视频数据的大小,然后对数据进行处理。这里取出的缓冲只包含缓冲区的信息,并没有进行视频数据拷贝。

 
  1. buf.type = V4L2_BUF_TPYE_VIDEO_CAPTURE;

  2. buf.memory = V4L2_MEMORY_MMAP;

  3. if(-1 == ioctl(fd, VIDIOC_DQBUF, &buf)) //取出缓存

  4. errno_exit("VIDIOC_QBUF");

  5. process_image(buffers[buf.index].start, buf.byteused); //视频数据处理

  6. if(-1 == xioctl(fd, VIDIOC_QBUF, &buf)) //然后又放入到传入队列

  7. errno_exit("VIDIOC_QBUF");

9> 停止视频采集

 
  1. type = V4L2_BUF_TYPE_VIDEO_CAPTURE;

  2. ioctl(fd, VIDIOC_STREAMOFF, &type);

10> 关闭设备

close(fd);

附:

V4L2系列 之 V4L2驱动框架 本篇文章主要介绍Linux内核中的V4L2框架,本篇文章所用内核版本:linux-4.19v4L2 (Video for Linux 2),是linux的一套视频框架,共主体位于内核,可以理解为是整个linux系统上面的视频源捕获驱动框架。其广泛应用在嵌入式设备、移动端以及个人电脑设备上面,市而上使用视频图像采集的设备如:手机、IPC、行车记录仪都会用到这个框架来进行视频采集。v4L2允许 应用程序 控制图像传感器以及传输格式,应用程序 借此完成拍照、预览、视频记录等图像传感器数据应用。 阅读详情

相关推荐

Linux驱动,之camera的驱动v4L2(video for linux two)框架,应用篇(一)

https://blog.csdn.net/mabin2005/category_9258316.htmlhttps://blog.csdn.net/MENGHUANBEIKE/article/details/102795635https://blog.csdn.net/m0_72838865/article/details/127012187

rjszcb的博客 2022

V4l2框架分析

1. V4L2框架概述 1.1 v4l2设备应用层流程 1.2 内核V4L2模块 2 2. video_device 2.1图像处理模块 2.2 video注册流程 3. videobuf2 3.1 与video device的关系: 3.2 buffer类型 3.3 vb2_ops回调函数 3.4 mmap 流程...

welljrj的博客 8964

v4l2驱动框架_【干货分享】Xilinx Linux V4L2视频管道(Video Pipeline)驱动程序分析...

作者:付汉杰,hankf@xilinx.com,文章转载自:赛灵思中文社区论坛概述Xilinx提供了完整的V4L2的驱动程序,Xilinx V4L2 driver。处于最顶层的驱动程序是V4L2框架的视频管道(Video pipeline)驱动程序,也叫桥驱动程序(bridge driver),主要代码在文件xilinx-vipp.c中。在V4L2框架中,整个视频管道(Video pip...

weixin_39761195的博客 928

Linux内核V4L2架构

V4L2是Video for linux2的简称,为linux中关于视频设备的内核驱动。是linux操作系统下一套用于采集图片、视频和音频数据的通用API接口,配合适当的视频采集设备和相应的驱动程序,可以实现图片、视频、音频等的采集。​ V4L2支持三种方式来采集图像:内存映射方式(mmap)、直接读取方式(read)和用户指针;

yzw_yy的博客 5581

Linux V4L2框架实战:从摄像头驱动到视频采集的完整流程解析

本文深入解析了Linux V4L2框架的完整实战流程,涵盖从摄像头驱动初始化到用户空间视频采集的核心步骤。详细阐述了v4l2_device、v4l2_subdev和video_device三大核心结构体的关系与职责,并重点剖析了videobuf2内存管理机制及用户空间通过MMAP模式高效采集视频数据的标准流程,为嵌入式Linux视频开发提供实践指导。

weixin_28278377的博客 223

V4L2编程和Camera开发相关

近期开始接触Camera相关的开发内容,在调试一款USB摄像头的时候遇到了USB插拔的

飞翔大企鹅的专栏 7119

Camera开发-V4L2/media controller框架介绍

本文粗略介绍了v4l2框架以及media ctl框架,并通过ov5640驱动为例,进行分析

道阻其长,未来可期。笔耕不辍,行则将至! 2449

V4L2+Qt5实现摄像头视频采集以及参数控制(源码学习版)

之前一直想把关于Linux下使用V4L2做视频采集、Qt界面显示实时画面的源码整理一下发出来,不过太懒了我,同时那版bug太多不想花精力去修改了,今天不忙就赶紧整理一下把程序删删减减做一个学习版的demo出来。这个demo源码只是供大家学习一下V4L2,如何在Linux下简单的打开一个摄像头设备并且可以获取视频流中的图像帧并显示出来,不然光看V4L2的结构体以及它的example还是不够直观的。 ...

虾米小小小的博客 4493

【camera随记(2)】使用V4L2框架实现从相机到板卡LCD的显示

v4l2 框架实现 相机到板卡的 lcd 显示。

weixin_38792736的博客 1156

一文读懂V4L2(Video for Linux 2)框架

V4L2(Video for Linux 2)是Linux操作系统中用于支持摄像头和视频设备的框架。它提供了一组API和驱动程序接口,用于在Linux系统中进行视频采集、视频流处理和视频播放等操作。设备抽象层:V4L2框架提供了一个设备抽象层,使得应用程序可以与各种不同类型的视频设备进行通信,包括摄像头、视频采集卡等。统一的控制接口:V4L2定义了一套统一的控制接口,可以通过这些接口来配置和调整视频设备的各种参数,比如亮度、对比度、饱和度等。

小灰灰的博客 4879

RK3568平台开发系列讲解(设备驱动篇)V4L2程序实现流程

📢本篇将介绍 V4L2 进行视频采集。

内核笔记 1904

V4L2框架分析学习

在本文中,我们主要介绍设备缓冲区的内容,自我感觉有个不错的建议和大家分享下        V4L2框架分析学习     Author:CJOK     Contact:cjok.liao#gmail.com     SinaWeibo:@廖野cjok       1、概述     Video4Linux2是Linux内核中关于视频设备的内核驱动

longshan_2009的专栏 1074

RK3568平台开发系列讲解(Camera篇)实现V4L2驱动

📢在Linux系统中,Camera驱动程序使用了Linux标准的Video for Linux 2(V4L2)驱动程序。无论是内核空间还是用户空间,都使用V4L2驱动程序框架来定义数据类和控制类。所以在移植Android中的Camera系统时,也是用标准的V4L2驱动程序作为Camera的驱动程序。在Camera系统中,V4L2驱动程序的任务是获得Video数据。

内核笔记 3497

V4L2系列 之 初识V4L2

由于进行linux音视频开发,通常会涉及到音频以及摄像头视频驱动,所以对V4L2以及ALSA驱动框架进行学习,并整理相关的笔记和大家分享!

小嵌同学的博客 1278

使用网分对晶体ESR/L1/C1/C0进行测量计算

Use R&amp;S Vector Network Analyzer test XTAL ESR/L1/C1/C0 測量方法:使用儀器的Port1端口,測量XTAL的S11,通過諧振的參數計算出ESR/L1/C1/C0的值。 實際晶體的等效模型:通常方便晶體分析,使用下圖(b)的等效模型,但實際測量發現晶體存在多個串聯諧振點,實際等效模型更接近(c)。 儀器測量到的S11,其中M...

qq_39138630的博客 2087

【深度学习基础】Temporal Fusion Transformer

从下向上看:全连接(Dense) → ELU(指数线性激活函数(比relu好点,有利于模型收敛)) → 全连接(Dense) → 门控线性单元(Gate)(Gated Linear Units (GLUs)) → Layernorm。:一方面,它可以进行静态上下文变量和动态变量的融合,另一方面,通过门控进行了特征选择操作,门控体现在GLU(门控线性单元)中,用了sigmoid控制信息的通过程度,具有良好的适应性,能够自动选择有效信息,自适应地调整网络复杂性。输入:主输入,可选的上下文向量c。

weixin_41838721的博客 1234

Linux下的V4L2的API编程总结

由于工作的需要,经过几天的了解之后,终于熟悉了V4L2的API应用的一个整体框架,在此感谢两位博主的分享,无私贡献这两篇有关V4L2介绍的博客: 博客一: http://blog.csdn.net/eastmoon502136/article/details/8190262 博客二: http://blog.chinaunix.net/uid-26833883-id-3249346.htm

drinkingcode 2273

SAP PP模块 MRP配置实战:5步完成工厂级物料需求计划激活

本文详细介绍了SAP PP模块中物料需求计划(MRP)的工厂级配置实战,通过5个关键步骤从基础环境准备到最终激活。内容涵盖SPRO后台配置、MRP控制者定义、主数据设置及核心参数调整,帮助顾问快速掌握MRP配置清单的完整流程,确保物料需求计划的高效运行。

weixin_30431445的博客 346

V4L2开发资料汇总介绍:V4L2开发者的必备资源库

V4L2开发资料汇总介绍:V4L2开发者的必备资源库 【下载地址】V4L2开发资料汇总介绍 本项目汇集了丰富的V4L2(Video for Linux 2)开发资料,涵盖从基础到高级的全面内容,帮助开发者深入理解V4L2的架构与API。资料包括Linux驱动学习笔记、V4L2规范中文翻译、API文档、编程经典案例、驱动编...

gitblog_06764的博客 753

Bootloader详解,理解Bootloader看这篇就够了

这里写目录标题一、Bootloader作用(目的)二、完成Boot最终目的的前提条件三、对前提条件的详细说明3.1、对前提条件(1)的说明:3.2、对前提条件(2)的说明:3.3、对前提条件(3)的说明:3.4、对前提条件(4)的说明:3.4、对前提条件(5)的说明:四、loader是干啥的 一、Bootloader作用(目的) Bootloader=Boot + loader Boot的目的: 最终目的:跳到C语言中;为了C语言运行程序会进行一系列的初始化,系统一上电后如何通过一系列的设置让软件程序员

iduuigdg的博客 11万+

raw_count、tpm、fpkm、rpkm如何选择

转录组测序中常见的数据类型有:raw_count、tpm、fpkm、rpkm。本文进行简单辨析: 一、概念 1 raw_count RNA-seq数据中,raw_count一般是指mapped到基因外显子区域的reads数目。比如说htseq,STAR,或者RSEM等NGS分析流程计算产生的counts值。其中RSEM(RNA-Seq by Expectation-Maximization),考虑到一条read 可能会匹配多个exon位置,故而其产生的为expected_count。 2 TPM

weixin_59289660的博客 1万+

设备缓冲区V4L2框架分析学习

在本文中,我们主要介绍设备缓冲区的内容,自我感觉有个不错的建议和大家分享下        V4L2框架分析学习     Author:CJOK     Contact:cjok.liao#gmail.com     SinaWeibo:@廖野cjok       1、概述     Video4Linux2是Linux内核中关于视频设备的内核驱动框架,为上层的访问底层的视频设备供给...

weixin_34114823的博客 329

智能汽车竞赛摄像头处理(4)——摄像头循迹思路讲解

智能汽车竞赛摄像头处理(4)对摄像头循迹思路进行讲解。

weixin_62261692的博客 7064

QT V4L2 调用USB摄像头

QT V4L2 调用USB摄像头 文章目录QT V4L2 调用USB摄像头前言一、V4L2二、核心概念及操作1.整个流程2.详细流程打开文件(设备)open查询设备能力capabilities枚举输入设备选择输入设备枚举所有支持fmt type,确定我们要的fmt type申请缓存 (给内核说呀,要多少块unit)查询缓存(主要是得到内核中真实的物理地址)内存映射(内核真实的得到了,自己再整一块儿一样的,这不就可以映射了吗)我读你取就完事最后不用的时候解除一下映射,该清的清一下,close一下总结 前言

qq_40943525的博客 3260

【视频监控国标GB/T28181】无人机的视频图传技术

然而,随着无人机市场的不断发展和无人机视频图传技术的迅速进步,一些厂家正积极探索更多的传输方式。如今,一些大疆无人机已经具备了4G辅助图传功能,这意味着它们需要在无人机上安装相应的SIM卡,并在有移动互联网信号的情况下,通过互联网进行视频图传。这种技术的应用,不仅提高了无人机的操作灵活性,也使得无人机在各个领域的应用更加广泛。在使用时,用户需时刻注意无人机的飞行距离。在无人机图传系统中,OFDM技术的运用更是如虎添翼,显著增强了视频传输的品质与稳定性,尤其在错综复杂的电磁环境中,更能凸显其不可替代的优势。

开源物联网项目商业化作者 5666

Windows 11 安装 JDK 11:下载、安装、配置环境变量、验证

本文详细介绍了在 Windows 11 系统中安装 JDK 11 的完整流程,包括从 Oracle 官网下载压缩包、解压到自定义目录、配置 JAVA_HOME 与 Path 环境变量,并验证安装是否成功。文章还包含一个专为 JDK 11 新特性设计的测试程序,涵盖 Lambda 表达式 var 语法、HTTP 客户端 API、字符串增强方法等,帮助读者确认安装版本正确无误,适合初学者和需要多版本 JDK 共存的开发者参考。

寒水馨 · 轻量级技术文档 · hanshuixin.org 2786
上一篇: linux开机自启动/profile和rcS区别
下一篇: V4L2框架-control
stone_zzuli
博客等级 码龄13年 73粉丝 5原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值