《基于linux下的音视频采集与传输综述》由会员分享，可在线阅读，更多相关《基于linux下的音视频采集与传输综述（56页珍藏版）》请在金锄头文库上搜索。
1、基于linux下的音视频采集与传输Based on the acquisition and transmission of audio and video under linux摘要：在LINUX下实现对音频和视频的采集，并编写Socket程序将采集到的音频文件在两台主机的进程之间进行传输。关键字： LINUX音频、视频采集Socket传输项目简介本项目将分成三部分来分别实现，分别为Linux下视频的采集、Linux下音频的采集、Linux下Socket传输的实现。下面将分别介绍各部分具体的实现过程。 Linux 下视频采集 1、背景介绍V4L，其全称是Video4Linux（Video fo
2、r Linux），是在linux内核中关于视频设备的API接口，涉及开关视频设备、采集并处理视频图像信息。V4L从2.1.x版本的内核中开始出现。现在出现Video4Linux2 （Video for Linux Two），简称V4L2。很显然，他是V4L的改进版，修复了第一代的部分设计bug。从2.5.x开始，V4L2就被集成到内核里面去了。尽管如此，还是有一部分设备的驱动不支持新版本的V4L2，所以，有时候我们会看到V4L跟V4L2同时出现在代码里面。Linux系统中，视频设备被当作一个设备文件来看待，设备文件存放在 /dev目录下，完整路径的设备文件名为： /dev/video0 .2、
3、视频采集基本步骤视频采集基本步骤流程：打开设备 检查和设置设备属性 设置帧格式 设置一种输入输出方法（缓冲区管理） 循环获取数据 关闭设备。其中打开视频设备非常简单，在V4L2中，视频设备被看做一个文件。使用open函数打开这个设备，打开这个设备有两种模式即阻塞模式和非阻塞模式。主要实现代码为：用非阻塞模式打开摄像头设备代码为int cameraFd;cameraFd = open(/dev/video0, O_RDWR | O_NONBLOCK);用阻塞模式打开摄像头设备，上述代码变为：cameraFd = open(/dev/video0, O_RDWR);应用程序能够使用阻塞模式或非阻塞
4、模式打开视频设备，如果使用非阻塞模式调用视频设备，即使尚未捕获到信息，驱动依旧会把缓存（DQBUFF）里的东西返回给应用程序。3、 Linux视频设备驱动常用控制命令使用说明设置视频设备属性通过ioctl来进行设置，ioctl有三个参数，分别是fd, cmd,和parameter,表示设备描述符，控制命令和控制命令参数。Linux 视频设备驱动接口V4L2支持的常用控制命令如下： 控制命令 VIDIOC_ENUM_FMT 功能：获取当前视频设备支持的视频格式 。参数说明：参数类型为V4L2的视频格式描述符类型 struct v4l2_fmtdesc返回值说明：执行成功时，函数返回值为 0；st
5、ruct v4l2_fmtdesc 结构体中的 .pixelformat和 .description 成员返回当前视频设备所支持的视频格式；使用举例：struct v4l2_fmtdesc fmt; memset(&fmt, 0, sizeof(fmt); fmt.index = 0; fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; while (ret = ioctl(dev, VIDIOC_ENUM_FMT, &fmt) = 0) fmt.index+; printf( pixelformat = %c%c%c%c, description = %s n,
6、fmt.pixelformat & 0xFF, (fmt.pixelformat 8) & 0xFF, (fmt.pixelformat 16) & 0xFF, (fmt.pixelformat 24) & 0xFF, fmt.description); 控制命令VIDIOC_QUERYCAP 功能：查询视频设备的功能 ； 参数说明：参数类型为V4L2的能力描述类型struct v4l2_capability ；返回值说明： 执行成功时，函数返回值为 0；函数执行成功后，struct v4l2_capability 结构体变量中的返回当前视频设备所支持的功能；例如支持视频捕获功能V4L2_CA
7、P_VIDEO_CAPTURE、V4L2_CAP_STREAMING等。使用举例：struct v4l2_capability cap; iret = ioctl(fd_usbcam, VIDIOC_QUERYCAP, &cap);if(iret 0) printf(get vidieo capability error,error code: %d n, errno); return ;执行完VIDIOC_QUERYCAP命令后，cap变量中包含了该视频设备的能力信息，程序中通过检查cap中的设备能力信息来判断设备是否支持某项功能。控制命令VIDIOC_S_FMT 功能：设置视频设备的视频数
8、据格式，例如设置视频图像数据的长、宽，图像格式（JPEG、YUYV格式）； 参数说明：参数类型为V4L2的视频数据格式类型 struct v4l2_format ； 返回值说明：执行成功时，函数返回值为 0；使用举例： struct v4l2_format tv4l2_format; tv4l2_format.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; tv4l2_format.fmt.pix.width = img_width; tv4l2_format.fmt.pix.height = img_height; tv4l2_format.fmt.pix.pixel
9、format = V4L2_PIX_FMT_YUYV; tv4l2_format.fmt.pix.field = V4L2_FIELD_INTERLACED; iret = ioctl(fd_usbcam, VIDIOC_S_FMT, &tv4l2_format);控制命令VIDIOC_REQBUFS 功能：请求V4L2驱动分配视频缓冲区（申请V4L2视频驱动分配内存），V4L2是视频设备的驱动层，位于内核空间，所以通过VIDIOC_REQBUFS控制命令字申请的内存位于内核空间，应用程序不能直接访问，需要通过调用mmap内存映射函数把内核空间内存映射到用户空间后，应用程序通过访问用户空间地址
10、来访问内核空间。参数说明：参数类型为V4L2的申请缓冲区数据结构体类型struct v4l2_requestbuffers ；返回值说明：执行成功时，函数返回值为 0；V4L2驱动层分配好了视频缓冲区；使用举例：struct v4l2_requestbuffers tV4L2_reqbuf;memset(&tV4L2_reqbuf, 0, sizeof(struct v4l2_requestbuffers );tV4L2_reqbuf.count = 1; tV4L2_reqbuf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; tV4L2_reqbuf.memory
11、= V4L2_MEMORY_MMAP;iret = ioctl(fd_usbcam, VIDIOC_REQBUFS, &tV4L2_reqbuf);注意：VIDIOC_REQBUFS会修改tV4L2_reqbuf的count值，tV4L2_reqbuf的count值返回实际申请成功的视频缓冲区数目； 控制命令VIDIOC_QUERYBUF功能：查询已经分配的V4L2的视频缓冲区的相关信息，包括视频缓冲区的使用状态、在内核空间的偏移地址、缓冲区长度等。在应用程序设计中通过调VIDIOC_QUERYBUF来获取内核空间的视频缓冲区信息，然后调用函数mmap把内核空间地址映射到用户空间，这样应用程序
12、才能够访问位于内核空间的视频缓冲区。参数说明：参数类型为V4L2缓冲区数据结构类型 struct v4l2_buffer ； 返回值说明： 执行成功时，函数返回值为 0；struct v4l2_buffer结构体变量中保存了指令的缓冲区的相关信息；一般情况下，应用程序中调用VIDIOC_QUERYBUF取得了内核缓冲区信息后，紧接着调用mmap函数把内核空间地址映射到用户空间，方便用户空间应用程序的访问。使用举例：struct v4l2_buffer tV4L2buf; memset(&tV4L2buf, 0, sizeof(struct v4l2_buffer);tV4L2buf.type
13、= V4L2_BUF_TYPE_VIDEO_CAPTURE; tV4L2buf.memory = V4L2_MEMORY_MMAP; tV4L2buf.index = i; iret = ioctl(fd_usbcam, VIDIOC_QUERYBUF, &tV4L2buf);AppBufLength = tV4L2buf.length;AppBufStartAddr = mmap(NULL /* start anywhere */ , tV4L2buf.length,PROT_READ | PROT_WRITE /* access privilege */ , MAP_SHARED /* r
14、ecommended */ , fd_usbcam, tV4L2buf.m.offset); 上述代码在通过调用VIDIOC_QUERYBUF取得内核空间的缓冲区信息后，接着调用mmap函数把内核空间缓冲区映射到用户空间。 控制命令VIDIOC_QBUF功能：投放一个空的视频缓冲区到视频缓冲区输入队列中 ； 参数说明：参数类型为V4L2缓冲区数据结构类型 struct v4l2_buffer ；返回值说明：执行成功时，函数返回值为 0；函数执行成功后，指令(指定)的视频缓冲区进入视频输入队列，在启动视频设备拍摄图像时，相应的视频数据被保存到视频输入队列相应的视频缓冲区中。使用举例：struct v4l2_buffer tV4L2buf; memset(&tV4L2buf, 0, sizeof(struct v4l2_buffer);tV4L2buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; tV4L2buf.memory = V4L2_MEMORY_MMAP; tV4L2buf.index = i;iret = ioctl(fd_usbcam, VIDIOC_QBUF, &tV4L2buf);控制命令VIDIOC_STREAMON功能：启动视频采集命令，应用程序调用VIDIOC_STREAMON启动视频采集命令后，视频
