《嵌入式LINUX应用编程-视频服务器》由会员分享，可在线阅读，更多相关《嵌入式LINUX应用编程-视频服务器（61页珍藏版）》请在金锄头文库上搜索。
1、嵌入式LINUX应用编程 视频服务器篇,2009年11月10日,2,嵌入式LINUX编程-视频服务器,V4L2编程RTSP协议RTP协议视频服务器案例,3,V4l2编程 - 关于视频的基本概念,1. 视频分辨率常用的数字图像分辨率格式有：QCIF(176144)、CIF(352288)、1/2D1(352576)、2/3D1(480576)、D1(720576)、QQVGA(160120)、QVGA(320240)、VGA(640480)2. 一些压缩标准MJPEG Motion JPEG 2000 MPEG-1 MPEG-2 MPEG-4 ASP MPEG-4/AVC H.120 H.261
2、 H.262 H.263 H.264AMV AVS Bink Dirac Indeo Pixlet RealVideo RTVideo SheerVideo Smacker Snow Theora VC-1 VP6 VP7 VP8 WMV 3. 一些音频压缩标准MPEG-1 Layer III (MP3) MPEG-1 Layer II MPEG-1 Layer I AAC HE-AAC G.711 G.718 G.719 G.722 G.722.1 G.722.2 G.723 G.723.1 G.726 G.728 G.729 G.729.1 G.729a AC3 AMR Apple Los
3、sless ATRAC FLAC iLBC Monkeys Audio -law Musepack Nellymoser OptimFROG RealAudio RTAudio SHN Siren Speex Vorbis WavPack WMA TAK 4. 一些视频编码格式,文件格式 3GP ASF AVI Bink DMF DPX FLV Matroska MP4 MXF NUT Ogg Ogg Media QuickTime RealMedia Smacker RIFF VOB,4,V4L2编程 1. 打开设备,打开视频设备在V4L2中，视频设备被看做一个文件。使用open函数打开这个
4、设备：/ 用非阻塞模式打开摄像头设备int cameraFd;cameraFd = open(/dev/video0, O_RDWR | O_NONBLOCK, 0);/如果用阻塞模式打开摄像头设备，上述代码变为：cameraFd = open(/dev/video0, O_RDWR, 0);应用程序能够使用阻塞模式或非阻塞模式打开视频设备，如果使用非阻塞模式调用视频设备，即使尚未捕获到信息，驱动依旧会把缓存（DQBUFF）里的东西返回给应用程序。,5,V4L2编程 2.设定属性及采集方式,设定属性及采集方式打开视频设备后，可以设置该视频设备的属性，例如裁剪、缩放等。这一步是可选的。在Linu
5、x编程中，一般使用ioctl函数来对设备的I/O通道进行管理： int ioctl (int fd, unsigned long int request, ./*args*/);在进行V4L2开发中，常用的命令如下： VIDIOC_REQBUFS：分配内存 VIDIOC_QUERYBUF：把VIDIOC_REQBUFS中分配的数据缓存转换成物理地址 VIDIOC_QUERYCAP：查询驱动功能 VIDIOC_ENUM_FMT：获取当前驱动支持的视频格式 VIDIOC_S_FMT：设置当前驱动的频捕获格式 VIDIOC_G_FMT：读取当前驱动的频捕获格式 VIDIOC_TRY_FMT：验证当前
6、驱动的显示格式 VIDIOC_CROPCAP：查询驱动的修剪能力 VIDIOC_S_CROP：设置视频信号的边框 VIDIOC_G_CROP：读取视频信号的边框 VIDIOC_QBUF： 把内存加入缓存队列VIDIOC_DQBUF：从缓存队列读取数据VIDIOC_STREAMON：开始视频显示函数 VIDIOC_STREAMOFF：结束视频显示函数 VIDIOC_QUERYSTD：检查当前视频设备支持的标准，例如PAL或NTSC。,6,V4L2编程 设定属性及采集方式,检查当前视频设备支持的标准 在亚洲，一般使用PAL（720X576）制式的摄像头，而欧洲一般使用NTSC（720X480），使
7、用VIDIOC_QUERYSTD来检测：v4l2_std_id std;do ret = ioctl(fd, VIDIOC_QUERYSTD, &std); while (ret = -1 & errno = EAGAIN);switch (std) case V4L2_STD_NTSC: case V4L2_STD_PAL: 设置视频捕获格式当检测完视频设备支持的标准后，还需要设定视频捕获格式，结构如下：struct v4l2_format fmt;memset ( &fmt, 0, sizeof(fmt) );fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;f
8、mt.fmt.pix.width = 720;fmt.fmt.pix.height = 576;fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV;fmt.fmt.pix.field = V4L2_FIELD_INTERLACED;if (ioctl(fd, VIDIOC_S_FMT, &fmt) = -1) return -1;,7,V4L2编程 设定属性及采集方式,v4l2_format结构如下：struct v4l2_format enum v4l2_buf_type type; /数据流类型V4L2_BUF_TYPE_VIDEO_CAPTURE un
9、ion struct v4l2_pix_format pix; struct v4l2_window win; struct v4l2_vbi_format vbi; _u8 raw_data200; fmt;struct v4l2_pix_format _u32 width; / 宽，必须是16的倍数 _u32 height; / 高，必须是16的倍数 _u32 pixelformat; / 视频数据存储类型，例如是YUV4：2：2还是RGB enum v4l2_field field; _u32 bytesperline; _u32 sizeimage; enum v4l2_colorsp
10、ace colorspace; _u32 priv; ;,8,V4L2编程 视频采集方式,内核空间和用户空间操作系统一般把系统使用的内存划分成用户空间和内核空间，分别由应用程序管理和操作系统管理。应用程序可以直接访问内存的地址，而内核空间存放的是供内核访问的代码和数据，用户不能直接访问。v4l2捕获的数据，最初是存放在内核空间的，这意味着用户不能直接访问该段内存，必须通过某些手段来转换地址。一共有三种视频采集方式：使用read、write方式：在用户空间和内核空间不断拷贝数据，占用了大量用户内存空间，效率不高。内存映射方式：把设备里的内存映射到应用程序中的内存控件，直接处理设备内存，这是一种有
11、效的方式。用户指针模式：与前种类似，区别在于内存片段由应用程序自己分配。这点需要在v4l2_requestbuffers里将memory字段设置成V4L2_MEMORY_USERPTR。,9,V4L2编程 内存映射方式采集视频,分配设备缓冲：struct v4l2_requestbuffers reqbuf;memset (&reqbuf, 0, sizeof (reqbuf); reqbuf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; reqbuf.memory = V4L2_MEMORY_MMAP; reqbuf.count = 20; if (-1 = ioc
12、tl (fd, VIDIOC_REQBUFS, &reqbuf) if (errno = EINVAL) printf (Video capturing or mmap-streaming is not supportedn); else perror (VIDIOC_REQBUFS); exit (EXIT_FAILURE); exit(-1);,V4L2编程 内存映射方式采集视频,v4l2_requestbuffers结构如下：struct v4l2_requestbuffers _u32 count; /缓存数量，也就是说在缓存队列里保持多少张照片 enum v4l2_buf_type
13、type; / 数据流类型 enum v4l2_memory memory; / V4L2_MEMORY_MMAP或 /V4L2_MEMORY_USERPTR _u32 reserved2;,10,11,V4L2编程 内存映射方式采集视频,获取并记录缓存的物理空间使用VIDIOC_REQBUFS，我们获取了req.count个缓存，下一步通过调用VIDIOC_QUERYBUF命令来获取这些缓存的地址，然后使用mmap函数转换成应用程序中的绝对地址，最后把这段缓存放入缓存队列：,typedef struct VideoBuffer void *start; size_t length; Vide
14、oBuffer;,12,V4L2编程 内存映射方式采集视频,VideoBuffer* buffers = calloc( req.count, sizeof(*buffers) );struct v4l2_buffer buf;for (numBufs = 0; numBufs req.count; numBufs+) memset( &buf, 0, sizeof(buf) ); buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory = V4L2_MEMORY_MMAP; buf.index = numBufs; / 读取缓存地址 if (io
15、ctl(fd, VIDIOC_QUERYBUF, &buf) = -1) return -1; buffersnumBufs.length = buf.length; / 转换成相对地址 buffersnumBufs.start = mmap(NULL, buf.length, PROT_READ | PROT_WRITE, MAP_SHARED,fd, buf.m.offset); if (buffersnumBufs.start = MAP_FAILED) return -1; / 放入缓存队列 if (ioctl(fd, VIDIOC_QBUF, &buf) = -1) return -1; / 放入缓存队列enum v4l2_buf_type type = V4L2_BUF_TYPE_VIDEO_CAPTURE; if (-1 = ioctl (fd, VIDIOC_STREAMON, &type) exit (VIDIOC_STREAMON);,
