《视频监控图像处理》由会员分享，可在线阅读，更多相关《视频监控图像处理（31页珍藏版）》请在金锄头文库上搜索。
1、-视频监控及视频图像分析根底知识1 视频监控的定义利用视频技术探测、监视设防区域，实时显示、记录现场图像，检索和显示历史图像的电子系统或网络系统n 视频监控系统是平安技术防的一个子系统n 视频监控技术是平安防技术的一局部它包括模拟视频监控系统、网络视频监控系统。1.1 模拟视频监控图1 模拟视频监控的根本构造1.2 网络视频监控图2 网络视频监控的根本构造n 技术：主要是视频编解码技术、嵌入式技术n 组成：硬盘录像机、摄像机、监视器等n 功能：监视监听、控制、录像、回放、对讲等n 线缆：视频电缆、 485控制线n 主要应用：金融、楼宇、小区等1.2.1 网络视频监控优点n 可通过网络组建低本钱
2、跨区域监控系统n 一机多路，使用大容量硬盘可长期存储n 数字信号长期保存信号不失真n 采用智能检索，检索与录像可同时进展n 循环录像方式，节约人力2 根本概念n 图像Imagen 像素Pi*eln 分辨率Resolutionp 水平：Widthp 垂直：Heightn 视频Videop 时间上连续的图像组成视频：ImageVideop 视频中的*一幅图像称为一帧Framep 帧率Frame RateFPS 每秒的帧数n 码流Bit Streamp 将图像压缩后形成的数据p 码率Bit Ratebps/Bps 对码流进展量化p 码率类型：定码率CBR、变码率VBRp 码流类型：视频流、音频流、复
3、合流2.1 扫描方式隔行扫描Interlaced和逐行扫描Progressive都是在显示设备表示运动图像的方法，隔行扫描方式是每一帧被分割为两场画面交替显示，逐行扫描方式是将每帧的所有画面同时显示。通常的液晶电视显示画面的扫描方法都是从左到右从上到下，每秒钟扫描固定的帧数。2.1.1 隔行扫描(Interlacing隔行扫描就是每一帧被分割为两场，每一场包含了一帧中所有的奇数扫描行或者偶数扫描行，通常是先扫描奇数行得到第一场，然后扫描偶数行得到第二场。由于视觉暂留效应，人眼将会看到平滑的运动而不是闪动的半帧半帧的图像。但是这时会有几乎不会被注意到的闪烁出现，使得人眼容易疲劳。当屏幕的容是横条
4、纹时，这种闪烁特别容易被注意到。2.1.2 逐行扫描(Progressive)逐行扫描每次显示整个扫描帧，如果逐行扫描的帧率和隔行扫描的场率一样，人眼将看到比隔行扫描更平滑的图像，相对于隔行扫描来说闪烁较小。2.2 视频制式n PAL Phase Alternating Line：p 供电频率为50Hz、场频为每秒50场、帧频为每秒25帧、扫描线为625行p 图像彩色误差较小，与黑白电视的兼容也好p 中国、德国n NTSC National Television System mittee：p 供电频率为60Hz，场频为每秒60场，帧频为每秒30帧，扫描线为525行p 美国、日本n SECAM
5、Sequentiel Couleur A Memoire ：p 按顺序传送彩色与存储p 俄罗斯、法国、埃及2.3 分辨率分辨率可以从显示分辨率与图像分辨率两个方向来分类。显示分辨率屏幕分辨率是屏幕图像的精细度，是指显示器所能显示的像素有多少。由于屏幕上的点、线和面都是由像素组成的，显示器可显示的像素越多，画面就越精细，同样的屏幕区域能显示的信息也越多，所以分辨率是个非常重要的性能指标之一。可以把整个图像想象成是一个大型的棋盘，而分辨率的表示方式就是所有经线和纬线穿插点的数目。显示分辨率一定的情况下，显示屏越小图像越清晰，反之，显示屏大小固定时，显示分辨率越高图像越清晰。图像分辨率则是单位英寸中
6、所包含的像素点数，其定义更趋近于分辨率本身的定义分辨率制式WD1D14CIF112CIF1 1/2DCIF3/4 2/3CIF1/2 1/2QCIF1/4 1/4PAL960576720576704576704288528384352288176144NTSC9604807204807044807042405283203522401761202.3.1 高清分辨率分辨率大于等于720p称为高清3 数码监控的根底技术：编码和压缩一路4CIF分辨率的图像，进展A/D转换后未经压缩的数据量是(RGB)：一帧：7045763字节1216512字节不包括文件头大小一秒：1216512字节/帧25帧/秒3
7、0412800字节/秒29MB/秒一小时：29MB/秒3600秒/小时101.9GB/小时一天：101.9GB/小时24小时2.4TB/天3.1 压缩根本原理 安防监控中的视频数据有极强的相关性，有大量的冗余信息 冗余信息分为空域冗余信息和时域冗余信息 压缩技术就是将数据中的冗余信息去掉 压缩技术包括帧压缩技术、帧间压缩技术和熵编码压缩技术3.2 压缩标准监控中主要采用MJPEG、MPEG1/2、MPEG4(SP/ASP)、H.264/AVC等几种视频编码技术Chronological Progression of ITU and MPEG3.2.1 H264概述3.2.2 H264根本原理H
8、264压缩技术主要采用了以下几种方法对视频数据进展压缩。包括： 帧预测压缩，解决的是空域数据冗余问题。 帧间预测压缩运动估计与补偿，解决的是时域数据冗余问题。 整数离散余弦变换DCT，将空间上的相关性变为频域上无关的数据然后进展量化。 CABAC压缩。经过压缩后的帧分为：I帧，P帧和B帧: I帧：关键帧，采用帧压缩技术。 P帧：向前参考帧，在压缩时，只参考前面已经处理的帧。采用帧音压缩技术。 B帧：双向参考帧，在压缩时，它即参考前而的帧，又参考它后面的帧。采用帧间压缩技术。除了I/P/B帧外，还有图像序列GOP。 GOP:两个I帧之间是一个图像序列，在一个图像序列中只有一个I帧。如下列图所示：
9、下面我们就来详细描述一下H264压缩技术。3.2.3 H264压缩技术H264的根本原理其实非常简单，下我们就简单的描述一下H264压缩数据的过程。通过摄像头采集到的视频帧按每秒 30 帧算，被送到 H264 编码器的缓冲区中。编码器先要为每一幅图片划分宏块。以下面这图为例:3.2.3.1 划分宏块H264默认是使用 16*16 大小的区域作为一个宏块，也可以划分成 8*8 大小。划分好宏块后，计算宏块的象素值。以此类推，计算一幅图像中每个宏块的像素值，所有宏块都处理完后如下面的样子。3.2.3.2 划分子块H264比照拟平坦的图像使用 16*16 大小的宏块。但为了更高的压缩率，还可以在 1
10、6*16 的宏块上更划分出更小的子块。子块的大小可以是 8*16 16*8 8*8 4*8 8*4 4*4非常的灵活。上幅图中，红框的 16*16 宏块局部是蓝色背景，而三只鹰的局部图像被划在了该宏块，为了更好的处理三只鹰的局部图像，H264就在 16*16 的宏块又划分出了多个子块。这样再经过帧压缩，可以得到更高效的数据。下列图是分别使用mpeg-2和H264对上面宏块进展压缩后的结果。其中左半局部为MPEG-2子块划分后压缩的结果，右半局部为H264的子块划压缩后的结果，可以看出H264的划分方法更具优势。宏块划分好后，就可以对H264编码器缓存中的所有图片进展分组了。3.2.3.3 帧分
11、组对于视频数据主要有两类数据冗余，一类是时间上的数据冗余，另一类是空间上的数据冗余。其中时间上的数据冗余是最大的。下面我们就先来说说视频数据时间上的冗余问题。为什么说时间上的冗余是最大的呢？假设摄像头每秒抓取30帧，这30帧的数据大局部情况下都是相关联的。也有可能不止30帧的的数据，可能几十帧，上百帧的数据都是关联特别密切的。对于这些关联特别密切的帧，其实我们只需要保存一帧的数据，其它帧都可以通过这一帧再按*种规则预测出来，所以说视频数据在时间上的冗余是最多的。为了到达相关帧通过预测的方法来压缩数据，就需要将视频帧进展分组。则如何判定*些帧关系密切，可以划为一组呢？我们来看一下例子，下面是捕获
12、的一组运动的台球的视频帧，台球从右上角滚到了左下角。H264编码器会按顺序，每次取出两幅相邻的帧进展宏块比拟，计算两帧的相似度。如下列图：通过宏块扫描与宏块搜索可以发现这两个帧的关联度是非常高的。进而发现这一组帧的关联度都是非常高的。因此，上面这几帧就可以划分为一组。其算法是：在相邻几幅图像画面中，一般有差异的像素只有10%以的点,亮度差值变化不超过2%，而色度差值的变化只有1%以，我们认为这样的图可以分到一组。在这样一组帧中，经过编码后，我们只保存第一帖的完整数据，其它帧都通过参考上一帧计算出来。我们称第一帧为IDRI帧，其它帧我们称为PB帧，这样编码后的数据帧组我们称为GOP。3.2.3.
13、4 运动估计与补偿在H264编码器中将帧分组后，就要计算帧组物体的运动矢量了。还以上面运动的台球视频帧为例，我们来看一下它是如何计算运动矢量的。H264编码器首先按顺序从缓冲区头部取出两帧视频数据，然后进展宏块扫描。当发现其中一幅图片中有物体时，就在另一幅图的邻近位置搜索窗口中进展搜索。如果此时在另一幅图中找到该物体，则就可以计算出物体的运动矢量了。下面这幅图就是搜索后的台球移动的位置。通过上图中台球位置相差，就可以计算出台图运行的方向和距离。H264依次把每一帧中球移动的距离和方向都记录下来就成了下面的样子。运动矢量计算出来后，将一样局部也就是绿色局部减去，就得到了补偿数据。我们最终只需要将
14、补偿数据进展压缩保存，以后在解码时就可以恢复原图了。压缩补偿后的数据只需要记录很少的一点数据。如下所示：我们把运动矢量与补偿称为帧间压缩技术，它解决的是视频帧在时间上的数据冗余。除了帧间压缩，帧也要进展数据压缩，帧数据压缩解决的是空间上的数据冗余。下面我们就来介绍一下帧压缩技术。3.2.3.5 帧预测人眼对图象都有一个识别度，对低频的亮度很敏感，对高频的亮度不太敏感。所以基于一些研究，可以将一幅图像中人眼不敏感的数据去除掉。这样就提出了帧预测技术。H264的帧压缩与JPEG很相似。一幅图像被划分好宏块后，对每个宏块可以进展 9 种模式的预测。找出与原图最接近的一种预测模式。下面这幅图是对整幅图
15、中的每个宏块进展预测的过程。帧预测后的图像与原始图像的比照方下：然后，将原始图像与帧预测后的图像相减得残差值。再将我们之前得到的预测模式信息一起保存起来，这样我们就可以在解码时恢复原图了。效果如下：经过帧与帧间的压缩后，虽然数据有大幅减少，但还有优化的空间。3.2.3.6 对残差数据做DCT可以将残差数据做整数离散余弦变换，去掉数据的相关性，进一步压缩数据。如下列图所示，左侧为原数据的宏块，右侧为计算出的残差数据的宏块。将残差数据宏块数字化后如下列图所示：将残差数据宏块进展 DCT 转换。去掉相关联的数据后，我们可以看出数据被进一步压缩了。做完 DCT 后，还不够，还要进展 CABAC 进展无损压缩。3.2.3.7 CABAC
