《华为VME+H.264 HP双核处理技术白皮书1.1》由会员分享，可在线阅读，更多相关《华为VME+H.264 HP双核处理技术白皮书1.1（16页珍藏版）》请在金锄头文库上搜索。
1、HUAWEI VideoConference WhitePaperVME+H.264HP :为您提供“双核”视频体验华为 VME+H.264 HP 双核处理技术白皮书2017-8-14 第 3 页, 共 17 页1. 概述高清视频通信的广泛应用及其背后的巨大市场前景，积极推动视频压缩、传输技术的发展。从标清到高清，从高清到低带宽高清，华为依托强大的研发能力及技术优势，长期专注的视讯发展定位，持续为客户提供最优体验，最具性价比的视讯解决方案。目前视频通信业界普遍采用H.264 Baseline Profile编码，主要基于其算法简单，硬件实现成本低，但在现有的网络环境中，使用H.264 BP构造
2、高清（HD）视频会议系统所需要的带宽及网络适应性也一直为客户所关注。H.264 HP（High Profile）编码标准可以有效解决上述问题，华为从未停止对H.264 HP的产品化研究，一直致力于为客户提供最具性价比的H.264 HP解决方案，并最终推动整个视频通信领域发展。在未来的视频会议场景中，每个屏幕上的图像分辨率至少为19201080，假设帧频为30帧/秒，采用4:2:0格式，未经压缩前的码率可以达到746Mbit/s ，如果直接在现有的信道中传输，需要有相当大的带宽，为了能在较低带宽下达到使用效果，且不丢帧，则必须对图像进行高度压缩，必然会带来图像的高损伤。后处理增强技术就是为了消除
3、在高损伤视频压缩下图像的负面效果，采用自适应滤波及清晰化的方法，来改善画面质量、提升观赏质量和视觉效果。本白皮书概括性的阐述华为视频H.264 HP解决方案，及配套华为自主知识产权的创新性视频处理技术 VME(Video Motion Enhance)。1.1. H.264 High Profile编码H.264是ITU-T的VCEG（DS 视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）的联合视频组（JVT：joint video team）开发的一个新的数字视频编码标准。H.264有四种画质级别，分别是BP、EP 、MP、HP：1） BP-Baseline Profile：
4、基本画质。支持 I/P 帧，只支持无交错（Progressive ）和CAVLC 。主要应用于针对交互式的应用（如视频电话或视频会议）。2） EP-Extended profile：进阶画质。支持I/P/B/SP/SI 帧，只支持无交华为 VME+H.264 HP 双核处理技术白皮书2017-8-14 第 4 页, 共 17 页错（Progressive ）和CAVLC 。主要应用于视频广播（如电视广播）。3） MP-Main profile：主流画质。提供I/P/B 帧，支持无交错（Progressive ）和交错（Interlaced），也支持CAVLC 和CABAC 的支持。主要应用于流
5、媒体（如网络视频）。4）HP-High profile：高级画质。在 main Profile 的基础上增加了8x8内部预测、自定义量化、无损视频编码和更多的YUV 格式。主要应用于需要更高精度视频压缩的领域(如视频会议)。为了进一步拓展H.264在苛刻的专业级应用环境的应用， JVT着手制定了一套新的档次，统称为High Profile。High Profile在Baseline Profile 的基础上主要增加了B-slice 、加权预测、场编码、 CABAC、8X8变换、自适应量化距阵等几项主要技术，使得视频的压缩率相比较于Baseline Profile有了很大地提升。1.2. VME
6、 活动图像增强华为VME活动图像增强技术，是为增强视频清晰度和人眼舒适度的图像增强处理算法。通过对活动图像的降噪处理、边缘效果的增强、块状效应的去除、清晰化处理及图像模式的调节等技术有效的对视频质量进行改善，从而为客户提供身临其境的视频感官效果。2. 低带宽技术在1080p512K、720p384K、D1128K等低带宽场景下，为进一步提高视频压缩的主观质量，采用基于ROI技术的编码算法，相对于不使用 ROI技术的同一个视频压缩算法，可以节省20%的视频带宽，同时在解码后可以保持人眼感兴趣区域的质量，提升用户的体验效果。超低带宽视频传输涉及三大模块：ROI区域检测增强、视频压缩、视频后处理。
7、基于ROI的区域检测融合模块，在视频会议过程中，通过智能的算法完成视觉智能分析，从输入视频中提炼出人眼敏感和不敏感的视觉关注区域，将不同类型的视觉区域信息进行融合并输给视频压缩模块，以达到分区域智能压缩的目的，确保将有限的带宽资源真正分配到人眼最关注的重点区域，实现优先保障人眼敏感华为 VME+H.264 HP 双核处理技术白皮书2017-8-14 第 5 页, 共 17 页区域的压缩质量的处理过程； 视频压缩模块是基于H264-HP为算法基础的视频压缩处理过程，和H264-BP时期不同的是，基于H264-HP的视频压缩算法使用了更多的视频压缩工具，包括：CABAC、长期背景参考帧、ROI码率
8、控制、8x8自适应变换、自定义量化级、单Slice帧等； 视频后处理模块主要包括，针对超低带宽压缩引入的编码损伤效应（比如振铃效应、块效应、拖尾效应、纹理残留效应等），根据解码器输出的参数信息进行不等级别的后处理滤波处理，同时将滤波后的图像进行增强和帧率倍增等处理，达到视觉效果的提升。超低带宽视频传输的整体整体架构如下图所示：Figure 图 1 ROI 技术总体方案2.1. H.264 HP编码技术在视频会议领域，High Profile新增几个方法相对于Baseline Profile在压缩效率上有一定的提升：HP的CABAC 编码比BP的CAVLC 编码能节省10%20% 的码率，HP的
9、8x8 块变换比BP 的4x4块变换节省约5%的码率，HP的场编码比BP的帧编码也能节省大量的码率。从而实现了在视频会议通信领域高效严格的压缩比华为 VME+H.264 HP 双核处理技术白皮书2017-8-14 第 6 页, 共 17 页和在视频压缩后残差系数较低的要求，保证了在有限的网络带宽资源中传输高质量的视频信号。超低带宽的编码使用的是基于H264-HP的编码框架，可以兼容H264-BP算法工具（主要针对Viewpoint 903X系列使用的H264-BP 工具集），包括1/4像素和半像素、16x16到4x4的不同格式MB划分、帧内预测、CAVLC、4x4变换等baselineProf
10、ile工具。基于 H264-HP的编码框架，还引入了以下工具： CABAC：属于 H264-MP/HP制定的一种算术编码方式，其效率比CAVLC有提高，综合考虑可以节省15%左右的码率； 长期背景参考帧：考虑到视频会议场景，摄像头比较固定，背景作为长期参考的效率是比较高的，因此可以设定背景图像帧作为长期参考帧，在整个编码过程中都使用背景帧编码； ROI码率控制：使用ROI检测和融合模块输入的ROI区域MB掩码信息，将码率重点分配给ROI优先级高的图像区域，确保 ROI优先级高的视频效果； 自定义量化级：H264-HP可以支持Lum使用Scaling_matrix表格进行自定义量化级别，这样可以
11、给各个MB进行自定义的量化参数；另外对于色度Chr，H264-HP 支持色度和Lum不一致的量化级别，可以单独定义色度的量化级，给人眼敏感度较弱的色度信息使用和Lum不同级别的压缩； 单Slice 帧：单 Slice帧本身属于 BaselineProfile的工具，只是以前的版本考虑兼容性一直都没有使用，在升级到H264-HP场景后，编码压缩可以使用单Slice帧。相对于单帧多Slice ，单 Slice帧本身可以提高跨 Slice之间的预测（包括MB 类型、MV 、帧内预测、Deblocking各工具）； 自适应8x8量化：H264-HP可以支持基于8x8残差的变换，这种方式对于残差平坦区域
12、，相对于4x4量化可以进一步减少变换系数；2.2. 基于ROI智能视频压缩技术尽管H.264/AVC取得了很大成功，但是人们还希望进一步提高编码效率以节约更多带宽。考虑到视频流的最终接受体为人眼，因此人眼对视频流的观测特性可以被编码器利用。对于那些人眼感兴趣的区域，可以分配更多比特和计算资源，对于那些人眼不太关注的区域，可以分配较少的比特和计算资源，这就是基于人眼感知特性的智能视频压缩技术的核心。从视频压缩效率的角度来看，根据人眼视觉系统(HVS)的特性，视频压缩算法有可能在达到相同压缩质量的情况下，消耗更少的编码比特，这对于提高视频压缩的效率无疑有着重大的意义。具体到实际应用，在带宽资源有限
13、的条件华为 VME+H.264 HP 双核处理技术白皮书2017-8-14 第 7 页, 共 17 页下，特别是面对低码率的应用环境，视频压缩算法可以将主要码率和计算资源分配给人眼感兴趣的区域，从而保证甚至改善视频图像的主观视觉质量。在视频会议系统中，最显而易见的人眼感兴趣区域为：人脸区域、肤色区域、运动区域、文字区域以及区别于周边物体的特殊物体等。下图列出了部分人眼感兴趣区：Figure 图 2 关键人眼感兴趣区人最容易感兴趣的区域一般是经过长期学习过程才会对某些特定区域感兴趣的。在视频会议系统中，最显而易见的人眼感兴趣区域为：人脸区域、肤色区域、运动区域、文字区域以及区别于周边物体的特殊物
14、体等。下图给出了一般视频会议场景的感兴趣区示意图：华为 VME+H.264 HP 双核处理技术白皮书2017-8-14 第 8 页, 共 17 页Figure 图 3 一般视频会议场景的人眼敏感/非敏感区示意图基于感兴趣区的智能视频压缩,主要分为智能检测技术、智能视频压缩技术和智能超清晰化技术。 智能检测技术:Figure 图 4 智能视频检测技术智能视频检测技术让被检测人或物无处可躲。 智能视频压缩技术华为 VME+H.264 HP 双核处理技术白皮书2017-8-14 第 9 页, 共 17 页Figure 图 5 未开启和开启智能视频压缩效果对比示意图由于人脸区域是人眼关注区。在视频会议
15、中，更关注人脸区域，其他区域被人眼弱化了，故而受到智能压缩技术保护的人脸。区域的右图比左图的主观感受要好很多。从上面的图中，我们能明显感觉到：1. 右图图像中人的脸部区域比左图更加清晰和锐利；2. 其他区域图像质量较差些，二者比较接近； 智能超清晰化技术（a）未启用超清晰化技术 （b）启用超清晰化技术Figure 图 6 未启用和启用超清晰化技术对比示意图经过超清晰化处理后，右图无论从清晰度、色度、对比度，均大大强于左图效果。基于人眼兴趣区智能视频压缩技术，优先分配给人眼感兴趣区的比特资源和计算资源分配。H.264最优编码模式与人眼兴趣区内在关联，实现了基于人眼华为 VME+H.264 HP
16、双核处理技术白皮书2017-8-14 第 10 页, 共 17 页感兴趣区的比特资源和计算资源优化分配。该智能压缩技术可以有效改善视觉重要区域的视频编码质量，或在主观视频质量几乎无损的情况下，可以有效地节省码率。能够在超低带宽下，节省带宽50%，384K带宽实现720P效果、512K带宽(每屏幕 )实现1080P效果。能够为客户带来更佳的视频体验的同时，可为客户节省大量金钱。2.3. 倍侦技术在视频会议领域，为了满足较低带宽应用的要求，往往需要在编码端采用丢帧的办法来降低时间分辨率，以满足带宽要求，而在解码端再利用插帧的方法恢复丢弃的帧，以提高视频质量，满足人们的视觉需求。在这样的背景下，帧率上采样技术应运而生。帧率上采样是一种将视频帧率从较低帧数变换到较高帧数的一项技术，主要应用于低比特率视频系统的码率恢复以及无线视频通信系统的缺帧重构等领域，能有效提高视频质量，满足人们的视觉需求。最简单的帧率上采样方法是帧重
