《HEVC_H.265视频编码标准调研_与编码软件设计文章教学案例》由会员分享，可在线阅读，更多相关《HEVC_H.265视频编码标准调研_与编码软件设计文章教学案例（28页珍藏版）》请在金锄头文库上搜索。
1、暑 期 社 会 实 践 报 告题目：HEVC/H.265视频编码标准调研与编码软件设计 目 录第 1 章HEVC/H.265视频编码技术11.1HEVC视频编码标准中的基本概念11.1.1HEVC中的图像划分方式11.1.2HEVC中图像处理单元31.1.3HEVC中的编码方式51.2HEVC中的关键技术51.2.1图像划分方式51.2.2并行处理方式61.2.3帧内预测81.2.4运动信息编码方式91.2.5非整数像素点样本插值101.2.6整数变换方式111.2.7CABAC 熵编码111.2.8环路滤波121.3HEVC编码器基本流程121.4HEVC解码器基本流程141.5HEVC视频
2、编/解码器的硬件实现16第 2 章基于HEVC的编码软件设计172.1软件界面172.2软件使用说明17插图索引24参考文献251第 1 章 HEVC/H.265视频编码技术1.1 HEVC视频编码标准中的基本概念 汪建军. HEVC 视频编解码标准研究及解析模块设计D. 山东大学, 2014., 蒋炜. H. 264 到 HEVC 视频转码技术研究D. 浙江大学, 2013., 赵耀, 黄晗, 林春雨, 等. 新一代视频编码标准 HEVC 的关键技术J. 数据采集与处理, 2014, 29(1): 1-10., 周承涛. HEVC 编码快速算法关键技术研究D. 浙江大学, 2014., 刘昱
3、, 胡晓爽, 段继忠. 新一代视频编码技术 HEVC 算法分析及比较J. 电视技术, 2012, 36(20): 45-49.1.1.1 HEVC中的图像划分方式视频编解码中，一般将每帧图像分块处理，随着视频分辨率的不断增大，使用更大的块尺寸可以明显地提高编码效率，因为对于更高分辨率的视频序列，较小的块尺寸可能不足以捕获图像空间上的相关性，不能更有效地去除图像空间上的冗余信息，从而不能有效地对视频进行压缩。因此与H.264中所采用的基于1616固定尺寸宏块MB(niacro block)的图像划分方式不同，HEVC中采用了一种更优化的图像划分方式。HEVC中图像划分的基本单元为编码树单元CTU
4、(coding tree unit)。CTU的尺寸最大为6464，最小为88，而每一个CTU还可以采用四叉树的结构进行再分，四叉树的末端单元被称为编码单元CU(Ccoding unit)，概念与H.264中的宏块类似。图 1.1所示为HEVC中一个6464大小的CTU的一种划分方式及其相应的四叉树结构。图 1.1 6464深度为4的CTU划分 (a) CTU划分(b)相应的四叉树结构在HEVC中，“单元”和“块”是两个相对应的概念，后者一般指一系列的采样点矩阵，而前者还包含相应的语法信息。如编码树块单元CTU包括编码树块CTB(coding tree block)和相应的语法信息，预测单元PU
5、包含预测块PB(prediction block)和相应的语法信息，变换单元TU包含变换块TB(transfomi block)和相应的语法信息。HEVC中，CTU是图像划分的基本单元，将该基本单元按照一定的方式进行排列，可以构成HEVC中的另外两种图像划分方式，slice和tile：1) slice：与H.264中的slice概念相近，slice由一系列的slice segment组成，每个slice segment是指一帧图像中按照光栅扫描顺序排列的CTU序列集合，如图 1.2所示。slice segment又分为独立片段(Independent slice segment)与非独立片段(
6、dependent slice segment)，解码时，独立片段中含有当前slice中的一些全局配置信息，且不同slice之间可以并行解码。图 1.2 HEVC中slice示意图2) tile： tile也是一系列按光栅扫描顺序的CTU序列的合集，与slice不同的是，tile的边界为规则的矩形，如图 1.3所示。在解码时，不同tile之间也可以并行解码。图 1.3 HEVC中tile示意图1.1.2 HEVC中图像处理单元HEVC中，CTU按四叉树结构划分所得的末端单元被称为编码单元CU(coding unit)， CU是HEVC编解码时的最基本单元，编码处理过程的预测、量化、变换、滤波、
7、炮编码等都是以CU为基本单位。CU的尺寸由比特流中的相应语法元素来限制，每个CU主要包括两部分，预测单元PU及变换树。预测单元(PU)是HEVC中图像预测的基本单元，PU可以按照图 1.4所示进行再分，其中对于采用帧内预测的预测单元只能采用前两种划分方式，采用帧间预测的预测单元共有图中所示的八种划分方式。预测单元在编码的比特流中主要包含预测模式及相应的运动信息。图 1.4 HEVC中PU的划分方式变换单元(TU)是HEVC中图像变换的基本单元。与H.264不同的是，HEVC中对于每一个CU，采用了四叉树的结构进行变换单元的划分，四叉树的末端单元被称为变换单元(TU)，如图 1.5所示。TU的尺
8、寸最大为3232，最小为44。TU中主要包含残差信息。图 1.5 HEVC中CTU中变换单元划分方式，虚线表示TU1.1.3 HEVC中的编码方式HEVC中处理不同的视频信号时，可根据需求采用如下四种编码模式：1) 常规编码模式：即常见的混合编码方式，在该模式下，图像经过变换、量化、预测、熵编码等一系列处理环节。该编码模式适应于大多数的视频信号，编码效率较高。2) I_PCM模式：在该模式下，图像不经过变换、量化、预测、熵编码等一系列的环节，而是直接编码每个像素点的具体像素值。该模式一般用于信号特征不明显的非常规信号，如噪声信号。3) 旁路变换模式：编码时，对某些变换块不使用图像变换。该模式仅
9、适用于44大小的变换块。4) 无损模式：在该模式下，所有影响信号的无损重建的环节均未使用，如量化、预测、环路滤波等。1.2 HEVC中的关键技术1,2,3,4,51.2.1 图像划分方式H.264中，图像的基本划分单元为宏块，宏块尺寸固定为1616，而HEVC中图像的基本划分单元为编码树单元，且编码树单元可以采用四叉树结构进行更灵活的再分。这种更优化的编码树单元结构，相比于H.264中1616宏块与子宏块的划分方式，有以下几点好处：(1)可以更好的适应高清视频编码效率的需求，1616的宏块大小，对于高分辨率的视频，已经很难捕获视频空间上的相关性，进而无法满足更高分辨率视频对于编码效率的要求;(
10、2)使编码器在编码时有更高的自由度，对于变化量很少的图像块，编码器可以选择用更大的CU，而并非采用多个更小的宏块;此外，编码器还可以根据不同的视频分辨率、视频中场景变化的丰富程度更灵活地选择编码树尺寸及编码树深度，如对于CIF(352288)格式的视频，尺寸为1616，最大深度为2的CTU结构较为合适，对于1080p场景变化较单一的视频，6464，最大深度为2的CTU结构较为合适，而对于1080p场景变化较丰富的视频，则最好选择6464，最大深度为4的CTU结构，如图 1.6所示;图 1.6 对于不同视频的CTU及CU尺寸的选取(3)采用统一的CU作为编解码处理的基本单元，而不采用宏块加子宏块
11、的划分方式，使得码流结构更简洁统一，且编解码操作也更加简单一致。1.2.2 并行处理方式HEVC的编码码率降低的同时，复杂度也有相应的提高，为了适应对于高分辨率视频的实时编解码需求，HEVC在并行化处理方面作了如下改进：1) 基于slice的并行处理方式：HEVC中每个slice可以独立地进行解码，故不同slice之间解码可以实现并行化，但是slice打破了帧间预测的相关性，因此造成了编码效率的降低，且在使用时，需要提前确定不同slice在码流中的位置，给设计带来了额外的计算复杂度。实际应用中，基于slice的并行化处理使用得较少，slice的概念主要是利用隐藏错误。2) 基于tile的并行处
12、理方式：tile与slice类似，但是tile的设计主要是为了提高处理的并行度。在并行处理中，典型的tile配置是把一顿图像分为若干个tile，每个tile含有均等数目的CTU。处理时，不同tile之间可以并行处理。与slice类似，基于tile的并行化处理方式也打破了预测的相关性，造成了一定程度的图像失真，另一方面，解码端也要能够确定出每个tile在码流中的位置，这也使得复杂度有了一定的提高。3) Wavefront Parallel Processing (WPP)： WPP 是 HEVC 新引近的一种并行化处理方式。在该方式中，一幅图像被分割为若干CTU行，第一行的CTU被正常处理，第二
13、行的CTU在第一行的前两个CTU被处理完后进行处理，第三行在第二行的前两个CTU被处理完后开始被处理，依此类推，如图 1.7所示。HEVC中基于上下文的熵解码在处理上有两个CTU的延时，故在WPP并行处理中，下一行总在前一行的前两个CTU结束后被处理，这样行与行之间可以并行进行，同时保持了行与行之间的相关性。这种方式在保证图像编解码质量的前提下，大幅度地提高了硬件处理并行度。图 1.7 HEVC中WPP并行处理方式示意图1.2.3 帧内预测HEVC在帧内预测技术上做了较多的改进。首先，为了适应更大的编码树单元结构，HEVC对于帧内预测的预测模式有了较大的改动。与其它标准类似，HEVC中帧内预测
14、模式依然分为DC预测模式、平面预测模式及角度预测模式三类。H.264共采用了8种角度预测模式，而HEVC共有33种角度预测模式。HEVC中35种预测模式如图 1.8所示。图 1.8 HEVC中35种帧内预测模式其次，在帧内预测模式的编码方面，HEVC与H.264也有一些区别。H.264中，码流中只含有当前预测块的一个最可能预测模式，而HEVC中共使用三种最可能预测模式，在传输时，码流中包含的是最可能预测模式的索引值或预测模式的实际值。在编码端，HEVC首先进行帧内估计，遍历HEVC中的35种帧内预测模式，然后从中选出最佳的预测模式，同时，编码端利用相邻块中的帧内预测模式建立一个长度为3的最可能
15、预测模式列表，如果之前帧内估计所得的最佳预测模式在该列表中，则将该模式在最可能预测模式列表中的索引值进行编码传输，否则显示地传送帧内估计所得的最佳预测模式。在解码时进行相对应的操作来获取当前预测块的帧内预测模式。在帧内预测方面，除了帧内预测模式的总数、帧内预测模式的获取方式外，HEVC在样本点的平滑滤波、每个模式下样本点的具体预测方式等方面也作了一些改进。1.2.4 运动信息编码方式在H.264中，运动信息的获取有以下几种方式：1) skip模式：码流中不包含当前预测块的运动信息残差，也不包含当前块的残差系数。解码时，解码端按照一定的规则推导出当前预测块的运动向量，然后根据该运动向量，直接从参考图像中取出对应块的样本信息，作为当前块的重建样本。2) direct模式：码流中不包含当前预测块的运动信息残差，但包含当前块的残差系数。解码时，解码端按照一定的规则推导出当前预测块的运动向量，然后根据该运动向量，从参考图像中取出对应块的样本信息，作为当前块的预测样本，再与反变换后的残差样本相加，重构出当前编码块的样本信息。3) 常规模式：码流中既包含当前预测块的运动信息残差，也包含当前块的残差系数。解码
