《hevc帧内预测》由会员分享，可在线阅读，更多相关《hevc帧内预测（27页珍藏版）》请在金锄头文库上搜索。
1、,光电成像与检测技术实验室,HEVC帧内预测优化算法,报告提纲,HEVC视频编解码算法,1. HEVC视频编码背景,视频发展趋势, 高分辨率：720P、1080P、4Kx2K、8Kx4K 高帧率：30 fps、60fps、120fps、240fps 高压缩率：传输带宽和存储空间,H.264视频编码局限性,宏块小，图像内容信息少，相邻44、88块变换低频系数相似程度大，大量冗余 针对DSP，H.264串行化处理，制约运算性能 运动矢量幅值大幅增加，H.264压缩率低,2.1 HEVC编码流程图,2. HEVC视频编码技术,2.2 HEVC图像分块,图像划分块结构：编码树单元 CTU、编码单元 C
2、U、预测单元 PU、变换单元 TU,编码树单元 CTU 视频序列帧首先被划为一系列编码树单元(CTUs) NN 亮度采样块最大允许尺寸为 6464，N 可以等于 16、32 或 64 大尺寸块划分获得更高的压缩效率，HEVC优先采用 6464 CTB,图像CTU划分,2.2.1 编码单元,编码单元 CU HEVC 中帧间和帧内编码基本的单元，正方形，尺寸大小可以为 6464、3232、1616 和 88 四叉树划分策略 CTU 可以被划分为四个等同的 CU，每个 CU 还可以继续进行四叉树划分 CU 块编码模式：跳过(Skip)模式、帧内(Intra)模式、帧间(Inter)模式,编码单元CU
3、结构,2.2.1 编码单元,视频序列BasketballDrived第一帧图像划分结果,2.2.2 预测单元,预测单元 PU 在编码单元基础上划分 帧内模式， PART_2N2N和PART_NN 帧间8种模式,不同模式的预测单元,2.2.3 变换单元,变换单元 TU 变换和量化过程的基本单元 编码单元 CU 的基础上划分 正方形，尺寸可以为 44、88、1616、3232,变换单元结构,2.2.4 并行化设计,用垂直和水平的边界将图像划分为一些行和列，划分出的矩形区域为一个Tile，每一个Tile包含整数个LCU，Tile之间可以互相独立，以此实现并行处理。,Tile划分示意图,Tile,波前
4、并行处理是以一行CTB为单位,可以同时处理多行CTB,后一行相比前一行会延迟两个CTB。因此,可以进行并行解码,并且不破坏正常的相关性。,WPP示意图,WPP(波前并行处理),2.2.4 并行化设计,2.3 HEVC帧内预测,利用视频帧内像素空间相关性消除空域冗余 HEVC 多角度预测模式，H.264/AVC 预测模式少、精度低 亮度分量帧内预测模式35 种，33 种方向性 预测模式和2种非方向性预测模式，DC和平面(Planar)模式 色度分量帧内预测模式有 5 种，分别是水平模式、垂直模式、DC 模式、Planar 模式、CL 模式,2.3 HEVC帧内预测,预测块将它左边一列和上面一行的
5、像素点作为参考像 素点进行预测，预测像素值由参考像素点的己编码重构像素值通过线性插值得到,2.4 HEVC帧间预测,帧间差值滤波,A,B,b=(-A+4H-11I+40J+40K-11L+4M-B)8,像素插值b的计算方法：,3. 帧内预测优化算法,3.1 代价函数模型,绝对误差和,BlockA（i,j）是指原始图像块A中(i,j)位置的像素点值，BlockB(i, j)是指相同尺寸的图像块B中相应位置的像素点值,相同尺寸的两个块之间对应像素点的差值的绝对值和,3.1 代价函数模型,哈德曼变换绝对误差和,相同尺寸的两个块之间对应像素点的差值经哈德曼变换后的绝对值和,率失真代价函数,权衡的是失真
6、度和信源输出的信息传输率两者的关系，允许一定失真度 D 的情况下，信 源输出的信息传输率可以压缩到 R(D)值,（1）用于预测参数决定的基于 SAD 的代价函数,J为率失真代价，B表示预测所需的比特数,3.1 率失真代价函数,（2）用于运动参数决定的基于 SATD 的代价函数,J为率失真代价，B表示预测所需的比特数,（3）用于模式决定的率失真代价函数,J为率失真代价，SSE图像块亮度、色度 分量误差平方和，w是色度分量的权重系数，B表示模式选择所需比特数,3.2 帧内编码块划分过程,图像划分的块结构有三种：CU、PU、TU ，CU块划分采用四叉树遍历递归的方式，PU块和TU块均以CU块为基础划
7、分， HEVC 帧内编码块划分过程遍历递归了从6464到88大小四叉树块所有可能组合过程,(1) 首先对这个 6464 的块进行预测编码，得到其率失真代价为 RdCost6464； (2) 然后把这个 6464 的块进一步划分为 4 个 3232 块，对第一个 3232 块进行预测编码，得到其率失真代价为 RdCost3232； (3) 再把这个 3232 的块进一步划分为 4 个 1616 块，对第一个 1616 块进行预测编码，得到其率失真代价为 RdCost1616； (4) 再把这个 1616 的块进一步划分为 4 个 88 块，对第一个 88 块进行预测编码，得到其率失真代价为 Rd
8、Cost88，然后依次计算第二个、第三个、第四个88 块的率失真代价，如果四个 88子块的率失真代价之和小于 1616 块的率失真代价，则对当前选择 1616 的块选择四个 88 块划分类型，否则选择 1616 块类型，并依照所选块划分类型计算出此 1616 块划分后的代价 J1616；,3.2 帧内编码块划分过程,64*64 CTU块划分过程,(5) 然后依照步骤(4)进行第二个 1616 块及其 4 个 88 子块、第三个 1616块及其 4 个 88 子块、第四个 1616 块及其 4 个 88 子块的划分并分别依照所选块划分类型计算出 1616 块划分后的率失真代价 J1616； (6
9、) 如果当前 3232 的四个1616 子块的率失真代价之和小于 3232 块的率失真代价，则选择四个 1616 块的划分类型，否则选择 3232 块类型，并依照所选块划分类型计算出 此 3232 块划分后的率失真代价 J3232； (7) 对第二个 3232 块依照步骤(3)、(4)、(5)、(6)依次执行划分过程，并依照划分类型计算出此 3232 块划分后的的率失真代价 J3232；对第三个、第四个3232 块也执行相同步骤进行划分并计算划分后的率失真代价 J3232； (8) 如果四个 3232 子块的率失真代价之和小于 6464 块的率失真代价，则选择四个3232块的划分类型，否则选择
10、6464块类型，并依照所选块类型计算出此6464块划分后的率失真代价 J6464； 至此，6464 树块的块划分过程完成,3.2 帧内编码块划分过程,HEVC 帧内预测算法需要对每个 PU 块执行多种预测模式率失真代价的计算，再遍历递归计算所有层次 CU 块的率失真代价，复杂度非常高。降低帧内预测算法复杂度、加快编码速度是 HEVC 目前需要解决的热点问题,3.3 块划分过程复杂度分析,优化思路： (1)块类型预判断或者提前终止 CU 块的划分 (2)缩小模式选择范围 (3)优化率失真代价函数，用更简单的方法计算率失真代价,a. CU块划分-基于图像特征的块类型预判断,原理：根据图像块的纹理复
11、杂度提前对块类型的选择进行判断，从而避免了一些块的编码，减少帧内预测编码的时间。,利用SAMD来表征图像块的纹理复杂度。它表示图像块的像素值与平均像素值之间的差值的绝对值的总和。 如果SAMD值较小，说明该图像块比较平坦，纹理比较简单； 如果SAMD值较大，说明该图像块比较丰富，纹理比较复杂。,针对6464到88的CU块，可以通过设置上下两个阈值SAMD_Ts和SAMD_Tx，由这两个阈值来提前判断最佳的块类型。,b. CU块划分、预测模式-基于预测残差,预测残差是指原始图像块和预测块之间的差值。预测残差的大小在一定程度上能够反映编码后的码率和图像失真度。,SAD值是当前PU块的所有预测模式中
12、的最小SAD值。 如果SAD比较小，说明当前PU块类型效果较好，直接采用当前块类型； 如果SAD比较大，说明当前PU块类型效果不好，需要进一步分块，采用更小的块类型。,对于6464到88的CU块，如果SAD小于下阈值SAD_Tx，说明当前类型的预测效果较好，则直接采用当前块类型；如果SAD大于上阈值SAD_Ts，说明当前块类型的预测效果不好，则进一步分块，采用更小的块类型。,c. 预测模式-基于步长,四个步长0, 6, 10, 14, 18, 26 两个步长4, 8, 8, 12, 12, 16, 16, 20, 24, 28 假如 4, 6 ，一个步长3, 5 、 5, 7 从3, 5, 7中选择率失真代价最小的模式,d CU块划分、预测模式-基于图像内容纹理,CU块划分-哈德变换 (A) 图像块二维 NHT 系数解析 (B) 基于 NHT 系数的图像块平坦度检测算法 (C) HEVC 帧内 CU 块划分快速算法,CU预测模式选择 方向梯度算法对图像块方向性进行分析,4. 总结与展望,总结： 学习了HEVC视频编解码算法 学习了帧内预测模式优化算法,展望： 学习了HEVC视频编解码源代码 看文献，学习HEVC编码的其它优化思路，从帧间模式选择、运动估计、环路滤波等方面优化算法,Thanks,光电成像与检测技术实验室,
