《视频编码技术前沿与方向》由会员分享，可在线阅读，更多相关《视频编码技术前沿与方向（49页珍藏版）》请在金锄头文库上搜索。
1、视频编码技术前沿与方向 北京大学数字媒体研究所 提纲 v视频编码技术现状简介 v视频编码技术前沿与方向 基于视觉特性的编码 多维度可伸缩编码 多视/立体视编码 分布式编码 下一代视频编码标准 数字视频应用 传统视频编码技术原理 v传统视频编码方法 从信号处理层面入手，以像 素、块为表示基础 基于香农信息论，采用混合 编码框架：变换 + 预测 + 熵 编码 v视频编码的极限 数学极限 熵 差别感知能力 Weber定律 ， 心理学模型 t+1 t 时间冗余 空间冗余 感知冗余 DCT 视频编码技术发展历程 v编码效率进一步提高已很艰难 色彩空间和变换编码已接近最优 用计算复杂度换取预测增益的空间越
2、来越小 熵编码提高增益的路也不宽 1950 差分预测 编码调制 隔行编码 B帧 P帧 场景自适 应编码 块运动估计 DCT 宏块 混合编码 哈夫曼 编码 变换编码 运动矢量 预测 视频 对象 基于对象 的可分级 编码 容错 一般的 B帧 高级的去块 效率虑波 基于位平面的 可伸缩编码 高精度运 动补偿 基于上下文 的算术编码 2014 多视 编码 分布式 编码 19991985 专利可免费使用专利可免费使用 ISO/IEC MPEG MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC/H.264, MPEG HVC ITU-T VCEG H.261, H.262(MPEG-2
3、), H.263, H.264, VCEG H.NGC 中国 AVS AVS-P2, AVS-S 下一代标准？ 方向、技术？ 年代 MPEG-1 1993 2001 1997 2005 MPEG-4 AVC/H.264 1989 MPEG-2 MPEG-4 2013 AVS 下一代标准 20092017 视频编码标准发展历程 问题分析：客观指标与主观 感知的差异？ 峰值信噪比=6.24峰值信噪比=5.98 一般认为：峰值信噪比与图像质量近似成正比关系。 结论：1、峰值信噪比度量与人的视觉感知并不完全一致！ 2、需要寻求更加符合人类视觉感知的客观度量方法以 及相应的编码理论和方法。 群组编码 稀
4、疏编码 视觉注意 运动感知 视觉机理 视频编码 稀疏编码 JPEG (50倍)JPEG (14倍) 基于视感知的压缩 (200倍) 感知图 v对视觉感知机理的认识逐渐深入，用于视 频编码的潜力很大 可能突破方向：借鉴视觉感知 机理 Guo03, ICCV 提纲 v视频编码技术现状简介 v视频编码技术前沿与方向 基于视觉特性的编码 多维度可伸缩编码 多视/立体视编码 分布式编码 下一代视频编码标准 视网膜侧膝体 人类“眼脑”视觉信息 系统处理基本流程 下颞叶皮质区 信息论视觉信息论 视频编码 理论基础 视频编码 框架与方法 基于数字信号处理的 框架与方法 基于视觉模型的 框架与方法 光学刺激 像
5、素图像块 局部特征 部件/物体 视觉信息表示的 基本粒子结构 基于视觉特性的视频编码 v视觉信息论 从像素到基元（熵） v质量评价方法 与主观感知一致 v编码方法 多维度感知编码、分布式视觉编码 香农信息熵视觉熵 像素集基元词典 扩展 基于视觉特性的视频编码 v技术1：纹理分析合成编码* *Thomas Wiegand: New Techniques for Improved Video Coding 基于视觉特性的视频编码 *Thomas Wiegand: New Techniques for Improved Video Coding v纹理分析合成编码* 实验结果对比 基于视觉特性的视频
6、编码 v技术2：基于Inpainting技术的视频编码* 码率节省达18% *D. Liu; X. Sun; F. Wu; S. Li; Y. Zhang, Image Compression With Edge-Based Inpainting, IEEE- TCSVT, Vol. 17, No. 10, Oct. 2007 pp. 12731287. 基于视觉特性的视频编码 v技术3：视觉感知机理与编码 “像素-基元/纹理-对象-场景” 层次模型 S. Zhu, UCLA 感知 图获 取 结构 感知 合成 纹理 原始 图像 合成 图像 纹理 区域 估计 基于视觉特性的视频编码 基于视觉特性
7、的视频编码 v符合人眼特性的图像/视频质量评价标准 块效应、模糊效应、振铃效应的模型表示 图像/视频库 主观质量评价 视觉失真测度模型 提纲 v视频编码技术现状简介 v视频编码技术前沿与方向 基于视觉特性的编码 多维度可伸缩编码 多视/立体视编码 分布式编码 下一代视频编码标准 传统可伸缩编码 时域可分级 空域可分级 质量可分级 时域可分级 质量可分级 传统可伸缩编码 vH.264 SVC Hierarchical Picture编码, 完全可兼容AVC的SVC编 码方案, 通过层次预测实现时域可分级编码 传统可伸缩编码 H.264 SVC SNR可分级：层间预测 多维度可伸缩视频编码 v可伸
8、缩编码框架：融合时域、空域、质量、注意、动态范围 等的多维度可伸缩编码方法 v注意编码：基于注意模型的感兴趣区域表达、编码及码流优 化截取方法 空域 可伸缩 时域 可伸缩 质量 可伸缩 注意 可伸缩 动态 范围 可伸缩 提纲 v视频编码技术现状简介 v视频编码技术前沿与方向 基于视觉特性的编码 多维度可伸缩编码 多视/立体视编码 分布式编码 下一代视频编码标准 多视编码 v多视采集系统 线阵排列 多视编码 v多视采集系统 弧形排列 多视编码 v采集系统 面阵排列 多视编码 v多视点预测编码H.264 MVC 视内预测 视间预测：消除视间的冗余 多视编码 vH.264 MVC 编码效率 立体视频
9、编码 v立体感的产生 视差原理 立体视频编码 v立体电视与自由视点电视 立体视频编码 v立体显示 戴眼镜观看：互补色、时分立体电视 不戴眼镜即可观看：三维显示器 立体视编码 v多视预测编码 v深度信息获取 立体摄像机直接获取：成本高 双目立体匹配方法：匹配点不唯 一问题，遮挡问题 单目单图示线索方法 ：可利用 图示信息较少，提取深度不准确 其他研究：单目多图示线索方法 立体视编码 纹理图深度图分块模型 v深度信息编码 基于模型的编码，通过编码模型参数来表示深度信息 对相邻帧间深度信息进行差分预测、量化编码 编码过程中的率失真优化 立体电视示范系统 多视点 立体视频 采集装置 自动立体 显示器
10、分时立体 显示器 深度图 生成平台 多视点 立体视频 编码器 直播点播服务器 解码 绘制 终端 现有 视频节目 显示 适配器 网络 立体视编码 v韩国立体电视广播示范系统 2002 FIFA World Cup Korea/Japan (5 games) 提纲 v视频编码技术现状简介 v视频编码技术前沿与方向 基于视觉特性的编码 多维度可伸缩编码 多视/立体视编码 分布式编码 下一代视频编码标准 分布式编码原理 vSlepian-Wolf理论 独立编码信源X,Y也可达到联合熵下界 独立编码相关信源X,Y可在解码端通过联合解码进行重建 满足条件约束 1 Slepian-Wolf, Noisele
11、ss coding of correlated information sources, IEEE trans. on Inf. Theory, 1973. 2 Wyner-Ziv, Recent results in the Shannon theory, IEEE trans on Inf. Theory, 1974. 分布式编码系统 vStandford DVC编码器 以常规方法编码信源Y(Key frame) 以Wyner-Ziv 编码信源X, 通过Slephian-Wolf Coder传送校验 位 分布式编码系统 vBerkeley DVC编码器 PRISM (Power-effic
12、ient Robust hIgh-compression Syndrome- based Multimedia coding)：将高效的预测编码模式和帧内预 测编码模式有效的结合起来，相应地需要： 低复杂度边信息编码 高复杂度边信息解码 分布式编码应用 v独立、低复杂度编码 适合分布式监控、无线传感网络等应用 上行：Wyner-Ziv编码器编码码流传送到级站 下行：级站进行转码，用通用编码器编码，终端采用通用 低复杂度解码器解码 提纲 v视频编码技术现状简介 v视频编码技术前沿与方向 基于视觉特性的编码 多维度可伸缩编码 多视/立体视编码 分布式编码 下一代视频编码标准 下一代视频编码标准 v
13、MPEG HVC, 2009年2月需求文档w10361 两大应用前景 需要支持HD甚至UHD应用的家庭影院、数字相机等 移动终端应用 压缩效率比现有技术有显著提高 图像分辨率支持4Kx2K，甚至高达8Kx4K 支持采样格式 YCbCr4:2:0, YCbCr/RGB 4:4:4，采样精度 最高达14bit 典型帧率支持2460fps，支持灵活帧率 复杂度/性能较好的折中 下一代视频编码标准 vVCEG, H.NGC, Geneva, 27 January - 6 February 2009 编码码率比H.264/AVC再降低50% 编码复杂度低于3倍的H.264/AVC 复杂度增加50%时应能
14、提供25%的码率降低 较好的容错性能 支持8-bit 4:2:0到12-bit 4:4:4编码 分辨率支持8K x 4K，帧率23.976 Hz甚至更高 下一代视频编码标准 v可选择的编码工具 超宏块预测 变块尺寸预测 高精度运动补偿 增强型帧内预测 自适应插值滤波器，运动矢量预测. 下一代视频编码标准 v“Beyond Macroblock based Predictive Beyond Predictive Coding for Ultra HD Video”, w10174_4-2, October 14, 2008 下一代视频编码标准 v变块尺寸预测 下一代视频编码标准 v变块尺寸预测
15、 Triangular Sub-Macroblock Partitioning For Motion Compensated Prediction, w10174, October 14, 2008. 下一代视频编码标准 v1/8像素插值 插值滤波器设计对数据存取的吞吐量、计算复杂度起着重要的影响作 用，例如，AVS 1/2像素插值滤波器为(-1, 5, 5, -1) 与H.264 的(1, -5, 20, 20, -5, 1)相比，插值一个8x8块所需取点数分别为11x11, 13x13 下一代视频编码标准 v增强型帧内预测 Displacement Intra Prediction: 对Intra模式进行本帧内的运动 估计 小结 v视频编码技术现状简介 v视频编码技术前沿与方向 基于视觉特性的编码 多维度可伸缩编码 多视/立体视编码 分布式编码
