《根据先前的图像增强来增强视频图像的制作方法》由会员分享，可在线阅读，更多相关《根据先前的图像增强来增强视频图像的制作方法（5页珍藏版）》请在金锄头文库上搜索。
1、根据先前的图像增强来增强视频图像的制作方法专利名称：根据先前的图像增强来增强视频图像的制作方法技术领域：本发明涉及视频图像处理领域，更具体地涉及增强视频流的后续图像，在所述视频流中使用预测和运动估计来根据前帧编码帧。背景技术： 本领域技术人员可以参阅描述增强视频图像的US6259472和US5862254。在此全文引入以供参考。发明内容本发明中，一种包含基于已编码帧的视频信息的视频流被接收。该视频流包括已编码第一帧和已编码第二帧。第二帧的编码依赖第一帧的编码。更具体地，第二帧的编码包括指示第二帧区域与第一帧对应区域之间的位置差异的运动向量，该运动向量定义第二帧区域与第一帧区域之间的对应关系。第
2、一帧被解码，并且使用基于区域的分析确定已解码第一帧的视频增强的再映射策略。已解码第一帧的区域根据为第一帧所确定的视频增强再映射策略被再映射，以便增强第一帧。第二帧的运动向量从视频流中被恢复，并且第二帧被解码。随后使用第一帧区域的基于区域的视频增强再映射策略来再映射对应于第一帧区域的第二帧区域，以便增强第二帧。对后续帧再用前帧的视频增强再映射策略极大地降低了提供视频增强所要求的处理。本发明的另一方面中，依赖第二帧区域与第一帧对应区域之间的相似性是否满足相似性准则来选择第二帧的一个或多个区域。根据第一帧的基于区域的视频增强再映射策略的第二帧区域的再映射仅对第二帧的所选择区域执行。将前帧的视频增强再
3、映射策略的再用仅限定在与前帧充分相似的后续帧的区域，这增加了后续帧被增强的可能性。一种使用本发明解码器的机顶盒在最小附加硬件成本情况下提供增强的视频图像。在视频盘播放机上使用本发明的解码器可在相同视觉质量情况下允许视频盘上图像组的更高压缩比。使用本发明解码器的电视机能够播放更高质量的视频图像，或者能够使用更高压缩比的视频信号同时提供与低压缩比信号相同的质量。从以下参考附图的详细说明，本发明的附加方面和优点对本领域技术人员来说将变得显而易见。图1说明本发明的基于区域增强后续视频图像的示例方法。图2示出本发明的用于提供基于区域增强的后续视频图像的示例解码器的部分。图3示出使用图2解码器的示例机顶盒
4、的部分。图4说明使用图2解码器的示例DVD播放器的部分。图5示出使用图2解码器的示例电视机的部分。在下面的中，不同图中的相同的标号指示相似的设备。方便起见，此类设备将只关于它们最先出现的图进行详述。具体实施例方式图1示出本发明方法的特定实施例100。在102，视频流被接收。该流包括图像组(GOP)的编码信息，GOP中的第一图像为帧内编码帧(I帧)，并且GOP中的后续帧为非I帧。后续非I帧的解码依赖I帧的编码。视频流可为例如数据包的MPEG II流，此情况下非I帧可为例如预测帧(P帧)和/或双向帧(B帧)。但是，其它任何类型的基于GOP的视频流，只要其包括根据前帧编码的后续帧，都可被使用。在10
5、4，I帧被解码。I帧的解码是本领域内众所周知的。在106，用于再映射亮度值以便调整对比度的再映射策略被确定，用以增强已解码I帧。再映射策略可使用基于区域的亮度分析。使用此分析为已解码帧的区域确定再映射策略的方法是众所周知的，本领域的技术人员可参考公开此亮度值再映射的US6259472和US5862254。在108，已解码I帧的亮度值根据所确定的再映射策略而被再映射。在108，如本领域内众所周知的，后续非I帧的运动向量从视频流中被恢复。通常，运动向量为I帧区域与依赖该I帧编码的非I帧的对应区域之间的位置差异。区域可以是相似亮度的区域或相似纹理的区域，或者帧之间的任何其它预定义的相似性可被用来定义
6、区域。在110，如本领域内众所周知的，后续非I帧的DC系数从视频流中被恢复。通常，DC系数为运动估计之后I帧的图像块的值与非I帧的对应图像块的预定值之间的差异。运动估计通常为依赖解码期间运动向量的区域的再映射。在112，非I帧区域中的亮度值依赖I帧对应区域的再映射策略而被再映射，以便调整对比度来增强该非I帧。区域之间的对应关系根据运动向量而被确定。如果后续非I帧的区域更相似于I帧(其为解码该非I帧所依赖的I帧)的对应区域，则使用为再映射对应的I帧区域的亮度值而开发的再映射策略来再映射该非I帧区域的亮度值更可能增强该非I帧。另一方面，如果非I帧区域显著不同于I帧的对应区域，则使用I帧对应区域的亮
7、度值的再映射策略来再映射非I帧区域的亮度值就不大可能增强该非I帧，并且实际上甚至可能降低该非I帧的质量。使用用于再映射I帧的策略为已增强对比度来再映射后续帧极大地降低了对比度增强所要求的开销。通常用于改进I帧质量的任何基于区域的视频处理都能够以类似方式被应用到后续非I帧的对应区域。非I帧的亮度值的再映射还依赖于该非I帧的区域块的DC系数，该非I帧的解码依赖此DC系数。通常，区域的DC系数的较小值指示在运动补偿后该区域很可能相似于I帧中的对应区域。因此，当其确定的DC系数相对较高时，则I帧的亮度值的再映射策略不被用来再映射非I帧的亮度值。这可以通过使用可以是预定常值或为每个区域计算的可变值的DC
8、系数阀值，并且接着仅当DC系数值低于阀值时才使用I帧的再映射策略来再映射区域的亮度值来确定。本领域的技术人员能够轻松地确定帧中区域的标准预定DC系数阀值、或一种计算帧中每个区域DC系数阀值的方法，其可以被用来增强所述帧。有用的DC系数阀值可以例如通过比较在其中应用了不同阀值或阀值算法的帧的简单试算和误差处理而被确定。此外，非I帧的亮度值的再映射还可能依赖于运动向量的特性。如前面讨论的，运动向量被用来在一个被称为运动补偿的过程中识别对应于I帧区域的后续非I帧的区域。但是，除了它们在运动补偿中的应用，运动向量的特性还被用来确定非I帧区域相似于I帧对应区域的可能性。每个运动向量具有一个数值和一个方向
9、。相邻区域的运动向量之间的关系包括数值差异和被称为正交性的方向差异。通常，对于非I帧，一个区域的运动向量的较小数值、区域及其相邻区域运动向量数值之间小的差异、以及区域及其相邻区域运动向量方向之间的小的差异中的每一种都指示该区域更可能相似于对应的I帧区域。通常，一个非I帧区域的运动向量的较小值指示这一区域可能更相似于其解码所依赖的I帧中的对应区域。当确定运动向量值相对较高时，则I帧的亮度值的再映射策略不被用来再映射非I帧的亮度值。这可以通过使用运动向量值的阀值来确定，该阀值可以是预定常值或为每个区域计算的可变值。因此，I帧的再映射策略仅被用来再映射那些其相应运动向量值低于该阀值的区域的亮度值。再
10、次，本领域的技术人员能够轻松地确定可被用来增强所述非I帧的、非I帧中区域的标准预定运动向量值阀值或一种计算非I帧中区域的运动向量值阀值的方法。有用的运动向量值阀值可以例如通过比较在其中应用了不同阀值或阀值计算方法的非I帧的简单试算和误差处理而被确定。同样，非I帧的区域与其在该非I帧中的相邻区域之间的运动向量值的一致性指示该区域更可能相似于解码该非I帧所依赖的I帧中的对应区域。当确定相邻区域的运动向量与本区域的运动向量值显著不一致或者不相似时，则I帧的亮度值的再映射策略不被用来再映射非I帧的亮度值。这一确定能够例如通过确定这些区域运动向量值与相邻区域运动向量值之间的平均差异，并且随后比较该数值平
11、均差异与数值一致性阀值来完成。数值一致性阀值可以是预定常值或为每个区域计算的可变值。因此，只有当运动向量值的平均差异低于数值一致性阀值时，I帧的再映射策略被用来再映射区域的亮度值。类似地，数值差异的平方、或数值差异的其它组合、或其它众所周知的统计方法都能被用来确定数值一致性。再次，本领域的技术人员能够轻松地确定可被用来增强所述非I帧的、帧中区域的标准预定数值一致性阀值或一种计算非I帧中区域的数值一致性阀值的方法。有用的数值一致性阀值可以例如通过比较在其中应用了不同相应数值一致性阀值或阀值计算方法的不同非I帧的简单试算和误差处理而被确定。同样，非I帧中的一个区域与其相邻区域之间的运动向量方向的一
12、致性指示该非I帧区域更可能相似于其解码所依赖的I帧中的对应区域。当确定相邻区域的运动向量方向与本区域的运动向量方向显著不一致或不相似时，则用于该区域的I帧区域的亮度值的再映射策略不被用来再映射非I帧区域的亮度值。这可以例如通过确定这些区域的运动向量方向与相邻区域运动向量方向之间的平均差异，并且随后比较这些方向平均差异与方向一致性阀值而被确定。方向一致性阀值可以是预定常值或为每个区域计算的可变值。因此，只有当运动向量的值中的平均差异低于方向一致性阀值时，I帧的再映射策略被用来再映射该区域的亮度值。类似地，方向差异的平方、或方向差异的其它组合、或其它众所周知的统计方法都能被使用。再次，本领域的技术
13、人员能够轻松地确定可被用来增强所述非I帧的、方向一致性阀值的预定值或一种为帧中每个区域计算此阀值的方法。有用的方向一致性阀值或计算此阀值的方法能够例如通过比较在其中应用了不同阀值或阀值计算方法的帧的简单试算和误差处理而被轻松地确定。多种相似性指示可被用来确定是否将I帧的再映射策略应用到依赖该I帧而被解码的后续非I帧。本领域的技术人员将了解如何开发结合多种相似性指示的功能来确定是否将I帧的再映射策略应用到非I帧。例如，只有当所有的相似性指示都满足相应的阀值要求时，他们才可以使用I帧的对比度再映射策略。换句话说或此外，他们可以确定相似性指示与它们的相应阀值之间的差异或相对差异，并且仅在该差异或相对
14、差异(或差异或相对差异的平方)的总和低于另一个阀值时将I帧的对比度再映射策略应用到非I帧。本领域的技术人员将了解如何将这一过程应用到像依赖于前非I帧解码的后续非I帧这样的帧之间更复杂的相关性，前非I帧的解码依赖于I帧。例如，他们仅可以将I帧的对比度增强再映射策略应用到此类后续非I帧。换句话说，例如，他们能够为前非I帧开发可被应用到后续非I帧的第二种对比度增强再映射策略。非I帧的解码可能依赖于多个其它帧。本领域技术人员将了解如何开发一种将多个帧的对比度增强再映射策略应用到非I帧的功能。图2说明本发明的视频解码器120的基本部件。包括图像组(GOP)的数据包的视频流在输入端122被接收，该GOP中
15、的第一图像为I帧并且GOP中后续图像为非I帧。如上所述视频流可为MPEG流。解码单元124解码GOP的帧。该解码单元将已解码I帧提供给缓冲器126、处理单元128。处理器128使用基于区域的亮度分析来确定一种策略而再映射亮度值，以便改变对比度从而增强I帧图像，并且处理器使用该再映射策略来再映射缓冲器126中I帧的亮度值。随后，缓冲器将对比度增强的I帧经求和单元130传给输出端132。解码单元为GOP的后续非I帧恢复DC系数和运动向量，并且将它们应用到缓冲器126和处理器128。处理器128根据运动向量再映射初始I帧和对比度已增强的I帧。解码单元将I帧与后续非I帧之间的解码差异提供给求和单元13
16、0。依赖一种选择准则，对每个区域，缓冲器126将运动向量再映射的I帧或运动向量再映射的对比度已增强I帧提供给求和单元130。求和单元将解码差异与再映射增强I帧结合在一起来产生已解码的后续非I帧。这个特殊例子中对区域的选择准则如下DCT1；并且MVVT2；并且MVST3；并且MVOT4；并且a1(DC-T1)2+a2(MVV-T2)2+a3(MVS-T3)2+a4(MVO-T4)2T5其中，DC为区域的DC系数值；MVV为区域运动向量值；MVS为运动向量值与该区域之上、之下区域以及每一侧的区域的运动向量值之间的平均差异；以及MVO为该区域的运动向量同与其毗连的区域的运动向量之间的正交性；T1-T5为预定阀值；以及a1-a4为常数。常数和阀值根据观察者的比较结果而以统计方式选择，用以持续地增强结果图像。图3示出本发明的机顶盒140。调谐器142从输入端144处提供的多个不同视频节目的多个流中选择一个
