《维持视觉显著性的视频重定向系统的制作方法》由会员分享，可在线阅读，更多相关《维持视觉显著性的视频重定向系统的制作方法（2页珍藏版）》请在金锄头文库上搜索。
1、维持视觉显著性的视频重定向系统的制作方法专利名称：维持视觉显著性的视频重定向系统的制作方法技术领域：本发明涉及一种图像视频处理领域的系统，具体是一种基于显著曲线检测和分层曲线匹配的视频重定向系统。背景技术：近年来，随着手机、平板电脑、笔记本电脑等终端显示设备的发展和进步，视频重定向(video retargeting)技术日益受到学术界的关注和重视。视频重定向技术指的是一种将视频从原始分辨率调整到任意分辨率，以适应不同尺寸的显示设备的技术。与传统的拉伸、裁剪、填充等方法不同，视频重定向技术在调整分辨率的过程中极大程度上保留了最具有视觉显著性的信息，从而具有极佳的观感。近年来国内外诸多研究表明，
2、视频重定向技术主要面临三个方面的技术挑战:1.保持视觉显著性，2.降低形变，3.保持时间连续性。保持视觉显著性指的是在对视频进行重定向时应尽可能保留最能引起视觉敏感的信息。降低形变指的是重定向前后的视频中的主要物体应具有相似的形状特征。保持时间连续性指的是重定向后的视频在时间域上应具有连贯、平滑的特性，避免波纹和抖动的产生。经对现有技术的文献检索发现，S.Avidan与A.Shamir在2007年的ACMSIGGRAPH会议上发表的 “Seam carving for content-aware image resizing，一文中首次提出了基于seam carving的图像重定向技术。.Ru
3、binstein,A.Shamir与S.Avidan在2008 年ACM SIGGRAPH会议上发表的“ Improved seam carving for video retargeting” 一文中首次提出了基于seam carving的视频重定向技术。Seam carving的基本思想是,通过不断去除视觉显著性最低的缝隙(seam)的方法调整图像和视频的分辨率。主要包括两个步骤:1.显著图像计算；2.能量最小缝隙计算。然而,基于seam carving的视频重定向方法的主要问题是，由于去除的缝隙可以是任意形状，导致重定向后的视频中的物体会产生较大的形变。发明内容针对现有技术中的缺陷，本发
4、明的目的是提供一种基于显著曲线检测和分层曲线匹配的视频重定向系统。本发明通过检测原始视频中视觉显著性较高的曲线，并在重定向过程中综合考虑保持视觉显著性和减小曲线形变两方面因素，求得最优缝隙，保证了重定向后的视频的形态还原度和视觉舒适度。本发明是通过以下技术方案实现的:本发明包括:显著图像计算模块、候选缝隙提取模块、曲线形变模块、显著曲线检测模块、分级形状匹配模块和最优缝隙计算模块。其中:显著图像计算模块计算输入视频各帧的显著图像，并将结果输出到候选缝隙提取模块；候选缝隙提取模块接收显著图像计算模块的结果，并提取最小能量路径，并将结果分别输出到曲线形变模块和最优缝隙计算模块；显著曲线检测模块计算
5、输入视频各帧的显著曲线，并将结果分别输出到曲线形变模块提及分级形状匹配模块；曲线形变模块接收显著曲线检测模块和候选缝隙提取模块的输出，并计算各候选缝隙的移除对曲线造成的形变，并将结果输出到分级形状匹配模块；分级形状匹配模块接收曲线形变模块和显著曲线检测模块的输出，并计算形变前后的曲线的形状匹配代价，并将结果输出到最优缝隙计算模块；最优缝隙计算模块接收分级形状匹配模块和候选缝隙提取模块的输出，并综合视觉显著性和曲线形变计算最优缝隙。优选地，所述显著曲线检测模块包括曲线端点检测模块和曲线跟踪模块。其中:曲线端点检测模块和输入视频相连并检测各帧显著曲线的起始点，曲线跟踪模块和曲线端点检测模块相连并从
6、端点起按照最大化曲线权重的方向搜索曲线。优选地，所述分级形状匹配模块包括形状树构造模块和形变代价计算模块。其中:形状树构造模块与显著曲线检测模块相连并对提取出的显著曲线构造形状树，形变代价计算模块与形状树构造模块相连并计算形变前后的曲线的形状匹配代价。优选地，所述的显著图像计算模块采用梯度幅值作为图像视觉显著性的表征。优选地，所述的候选缝隙提取模块是通过动态规划方法求取显著图像的最小能量路径实现的。优选地，所述的最优缝隙计算模块从视觉显著性和显著曲线形变代价两方面定义缝隙能量，综合计算出能量最小的缝隙予以去除。与现有技术相比，本发明具有如下的有益效果:本发明大大降低了重定向后视频中主要曲线的形
7、变，减小了重定向造成的内容失真；不需要每帧计算不同缝隙，并通过保持帧间缝隙平滑的方式保持时间连续性，而是对一个帧段取时域上垂直的同一缝隙，降低了计算复杂度的同时也保持了时间连续性；不需要复杂的视觉关注模型计算显著图像，而采用简单的梯度特征，即反映了视觉敏感信息，降低了计算代价，又对曲线较为敏感。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:图1是本发明的系统组成连接示意图。具体实施例方式下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，
8、在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。实施例如图1所示，本实施例包括:显著图像计算模块、候选缝隙提取模块、曲线形变模块、显著曲线检测模块、分级形状匹配模块和最优缝隙计算模块。其中:显著图像计算模块与输入视频相连计算各帧的显著图像，候选缝隙提取模块与显著图像计算模块相连提取最小能量路径，显著曲线检测模块与输入视频相连计算各帧的显著曲线，曲线形变模块与显著曲线检测模块和候选缝隙提取模块相连计算各候选缝隙的移除对曲线造成的形变，分级形状匹配模块与曲线形变模块和显著曲线检测模块相连计算形变前后的曲线的形状匹配代价，最优缝隙计算模块与分级形状匹配模块和候选缝隙
9、提取模块相连综合视觉显著性和曲线形变计算最优缝隙。本实施例中，所述的显著图像计算模块计算输入视频各帧的显著图像，具体为:对输入的视频进行均匀采样，每隔N帧抽取一帧，计算其梯度幅值权利要求1.一种维持视觉显著性的视频重定向系统，其特征在于，包括:显著图像计算模块、候选缝隙提取模块、曲线形变模块、显著曲线检测模块、分级形状匹配模块和最优缝隙计算模块;其中: 显著图像计算模块计算输入视频各帧的显著图像，并将结果输出到候选缝隙提取模块； 候选缝隙提取模块接收显著图像计算模块的结果，并提取最小能量路径，并将结果分别输出到曲线形变模块和最优缝隙计算模块； 显著曲线检测模块计算输入视频各帧的显著曲线，并将结
10、果分别输出到曲线形变模块提及分级形状匹配模块； 曲线形变模块接收显著曲线检测模块和候选缝隙提取模块的输出，并计算各候选缝隙的移除对曲线造成的形变，并将结果输出到分级形状匹配模块； 分级形状匹配模块接收曲线形变模块和显著曲线检测模块的输出，并计算形变前后的曲线的形状匹配代价，并将结果输出到最优缝隙计算模块； 最优缝隙计算模块接收分级形状匹配模块和候选缝隙提取模块的输出，并综合视觉显著性和曲线形变计算最优缝隙。2.根据权利要求1所述的维持视觉显著性的视频重定向系统，其特征是，所述显著曲线检测模块包括曲线端点检测模块和曲线跟踪模块；其中:曲线端点检测模块和输入视频相连并检测各帧显著曲线的端点，曲线跟
11、踪模块和曲线端点检测模块相连并从端点起按照最大化曲线权重的方向搜索曲线。3.根据权利要求1或2所述的维持视觉显著性的视频重定向系统，其特征是，所述分级形状匹配模块包括形状树构造 模块和形变代价计算模块；其中:形状树构造模块与显著曲线检测模块相连并对各显著曲线构造形状树，形变代价计算模块与形状树构造模块相连并计算形变前后的曲线的形状匹配代价。4.根据权利要求1所述的维持视觉显著性的视频重定向系统，其特征是，所述的显著图像计算模块采用梯度幅值作为图像视觉显著性的表征，一个视频帧段关联一幅显著图像，通过对帧段均匀采样和加权得到。5.根据权利要求1或2或4所述的维持视觉显著性的视频重定向系统，其特征是
12、，所述的候选缝隙提取模块是通过动态规划方法求取显著图像的最小能量路径实现的。6.根据权利要求1或2或4所述的维持视觉显著性的视频重定向系统，其特征是，所述的最优缝隙计算模块从视觉显著性和显著曲线形变代价两方面定义缝隙能量，综合计算出能量最小的缝隙予以去除。全文摘要本发明提供一种维持视觉显著性的视频重定向系统，包括显著图像计算模块、候选缝隙提取模块、曲线形变模块、显著曲线检测模块、分级形状匹配模块和最优缝隙计算模块。其中所述的显著曲线检测模块包括曲线端点检测模块和曲线跟踪模块；所述的分级形状匹配模块包括形状树构造模块和形变代价计算模块。本发明大大降低了传统视频重定向方法容易造成的曲线形变和失真，在此基础上保留了视频中视觉显著信息，并维持了时间连续性，算法复杂度较低，具有良好的主观感受与客观质量评价。
