《基于网格模型的视频对象跟踪研究与应用》由会员分享，可在线阅读，更多相关《基于网格模型的视频对象跟踪研究与应用（111页珍藏版）》请在金锄头文库上搜索。
1、上海交通大学博士学位论文基于网格模型的视频对象跟踪研究与应用姓名：赵建伟申请学位级别：博士专业：模式识别与智能系统指导教师：刘重庆20030101摘 要 I基于网格模型的视频对象跟踪研究与应用 摘 要 目标跟踪是指通过物体的边缘局部运动以及强度(对比度和亮度)的变化信息来对物体进行跟踪 视频对象跟踪是基于内容的视频处理和视频压缩领域的主要研究内容 有重要的理论研究价值和应用价值 在现有的视频监控系统中 自动检测并跟踪运动对象将大大提高视频监控系统的智能化程度在 MPEG-4 压缩编码标准中视频对象和背景单独进行压缩编码可以有效提高视频压缩编码效率在未来 Internet 应用中将实现交互多媒体
2、服务如虚拟会议系统虚拟聊天室交互式视频教学系统等并且独立的视频运动对象能实现基于视频内容的存取粘贴及查询检索等功能 运动估计技术是视频对象跟踪的关键也就是说运动估计的越准视频对象的跟踪精度就越高常用的运动估计技术是基于块的运动表示方法即块匹配算法(BMA)本文作者曾对其进行过大量深入的研究工作 并取得了阶段性的成果 通过块匹配算法的研究结果表明 块匹配算法在运算复杂度和恢复图像信噪比两者之间取得较好的折衷 比较适合于处理平移运动 但是不能很好地处理旋转 缩放等复杂运动 且运动边界容易产生比较明显的 块效应(Block Artifacts)尤其对于非刚性和变形目标的运动补偿计算显得很困难另外由于
3、视频信息的应用要求已逐渐由播放型转向基于内容(Content-based)的访问操作型基于块的视频表示方法很难进行基于内容交互(编辑操作访问等)以及通过精确的运动和边界建模进行内容自适应的视频处理 为了解决基于块的运动表示方法中存在的问题 本文主要采用基于网格模型的运动表示方法作为视频对象跟踪研究的主要理论基础构造基于对象特征的网格(Object-based Mesh)可以很好地克服块效应问题 使网格模型能够更好地反映图像的内容 更精确地进行对象表示和视频对象跟踪由于网格模型可以在连续的若干帧内对同一组节点进行连续跟踪所以基于网格模型的视频对象跟踪是通过对象上的网格节点的帧间跟踪实现的其主要思
4、想是首先进行视频对象的分割通过对初始帧建立基于对象的网格结构后续帧的网格结构是由前一帧的网格结构进行网格节点运动估计得到依次进行从前至后的帧间跟踪 本文的主要研究内容和创新如下 1 视频对象分割方法的研究 在视频对象运动跟踪技术研究中 首先要从视频序列中提取完整的视频对象 即进行视频对象分割 本文提出一种将运动分割与改进的分水岭方法相结合的视频对象分割方法 其中 运动分割方案中提出的区域标识方案可以增强运动分割映射图的空间平滑度 而且由于在区域合并过程中使用运动矢量匹配可以有效避免过分割 另外 本文利用二进小波变换得上海交通大学博士学位论文 II到与形态梯度不同的梯度向量进行分水岭变换 有效地
5、避免了图像轮廓信息的丢失 实验结果表明该视频分割方法鲁棒性好计算有效可以提取具有精确轮廓的视频对象 2 基于对象的网格模型表示和生成方法 本文提出一种稳健的视频对象网格模型生成方案主要包括网格节点选取和网格模型的生成首先采用多边形近似得到视频对象边界上的网格节点再利用 2D Gabor 小波变换(GWT)计算目标的局部特征能量进行视频对象内部的角点检测作为网格节点 最后利用增量式 Delaunay 网格生成算法得到基于对象的网格模型2D Gabor 小波变换进行角点选取不仅能够很好克服各种噪声的影响 而且应用统计决策的方法 可以从一定程度上消除光照条件变化影响得到更为稳健的特征点实验结果表明基
6、于对象的网格模型可以很好地对视频对象进行表示 网格节点分布在边界和角点等特征位置 网格边界和实际边界的基本吻合更真实地反映了视频对象的结构 3 基于网格模型的运动跟踪方案 本文主要研究讨论了网格节点的运动估计和跟踪过程 网格节点的运动矢量估计必须精确 估计算法必须对各种运动模式有较强的适应性 本文提出一种精确的网格节点跟踪方案主要包括全局运动估计和局部校正两部分 通过仿射变换参数估计全局运动 局部六边形匹配捕获视差和局部变形 因此该节点跟踪方案对全局运动有很好的鲁棒性 且可以灵活地捕获运动视差和局部变形 通过大量实验表明 该方法可以取得很好的网格节点运动矢量估计精度 4 适用于遮挡问题的双向网
7、格跟踪和帧重建方案 针对网格模型的两个典型应用本文分别研究了遮挡问题存在情况下的视频对象跟踪和帧重建方案 遮挡问题是序列图像运动估计中一个很难解决的问题 正确处理遮挡问题的前提是如何准确检测视频序列中出现的遮挡区域 本文提出改进的遮挡区域检测算法 有效提高了遮挡及其相邻区域运动估计的准确度由于遮挡信息的可逆性对覆盖/暴露区域采用相同的跟踪方案即双向网格跟踪可以有效提高遮挡问题下的对象跟踪性能而且算法简洁易实现本文还提出一种适用于遮挡问题的帧重建方案通过像素分类过程将图像帧分为不同的区域对不同区域进行自适应插值得到帧插值效果图实验证明本文提出的跟踪方案可行 可以在遮挡存在的情况下有效跟踪运动 而
8、且帧重建方案可以很好地解决二维运动估计时网格模型在遮挡区域存在的问题帧重建的视觉效果较好 关键词视频对象分割网格模型运动估计运动分割分水岭Gabor 小波 全局运动估计局部运动校正网格跟踪遮挡问题帧重建 摘 要 IIIResearch on Mesh-Based Video Object Tracking Method and Its Application Abstract Object tracking refers to tracking the boundary, local motion and intensity (contrast and brightness) variatio
9、ns of an object. Video object tracking is the most important part of content-based video representation, processing and video compression, has great value of theory research and application. It can be applied widely in the field of video surveillance, video coding, interactive multimedia and so on.
10、Automatic video object detection and tracking can highly improve the level of intelligence of video surveillance system. In the field of MPEG-4 compression standard, independent coding of video object and background can improve compression efficiency greatly. Furthermore, it can be used in the futur
11、e of Internet application, such as interactive multimedia service including virtual conference, virtual chatting room, and interactive video teaching system. Moreover, independent video objects can achieve access, paste and indexing of video content. Motion estimation method is the key of video obje
12、ct tracking, that is, more accurate motion estimate achieves, and more accurate tracking will be obtained. Many researches on block matching methods have been done by the author, since block matching algorithm (BMA) compromises in computational complexity, compression ratio and image reconstruction
13、SNR. But BMA suits translation pattern rather than zooming and rotating patterns, also will cause block artifacts, which is sensitive to human eyes. In addition, block-based video representation is hard to handle content-based edition, manipulation and access. In order to solve the problems existed
14、in block-based motion representation, we adopt mesh-based motion representation as the main basis of video object tracking in the thesis. Constructing object-based mesh can overcome block artifacts, reflect image content much better, represent object more accurately. Since mesh-based representation
15、enables continuous tracking of the same set of nodes over consecutive frames, which is desirable in applications requiring object tracking, mesh-based video object tracking can be achieved by interframe tracking mesh nodes laid on objects. First, we perform video object segment, construct object-bas
16、ed mesh. And then, object interframe tracking is done by mesh nodes motion estimation in successive frames. The main researches and new ideas of this thesis are listed as follows: 1. Research on video object segmentation method In order to perform video object tracking, extracting the whole video object should be done first. A semi-automatic video object segmentation method combined motion segmentation with watershed is proposed. In motion segmentation procedur
