使用变化检测和分类的视频场景背景保持的制作方法专利名称：使用变化检测和分类的视频场景背景保持的制作方法技术领域：本发明总地涉及视频处理领域，更具体地涉及分割视频处理领域特别地，本发明涉及在分割视频中背景模型的保持以及对背景模型变化的分类背景技术： 许多视频处理应用都需要视频对象分割(即，从视频序列所显示的静态背景中适当地移动对象的分化)这样的应用包括，视频拼接，基于对象的视频压缩，基于对象的视频编辑，以及自动视频监测许多视频对象的分割算法都使用视频场景背景模型(可以简称为“背景模型”)来作为辅助其总的构想是，视频序列的每一帧都可以被记录到背景模型并可以一个像素一个像素地压缩成背景模型显示出充分差异的像素认为是前景或移动像素但导致像素水平变化的因素很广泛，例如，不稳定的背景(如，有波纹的水面，吹落的树叶，等)；光影现象(如，浮云掠日，阴影，等)；以及摄影现象(例如，自动增益控制(AGC)，自动虹膜，自动对焦，等)使用视频对象分割(或其中的变量)，通常能检测到显示独立运动的对象或部分对象但场景中的对象长时间固定时会出现两个基本的问题，而这两种现象中的任何一种都能使任意的应用降低视频对象分割的性能。
首先，如果对象长时间保持固定，则该对象就“永久地”被检测为前景对象但，就所有的实际目的而言，该对象已变为了背景的一部分在图1A中，显示了当车11驶入视频序列中并停在其中时出现的这种问题该车连续地作为前景对象12而被监视但实际上它已经成了背景的一部分(即，“永久”的分割)第二，如果对象开始时静止并作为背景模型的一部分(例如，被“嵌入”burned in)而后开始移动，则该对象就会暴露还未建模的背景模型区域中(例如，静态背景)所暴露的背景模型区域会被错误地检测为前景对象在图1B中，显示了停泊的车13驶出了视频序列时出现的这种问题该车13在背景模型中露出了一个分割后所形成的车形的“洞”14如在1999年12月27日提交的申请序列号为N0.09/472,162，标题为“Method，Apparatus，and System for Compressing/Decompressing Digital Video Data(用于对数字视频数据压缩/解压缩的方法，装置，和系统)”的美国专利申请以及2000年7月3日提交的申请序列号为No.09/609,919，标题为“Scene Model Generation fromVideo for Use in Video Processing(在视频处理中所使用的从视频所产生的场景模型)”的美国专利申请中所讨论的(其共同受让，引用在此作为参考)，当构建图像镶嵌图，视频镶嵌，或视频场景模型时，常常需要剔除源图像中那些表示“真正”背景的部分。
例如，在视频序列(或任意其他的图像集)中在整个视频序列中都在停泊的车辆就可以认为是真正的背景但，在视频序列中刚开始是停止的而后来在视频序列的某一点驶走的车就应当认为它“不是背景”如果不仔细确定真正的背景区域，则就会产生假象如果目标是产生镶嵌或背景图像，则前景对象能“嵌入”到看起来不自然的成像所产生的背景模型中如果目标是构建作为视频分割基础的场景模型，则结果会是拙劣的分割，在其中会检测不到部分前景对象，而一些暴露的背景区域会被检测为前景对象图2图示了现有技术中前景对象使背景模型讹误的实例视频序列描述了一个打高尔夫球的人正准备发球源自视频序列的源图像的子集21描述了该视频序列的一部分源图像用于产生背景模型22和前景对象23但，背景模型22包含了已嵌入到背景模型22之中的前景对象23(例如，在左边的打高尔夫球的人，和在右边的打高尔夫球的人的衬衫部分)，而且前景对象23并没有被完全地分割(例如，打高尔夫球的人残缺的部分，和高尔夫俱乐部的部分)发明内容本发明提出了用于保持视频序列的背景模型变化的检测和分类而且，本发明保持了视频序列的背景模型并对背景模型的变化进行了分类本发明包括用于处理视频的方法，其包括步骤保持视频的背景模型；检测在视频中的目标；检测该目标是否是固定的目标；并将固定的目标分类为插入在背景模型中或从背景模型中移走。
本发明还包括用于处理视频的计算机系统，该系统包括视频的背景模型；基于背景模型的像素分类，产生基于视频和背景模型的变化掩码和成像；背景模型更新，基于变化掩码和成像而更新背景模型；基于运动的像素分类，产生基于视频的运动掩码；斑块产生，产生基于变化掩码和运动掩码的至少一个斑块；斑块跟踪，产生基于斑块的至少一个斑块；固定目标检测和分类，产生基于每个目标的固定目标描述，该固定目标描述用来确定每个目标是插入背景模型还是从背景模型中移走；背景模型局部更新，基于固定目标描述更新背景模型本发明的系统包括了包含具有按照本发明而操作计算机的软件的计算机可读介质的计算机系统本发明的设备包括了包含具有按照本发明而操作计算机的软件的计算机可读介质的计算机制造本发明的主题包括了具有按照本发明而操作计算机的软件的计算机可读介质本发明的其他特性和优点，以及本发明的各种实施例的结构和操作将在以下参考附图详细描述定义“计算机”是指任何能够接受结构化输入，根据规定的规则处理结构化输入，并将处理结果作为输出的设备这样的计算机的实例如计算机；通用计算机；超级计算机；主机；超小型计算机；小型计算机；工作站；微型计算机；服务器；交互式电视；网络设备；具有互连网接入的通信设备；计算机和交互式电视的结合；以及模拟计算机和/或软件的特定应用的硬件。
计算机可以是固定的或便携式的计算机可以具有一个或多个并行或非并行的处理器计算机也可以指两个或多个通过网络连接的用于在计算机之间发送和接收信息的计算机这样的计算机的实例包括通过由网络链接的计算机来处理信息的分布式计算机系统计算机可读介质”是指任何用来存储计算机可以访问的数据的存储设备计算机可读介质的实例如磁盘；软盘；诸如CD-ROM和DVD的光盘；磁带；存储芯片；以及诸如在发送和接收电子邮件或在接入网络中所使用的可以加载计算机可读电子数据的载波软件”是指所规定的操作计算机的规则软件的实例如软件；代码段；指令；计算机程序；以及可编程的逻辑计算机系统”是指具有计算机的系统，其中计算机包括了提供操作计算机的软件的计算机可读介质网络”是指通过通信设备连接的多个计算机和关联设备网络包括了诸如有线的永久性连接以及诸如通过，无线，或其他通信链路等连接的暂时性连接网络的实例如互联网，例如因特网；企业内部互联网；局域网(LAN)；广域网(WAN)；以及例如互联网和企业内部互联网的网络组合视频”是指以模拟和/或数字形式表示的运动画面视频的实例如电视，电影，从照相机或其他捕获装置而来的图像序列，和计算机生成的图像序列。
这些都能通过例如实况传送，存储设备，基于IEEE1394的接口，视频数字转换器，计算机图形引擎，或网络连接而获取视频处理”是指任何视频的操作，例如压缩和编辑帧”是指在视频中特定的图像或其他离散的单元本发明前述的以及其他特性和优点将从以下结合附图而对本发明的优选实施例所作的详细描述中变得更为清楚在相应的参考数字最左边的阿拉伯数字表示在附图中第一次出现的元素图1A和1B图示了现有技术中使用视频对象分割来显示独立移动的对象或对象的一部分所出现的问题；图2图示了现有技术中前景对象使背景模型讹误的实例；图3图示了本发明的第一实施例的流程图；图4图示了用于检测前景像素的像素统计背景建模；图5图示了用来处理光线变化的像素统计背景建模；图6图示了用于移动检测的使用三帧的区分；图7图示了检测移动像素和变化了的像素；图8图示了固定目标检测和分类的流程图；图9图示了背景变化检测；图10图示了前景对象的插入；图11图示了背景部分的移走；图12图示了用于检测强边缘的流程；图13图示了用于检测强边缘的另一个流程；图14图示了检测边缘强度的流程；图15图示了确定边缘强度；图16图示了本发明的第二实施例的流程具体实施例方式以下详细讨论本发明的示例性实施例。
虽然讨论的是特定的示例性实施例，但可以理解的是，其仅仅起到示意性的目的本领域的技术人员在不背离本发明的精神和范围的情况下也能使用其他的组件和结构这里所讨论的实施例和实例也不是限制性的本发明为保持视频序列的背景模型而提供了变化的检测和分类本发明能用于实时的视频处理应用(例如，实时的基于对象的压缩，或视频监视)其中视频序列可以不是任何时候都能完全得到的，并且背景模型递增的变化可能需要保持其有效性本发明还能用于非实时的视频处理应用视频序列是指视频的一部分或全部根据本发明，首先，检测在背景模型中的局部变化并用其来保持背景模型，其次，对这种检测到的变化分类并做进一步处理所检测到的变化被分成两大主类第一，在场景中放置并且长时间保持静止的对象(即，插入)；第二，从场景中移走并且暴露出了背景模型(例如，静态的背景)的一部分的对象(即，移走)这两大类的相同方面是在背景模型中存在永久性的局部变化将变化分成这两类在例如视频监视应用等的大范围应用中是很重要的用于视频监视应用的第一类(即，插入)的实例如监视不能停车的区域(例如，如果车在不能停车的区域中待的时间超过了特定的时间则就发出警报)；检测在机场中无人照顾的袋子；并检测在诸如军事设施和发电厂等敏感区域附近未被注意的物体。
用于视频监视应用的第二类(即，移走)的实例如检测高价值物品的移动，例如博物馆的艺术品，硬件设备的昂贵部分，或停了很久的车图3图示了本发明第一实施例在通用视频处理系统的一个可能的处理流程图视频序列首先输入到系统中，接着产生并保持背景模型31，32，和33输入的视频通过两种独立的低级像素分类技术进行处理基于背景模型的像素分类31和基于运动的像素分类34这两种技术都产生表示所感兴趣的像素的像素掩码(每帧)基于背景模型的像素分类31产生变化掩码和成像，基于运动的像素分类34产生运动掩码变化掩码和运动掩码都提供给斑块产生35，其将掩码转换成在每帧中表示每个可见的前景对象轮廓的一个或多个独立的斑块组总的来说，如果看不见前景对象，则就不产生斑块斑块使用斑块跟踪36来记录追踪，其将一帧中的斑块与其他帧中的斑块连接以产生表示场景中的每个对象的“目标”目标是随时间推移的视频对象的时空上的描述目标通过固定目标的检测和分类37而分析，其确定目标中的任何一个是否表示背景模型33的“永久”变化以及变化是表示“插入”(例如，对象进入场景)还是“移走”(例如，对象离开并暴露了背景模型的一部分)最后，任何检测到的固定目标都能通过背景模型局部更新38而插入背景模型33。
产生和保持背景模型包括基于背景模型的像素分类31，背景模型更新32，以及背景模型33基于背景模型的路径31，32，和33的一个选项采用了动态统计像素建模动态统计像素建模保持了图像背景的精确表示并将背景像素从前景像素中区分开来在示例性的实施例中，动态统计像素建模通过共同受让的2001年3月23日申请的题目为“Video Segmentation Using Statistical Pixel Modeling(使用统计像素建模的视频分割)”美国专利申请No.09/815,385所公开的技术而实现，其引入在此作为参考该示例性的技术的总的构想是，在几个帧中保留所有像素的历史，包括像素色彩(或亮度)值及其统计值静态的，未变化的像素作为背景如果像素的统计变化显著，则该像素就为前景如果像素转换成了它的原始状态，则能转换的像素就认为是背景像素这种技术能降低传感器噪声并能自动地解决由于光线条件和照相机的自动增益控制(AGC)在背景中的缓慢变化除了动态统计像素建模，基于背景模型的像素分类能使用静态背景模型、高斯背景模型混合或高斯模型的动态适应性混合而实现。