《检测用户的图像集合中的重要事件的制作方法》由会员分享，可在线阅读，更多相关《检测用户的图像集合中的重要事件的制作方法（3页珍藏版）》请在金锄头文库上搜索。
1、检测用户的图像集合中的重要事件的制作方法专利名称：检测用户的图像集合中的重要事件的制作方法技术领域：概括地说，本发明涉及数字图像处理领域，具体地说，涉及一种用于识别对用户的图像集合中的重要事件进行描绘的数字图像组的方法。背景技术：数字照相机和扫描仪的普及导致数字图像的激增，创建了大型个人图像数据库。因为拍摄数字图片很容易并且实际上是免费的，因此用户不再将图片拍摄局限于重要的事件和特殊的场合。图像正在被频繁地捕获，并且正在用户的生活之中日复一日地发生。因为一般的用户已经积累了多年的数字图像，因此浏览集合以找出在 重要事件期间拍摄的图像对于用户而言已经成为耗时的过程。已经在将图像分组为事件方面进行
2、了研究。于2003年8月12日公布的、转让给A. Loui 和 E. Pavie 的、题目为 “A method for automatically classifying images intoevents”的美国专利No. 6,606,411以及于2002年2月26日公布的、转让给A. Loui和E. Pavie 的、题目为 “A method for automatically comparing content of images forclassification into events”的美国专利No. 6, 351, 556公开了用于根据瞬时事件和子事件来对图像内容进行聚类的算法
3、。根据美国专利No. 6，606，411，事件具有一致的颜色分布，因此，这些图片可能是在相同的背景下拍摄的。对于每一个子事件，针对一起拍摄的所有背景区域计算单个颜色和纹理表示。上面两个专利教导了如何将数字图像集合中的图像和视频聚类为瞬时事件和子事件。在客观意义上，使用术语“事件”和“子事件”来指示计算机调节的过程的结果，其中计算机调节的过程尝试与用户对特定事件发生(与事件相对应)和这些事件发生的分割(与子事件相对应)的主观认知相匹配。在于2005年7月5日公布的、转让给 A. Loui、M. Jeanson 和 Z. Sun 的、题目为 “Event clustering of images
4、usingforeground and background segmentation”中公开了另一种自动地将图像组织为事件的方法。检测到的事件按照从最早到最晚的年代顺序排序在时间轴上。通过使用上述方法，可以通过沿着时间轴查看事件的表示而不是查看每个图像缩略图，来减少用户定位特殊事件所需的浏览量。然而，一般的用户仍然可以在历年期间生成100个以上的此类事件，并且更加多产的图片拍摄者可能很容易就超出几百个检测的事件。这些事件中的很多事件描绘了日复一日的活动，而不是用户识别的重要或特殊的场合。需要创建较小的重要或特殊事件(在本文中，表示为重要事件)集合，这使得用户易于浏览其集合的概况。此外，需要针
5、对特定用户的图片拍摄行为定制重要事件。例如，除了在特殊场合期间很少拍摄任何图片的人应当将其大多数图像包括在重要事件中；而习惯每天拍摄很多图片的人可以将所有捕获的图像中的一小部分包括在重要事件中。发明内容根据本发明，提供了一种用于确定数字图像集合中的重要事件的方法，包括使用处理器来执行以下操作(a)根据所述图像集合生成图像计数的时间序列；(b)计算所述图像计数的时间序列的模型；以及(C)使用所述图像计数的时间序列和所述模型来确定重要事件。每个用户具有典型的图片拍摄行为；并且重要事件通常是不符合该典型行为的事件。在本发明中，将用户的图片拍摄行为转换为时间序列，其中，针对每一个时间步长存在一个数据点
6、。然后，使用时间序列建模技术来以不同的时间粒度对该数据进行建模。该模型描述了用户的典型图片拍摄行为，并且随着用户而改变。重要事件是由实际数据与适合用户数据的模型的输出的偏差来识别的。优点 图像和视频的组织和检索对于一般用户而言是一个问题。对于用户而言，能够浏览其集合中的重要事件的概况是有用的。现有技术中公开的技术允许将集合中的图像分类为事件，而不具有确定这些事件的重要意义或重要性的能力。因此，这些包括无趣的或常见的日复一日的事件，这使事件的数量膨胀到即使当浏览事件列表时也难以找到重要事件的程度。本发明对集合中检测到的、具有较高概率成为重要事件的事件的较小子集进行识别。还针对用户的图片拍摄行为定
7、制对重要事件的检测。图I是实现本发明的系统的框图；图2是由图I实现的方法的整个流程图；图3是图2的方框110中所示的时间序列发生器的更详细的流程图；图4是图2的时间序列建模方框115的更详细的流程图；图5(a)、(b)和(C)示出了根据本发明产生的图像计数的时间序列和分析的具体例子；图6是图2的方框120中所示的重要事件检测器的更详细的流程图；以及图7是根据本发明的时间粒度选择方法的流程图。具体实施例方式如本领域技术人员众所周知的，本发明可以在计算机系统中实现。在下面的描述中，本发明的一些实施例将被描述为软件程序。本领域技术人员将容易认识到，这种方法的等同形式也可以被理解为本发明的范围内的硬件
8、或软件。因为图像处理算法和系统是众所周知的，因此该描述将特别针对形成根据本发明的方法的一部分或者与所述方法更直接合作的算法和系统。可以从本领域已知的这些系统、算法、组件和元件中选择在本文中未明确示出或描述的这些算法和系统的其它方面以及用于产生或者另外处理与之相关的图像信号的硬件或软件。考虑到在下面的说明书中阐述的描述，其所有软件实现都是常规的，并且属于这些领域中的普通技能。在其余的描述中，集合中的视频包括在术语“图像”中。本发明可以在计算机硬件和计算机化的装备中实现。例如，可以在数码照相机、多媒体智能电话、数字打印机中、在互联网服务器上、在公用电话亭上以及在个人计算机上执行该方法。参照图1，示
9、出了用于实现本发明的计算机系统。虽然为了说明优选实施例的目的而示出该计算机系统，但是本发明不限于所示的计算机系统，而是可以在例如数码照相机、家用计算机、公用电话亭或任何其它系统中找到的任何电子处理系统上使用，以处理数字图像。计算机10包括基于微处理器的单元20 (其在本文中也称作处理器)，用于接收并处理软件程序并且用于执行其它处理功能。存储器单元30存储用户提供的以及计算机生成的数据，该数据可以由处理器20在运行计算机程序时访问。显示设备(例如，监视器)70电连接到计算机10，用于例如通过图形用户界面显示与软件相关联的信息和数据。键盘60也连接到该计算机。如本领域中众所周知的，作为使用键盘60
10、进行输入的替换，鼠标可以用于在显示设备70上移动选择器并且用于选择该选择器所覆盖的项目。诸如压缩光盘()和DVD的输入设备50可以插入到计算机10中，以用于向计算机10和处理器20输入软件程序和其它信息。进一步地，如本领域中众 所周知的，可以对计算机10进行编程，以用于在内部存储软件程序。此外，可以通过诸如存储器卡、拇指驱动器、和DVD的输入设备50或者通过将捕获设备(例如，照相机、手机、录像机)作为输入设备直接连接到计算机10，来将媒体文件(例如，图像、音乐和视频)传送到计算机10的存储器30。计算机10可以具有到诸如局域网或因特网的外部网络的网络连接，例如，电话线或无线连接80。可以通过网
11、络连接从其它计算机或因特网向该计算机传送软件程序和媒体文件。还应当注意的是，本发明可以在软件或硬件的组合中实现，而不局限于物理连接的或位于相同的物理位置内的设备。图I中所示的设备中的一个或多个可以位于远端并且可以经由网络连接。所述设备中的一个或多个可以例如通过射频链路直接地或经由网络无线连接。参照图2，用户的数字图像集合105位于计算机10的存储器30中。附图中的其它方框是通过软件程序来实现的并且由计算机10的处理器20来执行。将数字图像集合105提供给时间序列发生器110。图3示出了时间序列发生过程中的步骤。从EXIF元数据中提取205图像的捕获日期和时间信息，其中所述EXIF元数据是由捕获
12、设备(例如照相机)存储在数字图像集合105的图像文件中的。确定一组时间单元，这些时间单元可以是几个月(捕获一个季度)、一个月、一周、一天或几小时，单元的大小被称作粒度。因为针对每个时间单元生成一个图像计数，因此所选择的时间单元的范围受到图像集合的大小的限制。因为需要至少40至50个数据点来产生可靠的结果，因此将跨越一年的集合限于最大粒度为一周；并且季度级别的粒度将需要跨越10年或更长时间的集合。在优选的实施例中，所使用的最精细的粒度是一天的几个部分(早上、下午、晚上)，其中，最大粒度是由图像集合的大小来确定的。推荐使用至少一年的用户集合。累加器215对每个时间单元中的图像的数量进行计数，其中集
13、合的开始位于单元0，从而产生一组图像计数的时间序列225。参照图2，对图像计数的时间序列进行分析以找出适合图像计数的模型115。图4示出了用于生成适当模型的时间序列建模中的步骤。存在很多用于时间序列建模的行之有效的方法(参照“Introduction to Time Series and Forecasting，、Brockwell 和Davis、Springer-Verlag 2002)。图像计数的时间序列通常是不固定的(即，其均值和标准偏差可能随着时间而改变)。因为图片通常是以组为单位拍摄的，例如，在假期和家庭聚会期间可能存在连续几天进行图片拍摄，并且在工作日期间可能存在连续几天的零图像计
14、数，因此，模型需要包括捕获与先前的数据值的关系的自回归组件。该模型还需要包括可以捕获图片拍摄行为中的逐渐改变的移动平均组件。适合于这种情形的模型是ARIMA(自回归综合移动平均)模型(上面提及的Brockwell和Davis的文献的第179至187页)。模型ARIMA (p，d，q)具有三个主要参数-P是自回归分量的阶，q是移动平均分量的阶，d是处理与稳态的偏差所需的差分的阶。ARIMA(p，d，q)模型由下式给出权利要求1.一种用于确定数字图像集合中的重要事件的方法，包括 使用处理器来执行以下操作 a)根据所述图像集合生成图像计数的时间序列； b)计算所述图像计数的时间序列的模型；以及 c)
15、使用所述图像计数的时间序列和所述模型来确定重要事件。2.根据权利要求I所述的方法，其中，所述模型是ARIMA(p，d，q)模型。3.根据权利要求2所述的方法，其中，所述模型是使用适合度分数从多个模型中选择的。4.根据权利要求I所述的方法，其中，步骤c)包括 i)计算残差，其中，所述残差是所述图像计数的时间序列与在每个时间单元所述模型所预测的图像计数之间的差； ii)识别所关注的时间步长，其具有高于计算出的阈值的残差；以及 iii)合并连续的所关注的时间步长，并且将图像计数阈值应用于所合并的连续的所关注的时间步长以确定重要事件。5.根据权利要求I所述的方法，其中，步骤a)中的所述图像计数的时间序
16、列是以不同的时间粒度生成的。6.一种用于确定数字图像集合中的重要事件的方法，包括 使用处理器来执行以下操作 a)根据所述图像集合以不同的时间粒度生成图像计数的时间序列； b)计算在每个时间粒度的所述图像计数的时间序列的模型； c)使用所述图像计数的时间序列和所述模型来确定在每个时间粒度的重要事件；以及 d)基于用户操作或系统需求来确定所述重要事件。7.根据权利要求6所述的方法，其中，所述模型是ARIMA(p，d，q)模型。8.根据权利要求6所述的方法，其中，所述模型是使用适合度分数从多个模型中选择的。9.根据权利要求6所述的方法，其中，步骤c)包括 i)计算残差，其中，所述残差是所述图像计数的时间序列与在每个时间单元所述模型所预测的图像计数之间的差； ii)识别所关注的时间步长，其具有高于计算出的阈值的残差；以及 iii)合并连续的所关注的时间步长，并将图像计数阈值应用于所合并的连续的所关注的时间步长以确定重要事件。全文摘要一种用于确定数字图像集合中的重要事件的方
