《检测用户图像集合中的重复事件的制作方法》由会员分享，可在线阅读，更多相关《检测用户图像集合中的重复事件的制作方法（5页珍藏版）》请在金锄头文库上搜索。
1、检测用户图像集合中的重复事件的制作方法专利名称：检测用户图像集合中的重复事件的制作方法技术领域：本发明总的来说涉及数字图像处理领域，特别是涉及识别在用户图像集合中的描述重复事件的数字图像组的方法。背景技术：随着数码相机和拍照手机的普及，人们拍摄大量的图像和视频来记录对他们重要的事件。这些事件的有趣部分随后被在线共享，以便用户的社交网络对其进行访问。随着时间而积累的大型数字媒体集合中包含丰富的信息，这些信息可以用于了解各个用户以及人群。时间信息通常有利于信息的管理和检索，其增强了搜索和浏览的应用。分析在跨越数年的集合中的用户媒体的内容和时间可以生成用户所感兴趣的重要日期以及视图。这方面的知识可以
2、使得能够对与联系人共享的个人集合进行组织，以及个性化和给予适时地广告。例如，如果某个用户的个人照片集合的迹象表明他/她在三月的学校假期中定期地进行休假，则该组中的图像可以被链接到前一年的假期以进行适当的组织。旅行和旅游相关的广告可以将目标定位在这段时间的计划阶段，并且这些图像可以被共享给所述用户经常与其共享此类图像的联系人。使用具有重要日期的通用日历来尝试识别出某些事件只能够检测有限数量的事件，并且以这种方式无法检测用户特定的特殊日期(例如生日)。此外，该方法假设在同一地区的用户当前在庆祝相同的假日，而实际在此时，对于不同的人口中的各个人群，需要不同的日历。除了由于文化差异所造成的日历中的差异
3、，用户所在的位置也将当地的事件提供给日历，例如，纽约州罗切斯特市的丁香节，新墨西哥州阿尔伯克基市的国际热气球节。针对这些问题，已经存在将用户所拍摄的图像与其个人日历相关联的工作(例如，“ImageAnnotation Using Personal Calendars as Context，Gallagher 等人 ACM Intl. Conf.on Multimedia2008 (在国际计算机协会的2008年多媒体会议上Gallagher等人的使用个人日历作为上下文的图像注释)。然而，个人日历上的标记通常涉及与拍照无关的约会和工作任务。已经存在将图像分组为事件的工作。Loui的专利号为6，60
4、6, 411的美国专利和Loui的专利号为6，351，556的美国专利公开了通过时间事件和子事件来对图像内容聚类的算法。根据专利号为6，606，411的美国专利，事件具有一致的颜色分布，因此，这些照片可能是采用相同的背景进行拍摄的。对于各个子事件，计算出共同拍摄的所有背景区域的单一的颜色和纹理表示。以上两项专利教示了如何将数字图像集合中的图像和视频聚类为相关于时间的事件和子事件。术语“事件”和“子事件”在客观意义上用于指示试图匹配特定出现(对应于事件)以及所述出现的部分(对应于子事件)的用户的主观感受的以计算机为中介的程序产品。Loui等人的专利号为6，915，011的美国专利公开了另一种将图
5、像自动组织为事件的方法。所检测到的事件在时间轴中按照时间顺序从最早到最晚排列。使用上面的方法,可以通过沿着时间轴来观看事件的表示(representatives)而不是观看各个图像的缩略图来减少用户定位特定事件所需的浏览量。然而，由于相关事件(例如生日)的较大时间间隔，这些事件组在时间轴上相隔甚远，并且不容易被视为一组。因此，需要检测彼此语义相关但被较长的时间差分隔的图像组。发明内容根据本发明，提供了一种在预定时间段内拍摄的数字图像集合中检测重复事件的方法，其使用处理器用于(a)分析该数字图像集合以产生图像拍摄行为在时间上的分布的多维表示；(b)通过识别多维表示中的空间聚类来检测重复事件。在所
6、述聚类过程中还可以考虑事件之间的相似度。在本发明中，描述了从多年的用户集合中挖掘时间上的重复事件的架构。“集合”根据表示在适当的多维空间中的“事件”被描述。以不同的临区尺寸使用基于密度的聚类，基于事件特征来过滤临区以减少组中的错误匹配的数量。基于事件分类、位置和时间特征来创建事件签名以表征事件。本发明检测诸如生日和周年纪念日、用户个人集合定制的要进行庆祝的季节性活动和假期等个人特殊日期。例如，本发明可应用于用户集合中的基于日历的重复事件的两种常常出现的类型通常出现在每年相同的日期附近的事件，例如生日、周年纪念日和一些假日；以及不严格地依赖于日历日期的事件。尽管第二类事件也具有类似的时间特征，但
7、其确切的日期通常不是一年接一年地相同。其包括不遵循确切日期的假日，例如那些在特定的星期或月份中的星期中的某一天(例如美国的劳动节；母亲节)，以及那些由月亮或太阳的盈亏计算所得出的假日(例如许多亚洲的宗教和文化的节日)。此外，还有定期的休假(例如，学校的假期)、派对/聚会(庆祝基于日历的事件，但是被移到某个方便的周末而不是确定的日期)和体育赛事，其也属于不严格相关于日历和不在某一特定日期的类型。对于通常的用户，图像和视频的组织和检索是个问题。对于用户来说，能够浏览他们的集合中的重要事件的概览是有益的。现有技术中所公开的技术允许集合中的图像分类为事件，但是当他们在时间上分离时，不能将相关的事件进行
8、关联。本发明能够有效地检测通常出现在每年相同日期附近的重复事件和不严格相关于日历日期的事件。这包括为集合正在被分析的用户定制的个人特殊日期，诸如生日和周年纪念日，要进行庆祝的季节性活动和假期等。说明书附1是实施本发明的系统的框图；图2是本发明方法的总的流程图；图3是图2中的模块130所示的事件签名生成的更详细的流程图；图4示出了根据本发明所产生的事件的二维表示的一个特定示例；图5示出了根据本发明所产生的事件的三维表示的一个特定示例；图6A和6B示出了显示经过组织的集合的两个示例，所述经过组织的集合示出了在集合中检测到的重复事件组。具体实施例方式本发明可以在本领域技术人员所熟知的计算机系统中实现
9、。在以下的描述中，本发明的一些实施例将被描述为软件程序。本领域技术人员将容易地认识到，在本发明的范围内这种方法的等效也可以作为硬件或软件来构建。由于图像处理算法和系统是已知的，当前的描述将尤其指向根据本发明的方法的一部分，或与本发明的方法更直接配合的算法和系统。在本文中未被特别示出或描述的算法和系统的其他方面和用于产生以及处理其所包括的图像信号的所述算法和系统的硬件或软件可以从本领域已知的系统、算法、组件和元件中选择出来。鉴于以下说明书中所提出的描述，其中的所有软件实施方式都是常规的，并且未超出所属领域的常规技术。本发明可以在计算机硬件和计算机化的设备中实现。例如，该方法可以在数码相机、多媒体
10、智能手机、数字打印机、互联网服务器、信息亭和个人计算机上执行。参照图1，其中示出了用于实施本发明的计算机系统。虽然示出了旨在说明优选实施例的计算机系统，但本发明并不限于所示出的计算机系统，其可以被使用在例如数码相机、家用电脑、信息亭或用于处理数字图像的任何其他系统中所能找到的任何电子处理系统中。计算机10包括基于微处理器的单元20 (本文中也称为处理器)，其用于接收和处理软件程序以及执行其他处理功能。存储器单元30存储能够由处理器20在运行计算机程序时访问的用户所提供的和计算机所生成的数据。显示装置(如监视器)70被电连接到计算机10，其通过例如图形用户界面来显示关联于软件的信息和数据。键盘6
11、0也被连接到计算机10。作为使用键盘进行输入的替换项，也可以使用鼠标来移动显示装置70上的选择器，以及选择所述选择器所覆盖的选项，这是本领域所已知的。例如光盘()和DVD的输入装置50可以被嵌入到计算机10中以用于输入软件程序和其他信息到计算机10和处理器20中。另外，如本领域所已知的，计算机10可以被编程以存储软件程序在内部。此外，可以通过使用例如存储卡、闪存盘、CD和DVD的输入设备50，或通过将拍摄装置(如相机，手机，录像机等)直接连接到计算机10作为输入装置，来将媒体文件(例如图像、音乐和视频等)转移到计算机10的存储器单元30。计算机10可以具有连接到例如本地局域网或因特网的外部网络
12、的例如电话线或无线连接80的网络连接。软件程序和媒体文件可以从其他计算机或网络通过网络连接被转移到计算机10。还应当注意的是，本发明可以实现为软件或硬件的组合，并且不限于物理连接或位于相同物理位置的装置。图1所示出的装置中的一个或多个可以位于远程并且经由网络被连接。所述装置中的一个或多个可以以无线方式连接，例如直接或经由网络通过射频链路来连接。已经具体参照某些优选实施例详细地描述了本发明，但应理解的是，在本发明的精神和范围之内可以实现各种变化和修改。在接下来的详细描述中，术语“图像”也包括集合中的视频。参照图2，用户的多年的数字图像集合110存储于计算机10的存储器单元30中。在优选实施例中，
13、数字图像集合110跨越至少5年的时间。图中的其他模块由软件程序实现，并由计算机10的处理器20执行。数字图像集合110被提供给事件聚类算法120，该算法120将数字图像集合110中的图像分组为相关于时间的事件。在优选实施例中，使用了 Loui的专利号为6，606，411的美国专利和Loui的专利号为6，351，556的美国专利中所描述的事件和子事件检测器。根据专利号为6，606，411的美国专利，各事件具有一致的颜色分布，并因此，这些照片可能使用相同的背景进行拍摄。对于各个子事件，为共同拍摄的所有背景区域计算出单一的颜色和纹理表示。以上两项专利教示了如何将数字图像集中的图像和视频聚类为相关于时
14、间的事件和子事件。术语“事件”和“子事件”在客观意义上被用于指示试图匹配特定出现(对应于事件)以及所述出现的分区(对应于子事件)的用户的主观感受的以计算机为中介的程序产品。简要地归纳为，通过基于图像的时间或日期的聚类确定一个或多个图像集中的最大时间差，以及基于事件之间具有的一个或多个边界(其中所述一个或多个边界对应于一个或多个最大时间差)将多个图像分割为事件，来将图像的集合分类为一个或多个事件。对于每个事件，如专利号为6，351，556的美国专利中所述，可以通过比较连续图像的颜色直方图信息来确定子事件(如有的话)。通过把图像划分为多个模块，然后计算每个块的颜色直方图来实现。如Loui的专利号为
15、6，351，556的美国专利中所描述的，使用基于块的直方图相关程序来检测子事件边界。Loui等人的专利号为6，915，011的美国专利中公开了另一个将图像自动组织为事件的方法，其通过引用合并于此。简要总结，根据上述发明的一个方面，事件聚类方法使用前景和背景分割用于将来自一组中的图像聚类为类似事件。首先，每个图像被分成多块，从而提供基于块的图像。使用逐块的比较，各个基于块的图像被分割为至少包括前景和背景的多个区域。从所述区域中提取一个或多个亮度、颜色、位置或尺寸特征，并且所提取的特征被用于评估和比较组中的连续图像中的包括前景和背景的区域的相似度。随后，计算连续图像之间的总的相似度的度量，从而提供
16、连续图像之间的图像距离，并且根据图像距离对事件聚类进行划界。参照图2，在事件聚类算法120中检测到的事件被表示在一个多维空间中140。在一个实施例中，使用了如图4所示的二维空间。参照图4，每个事件在由y轴320上的年数和X轴330上的年中的天所定义的空间中形成一个事件点310，在此应用中，也被称多个事件点。仅按时间顺序来编号年份以生成年数，例如，如果集合跨越2005年到2010年，则2005年对应年数1，2006年对应年数2，依此类推，2010年对应年数6。该年中的天从年初的I月I日起开始计数为天I。如果在该年中出现2月29日，通常在计数中被忽略，以使得连续年中的日期对应于一年中的相同的天。此二维空间中所表示的事件将潜在的重复事件在空间上彼此接近地放置，因此，可以用空间聚类方法来找出事件的组。所述事件也可以被表示在多维空间中，其中的维数大于2。例如事件类型或者事件尺寸的其他事件特征可以被用做另外的轴，以通过其特征进一步在空间上定位所述事件。在另一个实施例中，一年中的星期以及一星期中的天分别被用作X轴和y轴。图5示出了使用年数作为z轴
