《自动视频检索器精灵的制作方法》由会员分享，可在线阅读，更多相关《自动视频检索器精灵的制作方法（7页珍藏版）》请在金锄头文库上搜索。
1、自动视频检索器精灵的制作方法专利名称：自动视频检索器精灵的制作方法技术领域：本发明通常涉及一种用于视频查询处理的系统和方法，尤其涉及动态的上下文相关的视频查询处理。电视(TV)用户可以通过图象处理系统访问电子程序向导(EPG)，以便获得总体上与电视节目有关的标准化信息，但是不能使用该图象处理系统获得涉及该电视节目某个特定方面的信息。这样，需要有用以使电视用户获得涉及某个特定方面的信息的系统和方法。本发明提供一视频查询处理方法，包括提供视频查询处理软件；提供视频内容；动态地连接该软件到视频内容；通过软件接收的视频内容片段的一个关键查询；并且通过软件确定所述的查询的应答。本发明提供一个视频查询处理
2、系统，包括视频查询处理软件，该软件动态地连接到视频内容，并且被设置为接收视频内容的片段的一个关键查询，并且被设置为确定查询的一个应答。本发明提供允许电视(TV)用户获得与特定电视节目的方面有关信息的系统和方法。图1描述了根据本发明实施例的视频处理结构的方框图。图2描述了根据本发明实施例和根据图1所示的视频处理结构的动态视频查询处理系统。图1表示根据本发明实施例的视频处理结构8的方框图。所述的视频处理结构8包括一个视频处理系统(VPS)10，一个视频源30，一个外部数据库24，以及一个用户40。VPS10包括一个处理器12，一个连接到处理器12的存储器结构14，一个连接到处理器12的本地数据库2
3、2，连接到处理器12和本地数据库22的视频输入18，连接到处理器12的一个用户输入设备19，连接到处理器12的一个输出装置20。系统10可以表示一个计算机系统(例如，台式计算机，膝上计算机，掌上计算机系统)，一个电视(TV)的机顶盒，等等。在图1所示的特定的结构中，系统10不是必要的，但是应当包括具有处理能力的任何一种存储装置，和任何一种软件，该软件能够分析视频内容，接收视频和用户输入，并且实现与用户的交互。视频内容包括实时的影像内容(即，通过系统10实时接收视频内容)，已记录的视频内容，或将来的视频内容(将来的视频内容可与视频节目的跟踪相关，这将在下面进行论述)。存储器结构14包括一个或多个
4、存储装置或相当的区域，它可以包括暂时存储器，永久存储器，和活动存储器。在暂时存储器中存储的数据在VPS10的电力停止时清除。暂时存储器尤其可包括随机存取存储器(RAM)。在永久存储器中存储的数据在VPS10的电力停止时保留。永久存储器尤其可以包括硬盘存储器，光存储器，等等。活动存储器可以容易地从VPS10中删除。活动存储器尤其可以包括一个软盘或一个磁带。存储器结构14被配置为存储一个计算机代码32，用来实现根据本发明的动态查询处理算法并且在下面结合图2进行描述。计算机代码32可以是一个程序包的一部分，它通过处理器12被执行，并且尤其可以被存储在存储器结构14的RAM中。另外，计算机代码32可以
5、在硬件中编码，尤其是在比如只读存储器(ROM)芯片上编码。用户输入设备19是一个或多个用户输入装置，尤其可以包括一个遥控装置，键盘，鼠标，等等。输出装置20包括一个或多个任何一种输出装置，例如，尤其是，一个输出显示器(例如，电视显示器，一个电脑监视器，个人数字助理(PDA)显示器，移动电话等等)，打印机，绘图仪，音频扬声器等等。输出装置20可以是任意一种装置，该装置能够显示，或传送数据内容(即，图象数据，文本数据，图表数据，音频数据，等等)。图象输入装置18是任意一种装置或结构，它可以接收来自外部图象信号源的图象内容(相关的音频和文本/或数据信号)，例如图象信号源30，并且传送这样的图象内容到
6、本地数据库22或到处理器12。图象输入装置18可以需要把接收的图象内容转换为可视的格式，例如从压缩格式(例如，从活动视频专家庭组(MPEG)格式)转换为解码或未压缩的格式。图象输入装置18还可以接收以可视格式的图象内容。图象输入装置18可以包括一个物理设备，但是通常包括用于接收并传送图象内容的任意一种结构。计算机代码32通过处理器12动态地连接到图象输入设备18或连接到通过图象装置18传送的图象内容。图象信号源30包括一个或多个图象数据的、相关音频和文本数据等等的信号源。图象信号源30是一个通过通信介质或路径25(例如电视电缆线)由VPS10可接收的图象程序的信号源。图象信号源30尤其可以包括
7、一个电视(TV)广播系统，一个电视转播卫星系统，一个因特网网址，一个本地设备(例如，VHS磁带播放机，DVD播放机)等等。图象信号源30尤其可以把一个电视节目和一个电子程序向导(EPG)或一个EPG的当前或将来的替代物通过图象输入装置18传送到VPS10。EPG有很多的信息字段(一般超过100字段)，这些字段描述了电视节目(以，一个电影为例制片人的姓名，演员的姓名，内容提要，等等)的属性。虽然本发明的实施例针对电视节目，但是本发明的范围包括任意一种可以将用户从图象信号源30传递到VPS10的图象程序。这样，图象信号源30可以同时包括一个因特网网址，该网址可以通过因特网广播一个图象程序，其中这样
8、的被因特网广播的节目可以通过任意一种技术上可利用的通信介质或路径25(例如，电话线，电视电缆线，等等)经由VPS10来被接收。本地数据库22包括一个或多个数据库，数据文件，或其它可以在VPS10内本地存储的存储库。本地数据库22包括来源于图象信号源30的图象数据及相关音频和文本数据。这样，本地数据库22可以包括图象数据及相关音频和文本数据，它们是关于一个或多个电视节目，以及与这样的电视节目有关的EPG数据或一个EPG数据的当前或将来的替代物。本地数据库22也包括其它类型的数据，这些数据需要处理用户查询，这些将在下面结合图2进行论述。然而，图1所示的本地数据库22与存储器结构14不同的，并且被连
9、接或耦合到存储器结构14，而部分或者全部本地数据库22可以另外位于存储器结构14之内。外部数据库24包括任意一种数据库结构或系统，以及对VPS10来说将是外部的(即，远程的)相关处理软件。外部数据库24和处理器12通过一个通信介质或路径26通信，该介质或路径尤其可以包括电话线，电视电缆，等等。外部数据库24尤其可以包括，可以被包括或是被耦合于一个具有包括了有关图象数据的数据库的外部服务器，含相关网址和网页的因特网，或一个具有包括了有关图象数据的数据库或数据文件的外部电脑。有关图象数据包括这样的数据可以直接或间接地与从信号源30传送来的图象数据有关。外部数据库24可以包括任意一种类型的、涉及图象
10、内容的信息(例如，一个电视节目)。举例来说，外部数据库24可以包括关于一个特定的主题范围或一种电视节目形式的特定的信息。另一个例子中，外部数据库24可以包括一个或多个图象程序的摘要信息。开发一个图象程序的摘要信息可以为本领域的普通技术人员所公知的方式来完成，或通过使用在如下文献中公开的文本、音频、或图象程序的视听数据的副本数据中获得该种技术，这些文献是(1)于2000年12月21日提交的美国专利申请，申请号为09/747,107，发明名称是用于提供一个图象程序的多媒体概要的系统和方法和(2)于2000年11月14日提交的美国专利申请，申请号为09/712,681，发明名称是使用副本信息产生图象
11、程序的概要和索引的方法和装置，这两篇申请都受让给本发明的专利受让人并都在本文结合作为参考。图1也示出了一个用户40，该用户可以通过用户输入设备19和输出装置20来与VPS10通信。本发明针对用户40在看电视节目的同时来实时进行一个查询即，问题的动态处理，或识别性地接收从数据源30传送来的视频数据(以及相关的音频和文本数据)。用户40可以在整个电视节目(程序-级别问题)的各个级别提问题或，在一个与被监视的程序段(片段-级别问题)有关的程序段提问题。一个图象内容的片段(例如，一个电视节目)是一个连续的部分或图象内容的时段的子集。如果图象内容包括N帧其中N1，那么这种图象内容的一个片段是N帧的M帧的
12、连续集，其中MN。片段级别问题和片段级别信息通常涉及到被观看的片段内容(“本地内容”)。相反的，程序级别问题涉及全部程序(“全部内容”)。如图所示，认为用户40正在看电视上播出的一个电影。一个程序-级别问题的例子是，用户40可以提问这些内容，包括电影的名称是什么？谁导演的这部电影？和这部电影何时结束？应当注意到的是，在前的程序级别问题是仅针对全部上下文的内容，而不是针对本地上下文内容。一个片段-级别问题的例子是，用户40可以查询这些内容，包括在屏幕现在出现的演员的姓名是什么？当前的景色位于哪个城市？和现在播放的背景音乐是谁创作的？应当注意到，在前的片段-级别问题处在片段级别，因此，是与本地上下
13、文内容相关的，这是因为问题的含义在于特定程序片段被动态地查看。从定义上来讲，如果一个问题的意义在于义取决于特定程序片段被动态地查看，则该问题被认为是本地上下文。这样，一个片段-级别问题是本地上下文，并且一个程序-级别问题仅是针对全部上下文的，并且不针对本地上下文。此外，如果查询或询问是关于片段的本地上下文，则一个查询或询问就被称作是图象内容中对一个片段来说是关键性的(例如，一个电视节目)。如另一个图所示，如果一个新闻程序有20个新闻报道，那么每个这种新闻报道是一个具有本地上下文的片段。相反，涉及新闻节目的全部的上下文是作为一个整体并且不对任一特定的新闻报道来说是关键性的。本发明可以通过用户40
14、利用本地数据库22、外部数据库24，或两者共同使用，给出查询的答案，这取决于查询所在的程序级别或片段级别。本地数据库22包括来源于图象数据的信息及相关的音频和文本数据，它们与从图象信号源30传送来的电视节目有关，而且也与相关于这种电视节目的EPG数据有关。本地数据库22还可以包括一个特定的信息数据库，它包括特定于程序级别的主题。这样，本地数据库22具有所述的程序级别的信息。另外，本地数据库22还可以包括片段级别数据，该片段级别数据是用户40的爱好的关键。这样，本地数据库22可以用来回答程序-级别问题，并且有限程度上回答片段级别问题。外部数据库24可以包括任何类型的数据库并且因此可以包括在程序级
15、别和片段级别两个级别的信息。举例来说，外部数据库24可以包括因特网，该因特网具有一个实际上无限制的免费网址字段，而这些网址包含全部类型的数据并且是很容易地从VPS10的处理器12中获得的。另外，外部数据库24可以包括其它的因特网网址，这些网址向用户访问收费。另外，外部数据库24可以包括全部类型的服务器和远程计算机如果通过通信介质或路径26所进行的这种访问已经被授权的话，而全部类型都可以通过VPS10被访问。确切的说，如果外部数据库24被限制在因特网，则VPS10将称为操作在一个单机模式，并且，如果外部数据库24可以访问除了因特网以外的数据库(例如访问一个远程服务器的数据库)，则VPS10被称作
16、处于一个服务模式。图2描述了根据本发明实施例的和图1中的图象处理结构8的动态视频查询处理系统50。在图2中，动态图象查询处理系统50包括一个查询处理60，它是图1中存储器结构14的计算机代码32的一部分。另外，图2包含查询处理包括了60在内的查询处理软件及在图2中将在以下被描述的其它软件(例如、特征抽取54)。图2所示的查询处理60，以及在图1所示的其它任意的计算机代码32之内的软件，都由图1的处理器12执行。查询处理60由处理器12动态地连接到视频内容，和相关的声音以及文本，它由VPS10的视频输入装置18接收(参见图1)。动态地连接意指能够实时地监控(或，另一方面交互于)视频内容及相关的声音和文本，因为这些视频内容是由VPS10的视频输入装置18接收的。如图2描述的，查询处理60在动态视频查询处理系统50中起着重要作用。查询处理60接收并且处理用户40输入的查询，查找与程序级查询一致的答案，查找与片段级查询一致的答案，并
