经评级内容的众包和上下文重新分类的制作方法

《经评级内容的众包和上下文重新分类的制作方法》由会员分享，可在线阅读，更多相关《经评级内容的众包和上下文重新分类的制作方法（5页珍藏版）》请在金锄头文库上搜索。

1、经评级内容的众包和上下文重新分类的制作方法专利名称：经评级内容的众包和上下文重新分类的制作方法经评级内容的众包和上下文重新分类背景技术：因特网充满了许多不同类型的内容，诸如文本、视频、音频等等。诸如传统的媒体渠道(例如，新闻站点)、个人博客、零售商店、产品制造商等许多源生产内容。某些网站聚合来自其他站点的信息。例如，使用真正简单聚合(RSS)订阅源，网站作者使得内容可以由其他站点或用户来消费，并且聚合站点可以消费各种RSS订阅源以提供经聚合的内容。内容发布者常常提供了用于对内容进行评级或者接收来自用户的关于该内容的意见(例如正面、负面或中间的某个尺度)的工具。例如，视频可以包括五颗星的显示，其

2、中用户可以点击所述五颗星以将该视频评级为一至五颗星。发布者还可以基于来自多个用户的输入显示评级并且将评级用在搜索(例如以便返回最高评级的内容或者按照评级对内容进行排序)或其他工作流中。组织可以在内部或在外部对内容进行评级，比如确定若干选择中的哪个广告活动将对目标人口统计最有效。在实时web的世界中，组织接收对内容的上下文相关的评估是有益的。可以确定内容意见的一个领域在于保护组织的声誉。组织的声誉可能是组织所拥有的最重要资产之一。例如，公司的销售可能部分地由顾客对于该公司向顾客递送高质量产品以及准时地递送产品有多么信任来确定。许多顾客通过特定业务的顾客服务部分将如何处理出错的事情(例如丢失的送货

3、、损坏的货物等等)来确定他们是否将与该业务打交道。许多组织都已经围绕他们的顾客服务质量建立了显著的声誉，而其他组织则已经由于对他们顾客服务的负面印象而蒙受损失。顾客可以向各个源上传影响组织的声誉的内容。在给定数据的量的情况下，可以通过自动算法来评估大多数内容以提供混合的成绩。通常在通用结果集合上训练算法，并且因此当在诸如一代人认知、地理上特有俚语、地理上特有文化信仰、业务垂直面等等之类的各个上下文中审视该算法时，对精确性的解释可能大范围变化。组织可以最初自动地对内容进行评级，并且然后接着是人工过程以调节该评级或解释该评级的含义。遗憾的是，意见因不同的人而异。仅仅因为几百万青少年喜欢特定内容项还

4、不能保证老年人将喜欢该内容项。同样，在一个国家或语言中幽默的内容可能在其他地区或语言中显得无聊、甚至更糟地是无礼的。在实时web的世界中，组织需要能够容易地为多种不同组以及为多种不同目的标识出内容意见。另外，组织需要能够验证自动意见算法并且基于经验调节这些算法。发明内容在此描述了一种内容评估系统，其使得最终用户和组织能够共享他们对自动生成的意见得分的解释。该系统可以提供一种诸如滑动条之类的简单的视觉机制，用户可以移动该视觉机制以指示对自动评分的同意或不同意。该系统基于用户的反馈将跟踪关于该用户的信息的元数据添加至经修订的分数，以考虑不同的人口统计上下文。该系统在考虑上下文的情况下利用用户提供的

5、评分执行重新评分，并且然后在上下文专用端点上展示经重新评分的值。内容评估系统提供了一种众包(crowd-sourcing)方案,该方案扩展性极好、增加了更多精确性(因为已知人口统计类别/上下文内的个体进行该评分)、并生成可被销售/转售的增值数据产品。另外，所得到的数据集可以用于改进自动内容评估算法，由此增加算法的精确度并提供上下文专用的变型方案。因此，内容评估系统提供了一种供个体和组织覆盖由自动内容评估过程分配的值，同时提供与提供所述算法评分的覆盖的个体/组织有关的上下文的机制。提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特

6、征或必要特征，也不旨在用于限制所要求保护主题的范围。图I是示出一个实施例中的内容评估系统的组件的框图。图2是示出了一个实施例中内容评估系统对内容进行评级的处理的流程图。 图3是示出了一个实施例中该系统从用户接收针对内容项的意见评级覆盖的处理的流程图。图4是示出一个实施例中该系统重新评估聚合评分的处理的流程图。图5是示出一个实施例中的内容评估系统的操作环境的框图。具体实施例方式在此描述了一种内容评估系统，该系统使得最终用户和组织能够共享他们对自动生成的意见分数的解释。该系统可以提供一种诸如滑动条之类的简单的视觉机制，用户可以移动该视觉机制以指示对自动评分的同意或不同意。该系统基于用户的反馈将跟踪

7、关于用户的信息的元数据添加至经修订的分数，以考虑不同的人口统计上下文。例如，系统允许管理员在以后确定特定年龄范围、性别、社会地位等等的用户对内容的印象。该系统在考虑上下文的情况下对用户提供的评分执行重新评分，并且然后在上下文专用端点上展示经重新评分的值。内容评估系统提供了一种众包(crowd-sourcing)方案,该方案扩展性极好、增加了更多精确性(因为由已知人口统计类别/上下文内的个体进行该评分)、并生成可被销售/转售的增值数据产品。另外，所得到的数据集可以用于改进自动内容评估算法，由此增加算法的精确度并提供上下文专用的变型方案。因此，内容评估系统提供了一种供个体和组织覆盖由自动内容评估过

8、程分配的值，同时提供与提供对所述算法评分的覆盖的个体/组织有关的上下文的机制。该经修订的分数具有与其相关联的上下文专用的元标签，并且利用其他个体的经修改分数来在量上对该分数进行审阅。然后，该系统重新计算上下文专用的评分并且通过web服务展示该评分以供在网站、web服务和应用中消费。在一些实施例中，内容评估系统提供了一种用于将人和人口统计上下文用于信息的上下文重新评分的机制。如在此所述，该系统可以向用户呈现反映对内容项的正面或负面印象的自动分数，并且允许用户指示对该自动分数同意或不同意。用户具有相关联的用户简档，所述用户简档是之前创建的并且由捕捉关于该用户的人口统计信息的系统来存储，使得当该用户

9、覆盖内容存储时，该系统可以存储经修改的分数和与修改该分数的用户相关联的人口统计特征二者。在许多这样的用户执行了类似的动作以后，该系统可以积累描述由具有相似人口统计特征的用户作出的修改的统计数据，以标识出特定人口统计类别中在内容评估方面的倾向性。在一些实施例中，内容评估系统收集和聚合来自许多不同用户的用户分数修改以标识出倾向性。例如，该系统可以提供用户可查看和评估内容的网站。该网站可以提供对内容的自动分数的指示、或对反映关于内容项随时间接收到的历史用户反馈的分数的指示。该系统根据人口统计标签存储数据点，使得管理员可以在以后生成对根据多种人口统计组合来分切的评分数据的统计分析。例如，管理员可能希望

10、知道年龄为15 - 25岁的女性对特定内容项的印象，然后希望知道居住在西海岸的所有年龄的女性对该特定内容项的印象。通过在接收到各个印象时存储与已知人口统计特点相关联的印象信息，该系统促进了以后根据多种不同标准进行的分析。在一些实施例中，内容评估系统展示应用编程接口(API)以供用户、服务和应用访问由该系统基于用户印象来编译的内容评估信息并且基于所收集的数据来生成报告和统计分析。该系统可以提供网站、web服务或其他接口以提供对系统收集的数据的广泛访问，并且使得其他应用和系统可以标识出和使用由该系统标识出的数据变型以驱动更大的解 决方案和工作流。在一些实施例中，内容评估系统将用于意见覆盖的机制(例

11、如滑块控件)嵌入应用或网站。在接收到意见覆盖以后，该网站调用web服务并提供内容标识符、经修订的分数、以及提供该经修订分数的个体/组织的人口统计信息(例如年龄、地理位置、业务垂直面等等)。该web服务将经修订的分数存储在托管数据存储(例如在线数据库或基于云的存储服务)中。该服务评估提供经修订分数的个体/组织的人口统计数据(例如年龄、地理位置、意见、业务垂直面等等)、将合适的元数据标签分配给该内容以跟踪所述人口统计数据、并且在数据库中为该修订创建记录。软件利用元数据标签的上下文周期性地评估众包分数，并且沿着不同上下文的多个维度(例如年龄、地理位置、业务垂直面等等)对内容进行重新评分。经修订的分数

12、然后存储在托管数据库中。Web服务展示内容的经更新的上下文专用的分数，所述分数然后被访问内容评估系统的网站、服务和应用消费。图I是示出一个实施例中的内容评估系统的组件的框图。系统100包括发布者接口组件110、基线评估组件120、意见数据存储130、用户接口组件140、用户反馈组件150、用户人口统计组件160、自动调节组件170、以及数据消费者接口组件。这些组件中的每个都在此予以更详细讨论。发布者接口组件110提供了可被发布者用来将要被自动和人工地评级的内容添加至系统的接口。例如，发布者可以使用发布者接口来将新的视频张贴至网站。发布者接口组件110还提供了一种供发布者查看一个或多个内容项的当

13、前评级状态以及获得与各个人口统计简档相关的报告的方式。基线评估组件120自动地确定内容项的评级意见。组件120可以使用多种不同的自动评级算法来开发内容项的基线评级。系统100的用户将通过在用户的观点中提供与自动评级的精确性有关的反馈来调节基底评级。基线评估组件120可以采用对内容进行评级的多种自动方法，并且可以组合多种方法的分数(例如取平均)。另外，基线评估组件120接收基于随时间接收的用户评级的调节信息，所述调节信息可被组件120用于改善基线自动意见评级的质量和精确性。意见数据存储130存储一个或多个内容项的评级信息。数据存储可包括盘驱动器、文件系统、数据库、存储区网络(SAN)、基于云的存

14、储服务器、或者其他用于持久保存数据的工具。例如，系统100可以使用包括具有以下行的表的数据库这些行各自都存储特定的用户评级以及标识出提供意见评级的每个用户的人口统计特点的人口统计元数据。其他组件可以以多种方式查询意见数据存储130以提取与特定报告或其他目标相关的信息。例如，组件可以查询来自特定年龄范围或地理居住区的用户的评级。用户接口组件140提供了一种可被系统100的用户用来通过用户接口控件提供人工意见评级的用户接口。例如，该用户接口可以向用户显示内容项并且在每个内容项附近提供滑块控件，通过所述滑块控件，用户可以以一定尺度指定他对该内容项的观点(例如喜欢它、不喜欢它)。用户接口组件140还可

15、以向用户提供其他控件、页面或接口以用于搜索内容项、指定简档/人口统计信息、接收对内容项进行评级的信用等等。用户反馈组件150从用户接口接收用户反馈并且将该用户反馈存储在意见数据存储130中。例如，如果用户将滑块控件一路滑到负值，则组件150可以记录指示该用户不喜欢该内容项的数据行。该行可以包括内容标识符、该用户对该项的特定意见评级、以及与 该用户相关联的人口统计特征。用户人口统计组件160跟踪在用户对内容项进行评级时以及在数据消费者接收关于用户意见评级的报告时要使用的用户人口统计信息。用户人口统计组件160可以维护所存储的每个用户的简档，所述简档包括关于该用户的信息(例如年龄、居住地点、性别、

16、附属机构等等)。可替代或附加地，组件160可以在接收到评级指示时从该用户获得类似信息。例如，用户可能匿名地访问系统100，但是该系统可以在提供内容项以供用户评级以前请求用户给出他们的年龄或其他人口统计信息。自动调节组件170创建在自动评估与从用户接收的实际评级值之间的反馈循环。自动评估尝试确定内容项的基线质量等级，但是可能不能准确地预测用户将喜欢什么。如果用户评级指示对自动评估结果的强烈的不同意或相反倾向性，则组件170可以合并用户反馈以将自动算法调节为产生更佳结果。例如，该调节可以减轻自动算法的臆断(例如较长的内容将不被评级为高)，或者调节自动算法的参数(例如通过在内容项被确定为普遍地或在特定上下文中令人讨厌以前调整量的阈值等级。)随着时间，由自动调节组件170定向回自动评估的用户评级改善自动评估的精确性以提供更佳的初始基线结果(其然后可以被用户输入进一步调节)。数据消费者接口组件180向一个或多个数据消费者提供关于内容项意见的聚合数据。例如，组件180可以提供可被数据消费者用来提交数据查询和接收匹配结果的API(例如web服务API或其他协议)。