中文网页褒贬态度的机器评价

《中文网页褒贬态度的机器评价》由会员分享，可在线阅读，更多相关《中文网页褒贬态度的机器评价（45页珍藏版）》请在金锄头文库上搜索。

1、中文网页褒贬态度的机器评价中文网页褒贬态度的机器评价导师：俞士汶教授，孙斌副教授导师：俞士汶教授，孙斌副教授硕士毕业生：苏玉梅硕士毕业生：苏玉梅20042004年年5 5月月 硕士学位论文答辩硕士学位论文答辩中文网页褒贬态度的机器评价中文网页褒贬态度的机器评价引言引言相关工作与工作基础相关工作与工作基础网页褒贬态度评价模块网页褒贬态度评价模块实验结果及展望实验结果及展望引言引言天网知名度系统天网知名度系统网页观察机器评价视角下看中文网页类型网页观察机器评价视角下看中文网页类型项目延伸网页褒贬态度的机器评价项目延伸网页褒贬态度的机器评价本实验的研究内容及意义本实验的研究内容及意义 天网知名度系统

2、天网知名度系统基础：天网搜索引擎，计算语言学技术基础：天网搜索引擎，计算语言学技术定位：用户定制查询，个性化网络检索服务定位：用户定制查询，个性化网络检索服务数据：数据：75万中文网页，近万中文网页，近300个名人实体个名人实体注册实体信息库注册实体信息库所在的所在的领域域政府，科教，文学，政府，科教，文学，业界，媒体，歌星，音界，媒体，歌星，音乐，影，影视，体育，体育，艺术（共（共10类）名字名字包括包括别名、笔名、名、笔名、艺名等潜在可能代表名等潜在可能代表实体的名字体的名字所在工作所在工作单位位例如，北京大学例如，北京大学职业描述描述例如，主席、例如，主席、书记、教授、教授、记者、演者、

3、演员兼兼职单位位可以有多个可以有多个社会形象社会形象例如，国学大例如，国学大师，环保大使保大使特征特征词用用户关心的特征描述关心的特征描述代表作代表作著作名、作品名、著作名、作品名、产品名等品名等引言引言天网知名度系统天网知名度系统网页观察机器评价视角下看中文网页类型网页观察机器评价视角下看中文网页类型项目延伸网页褒贬态度的机器评价项目延伸网页褒贬态度的机器评价本实验的研究内容及意义本实验的研究内容及意义 网页观察机器评价视角下网页观察机器评价视角下看中文网页类型看中文网页类型强文字相关的信息类网页强文字相关的信息类网页例如：个人简历型网页例如：个人简历型网页 弱文字相关的事件或事物展开型网页

4、弱文字相关的事件或事物展开型网页例如：事件报道，节目单例如：事件报道，节目单引言引言天网知名度系统天网知名度系统网页观察机器评价视角下看中文网页类型网页观察机器评价视角下看中文网页类型项目延伸网页褒贬态度的机器评价项目延伸网页褒贬态度的机器评价本实验的研究内容及意义本实验的研究内容及意义 项目延伸网页褒贬态度的机器评价项目延伸网页褒贬态度的机器评价网页是传递信息的。网页是传递信息的。从效果上看，人们通过构建网页来传递信从效果上看，人们通过构建网页来传递信息，也可以进而表达态度和传递情感息，也可以进而表达态度和传递情感即，网页所包涵的褒贬态度信息。即，网页所包涵的褒贬态度信息。网页褒贬评价关系分

5、析图网页褒贬评价关系分析图 网页机器读者语言实体语言实体语言实体构造认知评价解析评价认知认知评价解读网页内容作者引言引言天网知名度系统天网知名度系统网页观察机器评价视角下看中文网页类型网页观察机器评价视角下看中文网页类型项目延伸网页褒贬态度的机器评价项目延伸网页褒贬态度的机器评价本实验的研究内容及意义本实验的研究内容及意义 本实验的研究内容及意义本实验的研究内容及意义项目延续项目延续符合天网知名度系统个性化网络服务的立意符合天网知名度系统个性化网络服务的立意可以利用已有的数据基础和实验平台可以利用已有的数据基础和实验平台此项实验具有研究和实验展开的可延续性此项实验具有研究和实验展开的可延续性本

6、实验的研究内容及意义本实验的研究内容及意义语言基础语言基础网络是重要的信息传播媒介。网络是重要的信息传播媒介。现实网页中的褒贬态度表达往往含有明确现实网页中的褒贬态度表达往往含有明确的目标、动机和效果期望，因此构造者会的目标、动机和效果期望，因此构造者会很重视语言知识这个交流手段。很重视语言知识这个交流手段。网页中的褒贬态度表达也就是一个典型的网页中的褒贬态度表达也就是一个典型的修辞行为，所以实验可以充分利用修辞学修辞行为，所以实验可以充分利用修辞学的理论成果，具有理论指导基础。的理论成果，具有理论指导基础。本实验的研究内容及意义本实验的研究内容及意义创新价值创新价值从语言学角度看，修辞涉及语

7、言的附加意从语言学角度看，修辞涉及语言的附加意义，这区别于概念意义。因而此项实验具义，这区别于概念意义。因而此项实验具有丰富创新性研究价值。有丰富创新性研究价值。 中文网页褒贬态度的机器评价中文网页褒贬态度的机器评价引言引言相关工作与工作基础相关工作与工作基础网页褒贬态度评价模块网页褒贬态度评价模块实验结果及展望实验结果及展望相关工作与工作基础相关工作与工作基础语言手段语言手段评价规范及标准评价规范及标准资源准备资源准备系统基础系统基础实验考察实验考察实验考察实验考察语言手段语言手段词词语语手手段段句句式式手手段段修修辞辞手手段段评评价价规规范范及及标标准准实验考察与实验资源的对应分布实验考察

8、与实验资源的对应分布 实验考察考察实验相关相关词褒褒义词基基础褒褒贬义词典典贬义词短短语固定短固定短语不固定短不固定短语褒褒贬评价价结构模板构模板句式句式陈述句述句感感叹句句辞格辞格比比喻等意等意义辞格辞格词典部分覆盖典部分覆盖评价价排比等形式辞格排比等形式辞格形式累形式累计修辞修辞标准和准和规范范主主观标准准褒褒贬评价原价原则领域域标准准领域域补充褒充褒贬义词集集相关工作与工作基础相关工作与工作基础语言手段语言手段评价规范及标准评价规范及标准资源准备资源准备系统基础系统基础资源准备资源准备 基础褒贬义词典基础褒贬义词典 典型网页文本搜集典型网页文本搜集 领域补充褒贬义词集领域补充褒贬义词集

9、褒贬评价模板搜集褒贬评价模板搜集 基础褒贬义词典基础褒贬义词典常用褒贬义词语详解词典常用褒贬义词语详解词典 静态褒义、贬义词语，包括双音词，成语，静态褒义、贬义词语，包括双音词，成语，惯用语，以及少数谦辞、敬辞。每个词条惯用语，以及少数谦辞、敬辞。每个词条包括三部分内容：褒贬色彩，词性，释义，包括三部分内容：褒贬色彩，词性，释义，例句等；提示，重叠形式，同义解析等；例句等；提示，重叠形式，同义解析等；近义，反义等。近义，反义等。仅选取了每个条目中的两项信息，例如仅选取了每个条目中的两项信息，例如（诚挚（诚挚 ）和（草率）和（草率 ），生成了褒贬），生成了褒贬评价系统使用的褒贬义电子词典。评价系

10、统使用的褒贬义电子词典。 典型网页文本搜集典型网页文本搜集季老先生一生勤勉，一生季老先生一生勤勉，一生谦和，著作等身，桃李和，著作等身，桃李满门。她不像倪萍身材高挑、她不像倪萍身材高挑、浓眉大眼，也不像周涛那眉大眼，也不像周涛那样一副典型的中央台一副典型的中央台“国国标”播音播音员的的风韵。韵。李保田修养全面，李保田修养全面，热爱艺术，在表演上精益求精，是影，在表演上精益求精，是影视界界优秀的表演秀的表演艺术家之一。家之一。李李晓华把握商机和适当冒把握商机和适当冒险的精神的确有其的精神的确有其过人之人之处。因此，因此，孙楠的反抗不楠的反抗不仅是肤浅的，而且是狭隘的。是肤浅的，而且是狭隘的。曹曹

11、颖从外表上看更从外表上看更显单薄、弱小。她不像倪萍身材高挑、薄、弱小。她不像倪萍身材高挑、浓眉大眼，也不眉大眼，也不像周涛那像周涛那样一副典型的中央台一副典型的中央台“国国标”播音播音员的的风韵。韵。周涛周涛虽然很然很红，可她太四平八，可她太四平八稳，真，真诚，质朴有余，而灵朴有余，而灵动，幽默不，幽默不够。我喜我喜欢施翌，她清新自然，毫不做作，宛如一位施翌，她清新自然，毫不做作，宛如一位邻家学姐在家学姐在带着露珠的清着露珠的清晨晨为你你讲述一切美好的述一切美好的东西，西，让你一整天都感受到温暖和喜悦。你一整天都感受到温暖和喜悦。第二声感第二声感叹便是便是杨晨了，他晨了，他带伤上上场并并奋勇勇

12、顶进反超的关反超的关键一球，一球，职业球球员的的风采采夺目照人。目照人。米色米色职业装，极富装，极富亲和力的熟悉的微笑，和力的熟悉的微笑，标志性的招手志性的招手王小丫来了。王小丫来了。而似乎而似乎侧重防守的重防守的马儿在防守儿在防守时也未尽心。也未尽心。典型网页文本示例典型网页文本示例赵宝刚点评当红明星2001年05月10日09:48:15北京晨报邱俪华王志文：过把瘾之后沉寂了一段时间。从他这两年出的两部戏可以看出，这段时间他没浪费，磨出了更深的功力。他是一定能成艺术家的那类人。 江珊：过把瘾之后有五年都没接到好角色，她是个很适合演普通百姓的演员，不能太“贵族”了，那样看着不像她，观众也接受不

13、了。 陆毅：千万别“吃”形象，形象早晚会“吃完”，到时就得靠功力了。如果他能不断演些富有挑战性的角色而不是重复过去，将来走到哪里都不怕。 周迅：形象也好，气质也好，她是我非常欣赏的那类演员。她在像雾像雨又像风里演的杜心雨，这个人物在文学上很不成功，对演员来说简直没法演，可周迅就能让她“站”起来。 徐静蕾：她的文化修养在同龄的女演员里特别突出，这给她的表演打了很好的底子。可有文化的不一定成得了好演员，而好演员可以没文化。出于性格的原因，她表演起来很冷静，不会太投入。再磨一段时间，相信到了火候她就能提高。 陈宝国：他是“老来瘦”，虽说添了“褶子”，可身梁还在，他是能演一辈子戏的人，看看大宅门就知道

14、。 葛优：在我的编辑部的故事之后也沉寂了一段时间，后来演了活着，又演了冯小刚的几部贺岁剧，又火了。他是个可塑性很强的演员，虽说外形让人觉得是“演配角的命”，可别让他逮着机会，逮着了就能火。领域补充褒贬义词集样例领域补充褒贬义词集样例词语褒褒贬含含义出出现领域域修修饰内容内容著作等身，桃李著作等身，桃李满门，创新新科教科教科教科教专家家悠悠远、磁性、高亢、磁性、高亢音音乐嗓音嗓音尽心、尽心、团结运运动足球运足球运动员出口成章、机敏、灵出口成章、机敏、灵媒体媒体主持人主持人风格格四平八四平八稳媒体媒体主持人主持人风格格入木三分、活生生入木三分、活生生影影视演演员演技演技俊秀、俊逸、活力俊秀、俊逸、

15、活力影影视演演员外形外形感染力、理智、沉感染力、理智、沉稳媒体媒体主持人主持人风格格最佳、最佳、绝佳、一流、不俗佳、一流、不俗影影视演演员演技演技楚楚楚楚动人、温婉人、温婉媒体媒体主持人外形主持人外形褒贬评价模板搜集样例褒贬评价模板搜集样例a的的entity楚楚动人的小丫楚楚动人的小丫 Entityna 这姑娘脑袋灵这姑娘脑袋灵 n的丧失的丧失 诚信的丧失诚信的丧失 不不a 不心浮气燥不心浮气燥不乏不乏n 不乏可圈可点之处不乏可圈可点之处 未未a 而似乎侧重防守的马儿在防守时也而似乎侧重防守的马儿在防守时也未尽心未尽心 n不够不够 灵活性不够灵活性不够 极富极富n 极富亲和力的熟悉的微笑极富亲

16、和力的熟悉的微笑 勇于勇于v 勇于开拓前进勇于开拓前进 Nentity 美女曹颖美女曹颖 相关工作与工作基础相关工作与工作基础语言手段语言手段评价规范及标准评价规范及标准资源准备资源准备系统基础系统基础天网知名度系统天网知名度系统天网知名度系统模块天网知名度系统模块浏览浏览用户界面模块用户界面模块 用户注册用户注册用户检索用户检索指定文本内容的评价指定文本内容的评价主动推送服务主动推送服务网页分析与索引模块网页分析与索引模块用户信息维护模块用户信息维护模块网页相关度评价模块网页相关度评价模块中文网页褒贬态度的机器评价中文网页褒贬态度的机器评价引言引言相关工作与工作基础相关工作与工作基础网页褒贬

17、态度评价模块网页褒贬态度评价模块实验结果及展望实验结果及展望网页褒贬态度评价模块网页褒贬态度评价模块数据需求数据需求 设计思想设计思想 模块设计模块设计 数据需求数据需求网网页URL地址地址网网页长度度(按按词计)网网页词串串词的的词性性标注串注串词的的HTML标记串串网网页中人名列表中人名列表网网页中中职务列表列表网网页中企中企业或机构名列表或机构名列表网网页中人名中人名单位关系列表位关系列表网网页中人名中人名职务关系列表关系列表网页表示库网页表示库数据需求数据需求所在的所在的领域域共共计10类，政府，科教，文学，政府，科教，文学，业界，媒体，歌星，音界，媒体，歌星，音乐，影，影视，体育，体

18、育，艺术名字名字包括包括别名、笔名、名、笔名、艺名等潜在可能代表名等潜在可能代表实体的名字体的名字所在工作所在工作单位位例如，北京大学例如，北京大学职业描述描述例如，主席、例如，主席、书记、教授、教授、记者、演者、演员兼兼职单位位可以有多个可以有多个社会形象社会形象例如，国学大例如，国学大师，环保大使保大使特征特征词用用户关心的特征描述关心的特征描述代表作代表作著作名、作品名、著作名、作品名、产品名等品名等实体信息库实体信息库设计思想设计思想语言手段是基础语言手段是基础 话题的实体有关性话题的实体有关性针对领域标准的褒贬评价针对领域标准的褒贬评价 获得当前网页的全部人名、词串、词性标注串取下一

19、个人名成功取下一个候选实体跳至该实体出现的第一句的句首针对当前实体所属领域处理，扫描后面的褒贬评价，跳过任何其他实体的相关评价，得分输出至得分向量，各具体评价单位也加入到系统中该实体的评价记录中成功输出当前网页的全部实体的褒贬评价得分出现新实体名跳至该实体出现的下一个位置获得此人名相关的全部注册实体，加入该网页的实体向量，并生成对应实体的得分向量不成功成功是否注：网页褒贬评价流程图注：网页褒贬评价流程图褒贬结构要素褒贬结构要素模板模板褒褒中中0贬指指标*未登未登录A（不（不 ）（不）（不 是是 ）（少）（少 了了 ）（没）（没 了了 ）（未能（未能 ）（未）（未 ）（没）（没 能能 ）（没有）

20、（没有 ）（决不（决不 ）10010B（丧失失 ）（缺乏）（缺乏 ）1011C（富有（富有 ）（善于）（善于 ）（富于）（富于 ）（富）（富 ）（极富（极富 ）21211D（不乏（不乏 ）（具）（具备 ）（具有）（具有 ）（有）（有 ）10110E（的（的 缺失缺失 ）（的）（的 丧失失 ）（不）（不够 ）1111AAF（不（不 是是 不不 ）（没有）（没有 不不 ）00000ACG（不（不 善于善于 ）（不）（不 富于富于 ）11110ADH（不（不 具具备 ）（不）（不 具有具有 ）10010褒贬结构识别模板表达式褒贬结构识别模板表达式UAPUBPUCPUDPUAAPFPUACPGPUAD

21、PHPUPUPEC“和和”|“与与”|“，”|“、”|“且且”P=WCW2关键结构关键结构Pp结构是褒贬结构的基本组成部分结构是褒贬结构的基本组成部分识别策略是：使得由链接词语链接在一起的词序识别策略是：使得由链接词语链接在一起的词序列中不允许出现褒贬互逆，同时需要满足，仅当列中不允许出现褒贬互逆，同时需要满足，仅当词语本身具有褒贬含义，或者词语本身具有褒贬含义，或者W本身不在褒贬词本身不在褒贬词典中但该序列中其他词语有褒贬含义，此时才形典中但该序列中其他词语有褒贬含义，此时才形成合法的成合法的P，同时把未在褒贬词典中出现但出现，同时把未在褒贬词典中出现但出现在结构中的这个词语抽取出来，并依照

22、此序列中在结构中的这个词语抽取出来，并依照此序列中的已有褒贬含义按照一致性原则猜测，把这个未的已有褒贬含义按照一致性原则猜测，把这个未登录词语纪录为未证褒贬词语。登录词语纪录为未证褒贬词语。注：考虑到褒贬评价的领域性，这里的未证褒贬注：考虑到褒贬评价的领域性，这里的未证褒贬词语也是根据领域来分别记录的。词语也是根据领域来分别记录的。 中文网页褒贬态度的机器评价中文网页褒贬态度的机器评价引言引言相关工作与工作基础相关工作与工作基础网页褒贬态度评价模块网页褒贬态度评价模块实验结果及展望实验结果及展望实验结果及展望实验结果及展望成批网页褒贬评价结果浏览成批网页褒贬评价结果浏览http:/162.10

23、5.80.47指定内容褒贬评价浏览指定内容褒贬评价浏览http:/162.105.80.47/test.htm结果浏览示例实体结果浏览示例实体实体编号实体编号实体姓名实体姓名实体领域实体领域所属用户所属用户21吴仪吴仪政府政府hi1072王玮王玮业界业界hi3573俞士汶俞士汶科教科教hi3685白春礼白春礼科教科教hi42117吴伯萧吴伯萧文学文学hi58118王安忆王安忆文学文学hi58123曹颖曹颖媒体媒体hi61结果浏览示例实体结果浏览示例实体实体编号实体编号实体姓名实体姓名实体领域实体领域所属用户所属用户158周涛周涛媒体媒体hi78162施翌施翌业界业界hi80173韩乔生韩乔生媒

24、体媒体hi86177孙楠孙楠音乐音乐hi88221李保田李保田影视影视hi110224徐静蕾徐静蕾影视影视hi112243马明宇马明宇体育体育hi121改进方向改进方向 更精细的褒贬评价模板（内容、层次）更精细的褒贬评价模板（内容、层次）转折结构及褒贬权重转折结构及褒贬权重 更精确的褒贬冲突控制更精确的褒贬冲突控制 褒贬评价的程度考虑褒贬评价的程度考虑 更精细的褒贬义词典构造更精细的褒贬义词典构造 实验评价实验评价修辞是有意识的行为，褒贬是有指向目标的态度，修辞是有意识的行为，褒贬是有指向目标的态度，网络是当代生活的重要传媒手段。网络是当代生活的重要传媒手段。天网知名度系统立足发展个性化网络服

25、务，因此天网知名度系统立足发展个性化网络服务，因此其系统基础和系统数据资源恰好为褒贬态度的机其系统基础和系统数据资源恰好为褒贬态度的机器评价提供了合适的实验和检验平台。器评价提供了合适的实验和检验平台。为合适的应用选择合适的处理方法，为合适的技为合适的应用选择合适的处理方法，为合适的技术发现合适的应用领域，这种研究策略，在交叉术发现合适的应用领域，这种研究策略，在交叉领域是有效，更是饶有趣味的。领域是有效，更是饶有趣味的。参考文献与资料参考文献与资料 文献文献1【英英】杰弗里杰弗里N利奇利奇语义学语义学上海外语教育出版社上海外语教育出版社2 史有为主编史有为主编从语义信息到类型比较从语义信息到

26、类型比较北京语言文化大学出版社北京语言文化大学出版社3 陈汝东陈汝东对外汉语修辞学对外汉语修辞学广西教育出版社广西教育出版社4 陈汝东陈汝东认知修辞学认知修辞学广东教育出版社广东教育出版社5 王逢鑫王逢鑫英汉比较语义学英汉比较语义学外文出版社外文出版社6 亚里斯多德亚里斯多德修辞学修辞学罗念生译，生活读书新知三连书店罗念生译，生活读书新知三连书店 1991年版年版7 张志公张志公 张志公语文教育论集张志公语文教育论集，人民教育出版社，人民教育出版社 1994年版年版资料资料1孙斌孙斌 中文信息提取系统设计与若干相关基础问题的研究中文信息提取系统设计与若干相关基础问题的研究 北京大学博北京大学博士后研究工作报告士后研究工作报告 2002.52孙斌孙斌 天网知名度项目汇报天网知名度项目汇报 2002.11 3昝红英昝红英 天网知名度项目汇报系统结题报告天网知名度项目汇报系统结题报告 2003.12 致谢致谢 ！