《现代汉语词义标注语料库的研究与开发幻灯片》由会员分享，可在线阅读，更多相关《现代汉语词义标注语料库的研究与开发幻灯片（19页珍藏版）》请在金锄头文库上搜索。
1、现代汉语词义标注语料库 的研究与开发,吴云芳 北京大学计算语言学研究所 2005-08-15,报告提纲,目标 总体思路 辅助软件 成果展示 难点分析,目标,建成23个具有国际先进水平（或规模最大）的数据资源库并制定相应的规范或标准。 973项目“数字内容理解的理论与方法”预期目标之一 我们的目标：建设成为规模最大、质量上乘的具有国际先进水平的现代汉语词义标注语料库。 具体运用意义：是词义自动消歧（WSD）的数据基础,进而提升信息检索、机器翻译等系统的应用水平。是现代汉语词汇语义研究的资源库。,总体思路 粗粒度到细粒度的两步走策略,1. 粗粒度标注 基于现代汉语语法信息词典中的“同形”信息 填补
2、现代汉语语法信息词典和语料库的缝隙 2. 细粒度标注 在“同形”基础上进行更适应于语言信息处理的义项区分,现代汉语语义词典（含6万实词） 现代汉语语法信息词典的扩充，面向机器翻译。 动词库部分信息样例（增加了“义项”等字段）,总体思路 语义词典和词义标注语料的互动构建,语义词典,词义标注语料库,词语多义区分,词义自动消歧,1.词语义项的区分 一个词可以分割为几个义项？,2.真实文本中词语义项的确定 在一定上下文中这个词语表示什么意义？,总体思路 语义词典和词义标注语料的互动构建,语义词典,词义标注语料,词义标注,义项区分,面向大规模真实文本的 词语义项标注规范,一方面依据语义词典中的义项信息对
3、语料中的多义词进行词义标注，一方面依据词语在语料中的句法表现（syntactic behavior）对词典中的义项区分作出调整，词典和语料形成一个互动良性的发展。,总体思路 词义标注语料的滚雪球似增长,基本标注语料 （词语切分、 词性标注）,人工词义标注,小规模 词义标注语料库,机器学习 词义自动消歧,人工校对,大规模 词义标注语料库,词义标注校对辅助软件,体现了总体思路， 提高了工作效率。,成果展示词义标注语料库,从/p 科学/a 的/u 苍穹/n 上shang5/f!B$ ，/wd 采/v 来/v!4-4 日辉/n 、/w 月华/n 、/w 星/n 芒/Ng ，/wd 每天/r 为wei4
4、/p!B1$ 我/r 的/u 祖国/n ，/wd 深情/d 献/v 一/m 掬/q 科技/n 之/u 光/n 。/wj ”/w 这/r 是/v!B1$ 大家/r 的/u 座右铭/n 。/wj 有人/r 对/p /wkz 科技/n 之/u 光/n /w 做/v!2$ 过/u 这样/r 的/u 评价/v ：/w “/w 长城/n!0-2 上shang5/f!B$ 的/u 每/r 一/m 块/q!1$ 砖/n 拆/v 下来/v 单独/d 看kan4/v!B2-1 ，/wd 是/v!B1$ 普通/a 甚至/c 粗糙/a 的/u ，/w 但/c 垒/v 在/p 一起/s 却/d 变/v!1$ 得/u 蔚
5、为/v 壮观/a ，/w 令/v 人/n 惊叹/v 。/w ”/w 今天/t /w 科技/n 之/u 光/n /w 已经/d 成/v 了/u 在/p 国内外/s 有/v!1$ 一定/b 知名度/n 的/u 电视/n 品牌/n 。/w,成果汇总,在人民日报基本标注语料的基础上： 1. 完成了 270 万语料的同形标注； 2. 完成了 46 个动词的义项区分， 并标注 8639 义项； 3. 完成了 150 个名词的义项区分， 并标注 6000 多义项； 4. 正在进行形容词义项区分和标注。,难点分析,语义词典,词义标注语料库,词语多义区分,词义自动消歧,1.词语义项的区分 一个词可以分割为几个义
6、项？,2.真实文本中词语义项的确定 在一定上下文中这个词语表示什么意义？,面向大规模真实文本的语言处理,难点分析示例,【电话】 利用电流使两地的人互相交谈的装置 （现汉） 用电话装置传递的话 a. 24/m 小时/n 值班/v 守/v 电话/n ？ b. 公布/v 3/m 部/q 征求/v 意见/n 电话/n ？,If 电话 ， Then 守+电话 不符合语用。 If 电话 ， Then 守+电话 Fail. b. If 电话 ， Then 公布+电话 Fail. If 电话 ， Then 3部+电话 Fail.,难点分析示例,关于词语意义的一点认识：内容和载体是一个事物不可 分割的两方面意义，存在着句法结构混合运用的情形，即可能存在着意义和结构搭配错位的情形。 扩展法消歧： a. 24小时值班守电话 结果电话丢了。 （? ?） 结果一个电话也没人打来。 ! b. 公布3部征求意见电话 欢迎随时安装。（*） 欢迎随时拨打。 !,难点之解决,系列文章： 信息处理用词语义项区分的原则和方法 信息处理用动词义项的区分 信息处理用名词义项的区分 信息处理用形容词义项的区分 信息处理用虚词义项的区分,请您批评，谢谢！,
