词汇语义关系评测

《词汇语义关系评测》由会员分享，可在线阅读，更多相关《词汇语义关系评测（15页珍藏版）》请在金锄头文库上搜索。

1、词汇语义关系评测词汇语义关系评测吴云芳吴云芳万富强万富强周蜜周蜜北京大学计算语言学研究所北京大学计算语言学研究所2012-12-2纲要纲要1.任任务描述描述2.评测数据的准数据的准备3.评测数据的数据的标注注4.参参赛系系统的的结果果5.存在存在问题6.进一步工作展望一步工作展望缘起缘起l词汇语义信息是自然语言处理中很重要的资源，词汇语义信息是自然语言处理中很重要的资源，是进一步进行句法和语义分析的基础是进一步进行句法和语义分析的基础。1.在在信息信息检索中的索中的查询扩展、机器翻展、机器翻译中的模中的模块识别等方面，相似等方面，相似词都是不可或缺的知都是不可或缺的知识资源源；2.在在句法分析

2、、句法分析、词义消歧等信息消歧等信息处理任理任务中，中，词语相似度也相似度也发挥着重要的作用着重要的作用。3.而而相似度相似度词典的手工构建是一典的手工构建是一项费时费力的力的浩大工程，存在着不易更新、覆盖度不全等浩大工程，存在着不易更新、覆盖度不全等诸多缺陷多缺陷。任务描述任务描述1.任任务一：同一：同义词发现文件文件文文书 文本文本 文文牍 公文公文 文献文献 档案档案 文档文档2.任任务二：下位二：下位词发现算法算法分治分治法法 动态规划法划法 贪心法心法 回溯法回溯法同义词词语的选词同义词词语的选词范围范围来源来源类型类型目标词数目标词数QQ 聊天语料口语词语173领域同义词库常用词语

3、1585微博新词语73Gigaword名词5000Gigaword动词2000Gigaword形容词1000Gigaword成语50人民日报语料组织机构名50人民日报语料地名50维基百科人名50去去重之后得到重之后得到9464个同个同义词词语。下位词词语的选词下位词词语的选词范围范围来源来源类型类型目标词数目标词数现代汉语语义词典语义类标签44现代汉语词典上位词 （“是一种”模式）61知网语义类标签49人民日报语料上位词 （“一种”模式）412维基百科分词后加筛选规则4327领域同义词库常用的名词150Gigaword名词5000去重之后得到去重之后得到9354个上下位个上下位词词语。评测数据

4、的准备评测数据的准备1.综合各家合各家结果，求并集；果，求并集；2.对同同义词集集/下位下位词集集结果果进行行简单的的统计：结果数据果数据.xlsx3.选取取评测的目的目标同同义词；4.人工人工标注：注：北京大学中文系北京大学中文系语言学言学专业硕士研究生士研究生 同同义词集投入了更多的集投入了更多的时间同义词目标词的选择同义词目标词的选择来源来源类型类型目标词数目标词数QQ 聊天语料口语词语173领域同义词库常用词语1585微博新词语73Gigaword名词800Gigaword动词300Gigaword形容词100Gigaword成语140人民日报和维基百科专有名词50去重之后得到去重之后

5、得到3129个目个目标词，作，作为人工人工标注的注的对象象词语。人工人工标注后，注后，删除没有同除没有同义词的目的目标词，最，最终得到得到778个个评价价词。尽量涵盖不同来源、不同类型的词语。下位词语目标词的选择下位词语目标词的选择来源来源类型类型目标词数目标词数现代汉语语义词典语义类标签44现代汉语词典上位词 （“是一种”模式）61知网语义类标签49人民日报语料上位词 （“一种”模式）412维基百科等其他名词1100然后再然后再选择下位下位词数在数在2,99之之间的目的目标词1076个，作个，作为人人工工标注的注的对象。象。人工人工标注后，注后，删除没有下位除没有下位词的目的目标词，最，最终

6、得到得到256个个评价价词。尽量选择有潜在下位词的目标词。参赛系统参赛系统l报名：名：23个个队伍伍l参参赛：同：同义词8队10组结果果上下位上下位词4队5组结果果参赛参赛系统的结果系统的结果同义词同义词宏平均宏平均准确率准确率宏平均宏平均召回率召回率宏平均宏平均F1值微平均微平均准确率准确率微平均微平均召回率召回率微平均微平均F1值中科院中科院声学所声学所0.12710.10110.0990.44220.06440.1124北京理工大学北京理工大学0.19920.24640.18780.21120.23060.2205北京交通大学北京交通大学0.28760.34060.27370.30880

7、.37530.3389华为10.36390.52070.36710.27540.58540.3746华为20.33000.55340.36380.26150.61290.3666华侨大学大学0.03780.01050.01480.29960.01150.0222南京南京师范大学范大学0.35880.60750.39840.30250.63860.4106哈哈尔尔滨工工业大学大学0.32300.39050.28520.23030.36920.2837郑州大学州大学10.29710.64190.35940.25300.67920.3687郑州大学州大学20.32520.69530.39220.25

8、410.70720.3738参赛系统的结果参赛系统的结果下位词下位词宏平均宏平均准确率准确率宏平均宏平均召回率召回率宏平均宏平均F1值微平均微平均准确率准确率微平均微平均召回率召回率微平均微平均F1值中科院中科院声学所声学所0.24290.08720.11560.78270.12210.2113北京理工大学北京理工大学0.30770.08860.11630.63830.08960.1572北京交通大学北京交通大学0.66120.37760.41850.70430.46420.5596郑州大学州大学10.53910.33180.37370.64920.35180.4563郑州大学州大学20.61190.59880.56050.62330.50450.5576存在问题存在问题1.自自动获取的准确率不高取的准确率不高2.人工人工标注的注的时间花花费大大3.人工人工标注的注的难度大：度大：同同义词如何来定如何来定义？标注的一致性如何来把握？注的一致性如何来把握？进一步工作展望进一步工作展望1.同同义词是非常重要的基是非常重要的基础资源源2.各位老各位老师同学都有同学都有较大的大的兴趣和趣和爱好好是否有可能是否有可能联合构建大合构建大规模的同模的同义词资源？源？ 谢 谢！