《中文同义词自动抽取研究》由会员分享，可在线阅读，更多相关《中文同义词自动抽取研究（27页珍藏版）》请在金锄头文库上搜索。
1、中文同义词自动抽取研究南京师范大学计算机学院自然语言处理小组曹冉孙玉霞狄颖指导老师：曲维光周俊生厌珊肿磷款光豫匹汛既胃贞睦铱愁蹭搂许雹品朵鹅孤喜峻慰骸阶万污酞谜中文同义词自动抽取研究中文同义词自动抽取研究目录基于语义词典的方法基于同义词词林（扩展版）基于中文概念词典CCD基于网络资源的方法基于模式匹配的方法基于并列结构的方法同义词传递性扩充的方法我桂硅邦失亥超暖胚蜘插滤投舶壶魔岗变带众佐时突嫩稼肠灯茫碴础笋棋中文同义词自动抽取研究中文同义词自动抽取研究目录基于语义词典的方法基于同义词词林（扩展版）基于同义词词林（扩展版）基于中文概念词典CCD基于网络资源的方法基于模式匹配的方法基于并列结构的方
2、法同义词传递性扩充的方法撇烟愁壁塘船布烫淌演姨枕储士宣袁均芍隶判翘倦幻骤侈桓傍萤孩涧躲乡中文同义词自动抽取研究中文同义词自动抽取研究同义词词林（扩展版）在同义词词林（扩展版）中，编码末尾为 = = 的词语集合表示的是同一个语义语义。因此，目标词的同义词即为包含目标词的编码末尾为 = = 的词语集合。目标词 “规则”对应的同义词集合：Di24A01= 规则 守则 准则 则 规 律 章法 轨道 清规 戒律 规例 规约笼维十班岳才喘溺滨拱诉词灿际送津授窘蕊殆少距蚁撰秘肮论查泳铂阎浊中文同义词自动抽取研究中文同义词自动抽取研究目录基于语义词典的方法基于同义词词林（扩展版）基于中文概念词典基于中文概念词
3、典CCDCCD基于网络资源的方法基于模式匹配的方法基于并列结构的方法同义词传递性扩充的方法撞滔蔚荡辖抹既钦挪摘漏昆刨兰锡川洒诉衔竞蚂掳待绿托禽润遵相直橡另中文同义词自动抽取研究中文同义词自动抽取研究中文概念词典CCDCCD中使用Synset字段来描述概念。但是在Synset中的词语并不完全是同义词，而是某种意义上的某种意义上的相关相关词词。一个词语也可能出现在多个Synset中 。如目标词“爱好爱好”:概念编号定义Synset01745360吸引普通大众喜好 流行 爱好 盛行 风行00273902一种附属的活动嗜好 爱好 业余爱好肥屡亡夕燕瘦煞照碟乒劳络臻要疟泌据诌脓惋萄喧缚徽团憋槐冷走聋编呸
4、中文同义词自动抽取研究中文同义词自动抽取研究基于中文概念词典本文提出基于典型同义词的过滤方法。基本思想：在包含目标词的Synset中统计出典型同义词。使用典型同义词按照一定规则在Synset中过滤出同义词。筏积夯抱瑰鹏市袍镁慨递讲垢薯设悉篆尾奔凰钧日梢参奉洛寂脑泰危鹊撂中文同义词自动抽取研究中文同义词自动抽取研究典型同义词统计方法招匝土拼镑喜遍沏凡伸沪拓纱满殴旬漠拳扔惋汗棠瓤镍纽讶禽遏慰佑亿书中文同义词自动抽取研究中文同义词自动抽取研究典型同义词统计方法耻缩渡侈马扭铰准逃劳廊乞皱炯沙周蛆稽哨汐植珠钞湃阶牙烦具岔丈搽案中文同义词自动抽取研究中文同义词自动抽取研究基于典型同义词的过滤算法 最终“爱
5、好”的同义词为 嗜好，喜好，业余爱好， 偏好，偏爱，偏袒, 喜欢 。仰疗病湿谓亩领晤幅乍聚僚擒燥柿北蜂圆水玖枣契爽负豹弓养佣楼腥愁廊中文同义词自动抽取研究中文同义词自动抽取研究基于语义词典-实验结果基于同义词词林同义词词林获取到52775277个目标词的同义词，平均每个词语对应13个同义词。基于CCDCCD获取到57275727个目标词的同义词，平均每个对应6个同义词。基于字典的方法获取到的同义词的目标词大多是普通名词、动词、形容词。宏平均宏平均准确率准确率宏平均宏平均召回率召回率宏平均宏平均F1F1值值微平均微平均准确率准确率微平均微平均召回率召回率微平均微平均F1F1值值TYCL0.294
6、70.34470.27640.32250.41830.3642CCD0.22360.22980.19550.31170.21180.2522Final0.35880.60410.39680.30250.63580.4100豪辨幼单琴盾苍烫儡现出几锈梯践供集陕澄克殖品喂而搅疤瘪悸半猿椅誊中文同义词自动抽取研究中文同义词自动抽取研究目录基于语义词典的方法基于同义词词林（扩展版）基于中文概念词典CCD基于网络资源的方法基于模式匹配的方法基于模式匹配的方法基于并列结构的方法同义词传递性扩充的方法晶减粤岿毫酋鲸弥碾键贞菜押交瞥俏明逾蘸啊支羔喝傍剂狮风套膀草转睛中文同义词自动抽取研究中文同义词自动抽取研究
7、基于模式匹配方法-基本思想1.在互联网上抓取目标词的百度百科词条2.在百科词条概述中，利用人工提取的“目标词+模式词+候选同义词”模式取得高质量同义词。3.利用高质量同义词在百科全文中获取限定语料，自动提取出上下文环境模式。4.利用目标词和上下文环境模式提取同义词。潍郎冯筛辖膀颇溉喝侄难煎附栓该榜睡债子鸵倘惑惋败瘦孔诞欧锈隔丛睬中文同义词自动抽取研究中文同义词自动抽取研究基于模式匹配的方法人工模式提取基于770个词条百科，手动进行模式提取，这里的模式是指同义词提示词。模式类型 模式数量 实例 前置名词模式 39模式：昵称例：周笔畅的昵称是笔笔。 前置动词模式64模式：又名例：栀子花又名栀子。
8、后置模式 8 模式：美称例：杭州素有人间天堂的美称。 化啡娄棱怂墨溉茁互勒灼淘柔郊撅腊爵亲守汾膏俞缮澳田铅迪荔淋翔汰金中文同义词自动抽取研究中文同义词自动抽取研究基于模式匹配的方法自动模式获取基于百科全文获取包含同义词词对的句子。在获得的句子集合上，提取左右词语列表、左三元组列表，并根据获得的列表进行同义词穷尽自动抽取。如下表所示：模式类型 左词语列表 右词语列表左三元组列表 排名前5 、，称和又 、，。；等 、同义词、 ，同义词，又称 称同义词、 ”、“ 总计7424131崩屠亚豌异骄牛圆竖茄孤彬裸担先萤渐式酸沤呆防东角藤宠蓬揉简椰衡允中文同义词自动抽取研究中文同义词自动抽取研究基于模式匹配
9、的方法-规则过滤由于网络资源存在不规范性，需要对获取到的同义词进行筛选。筛选方法：首先对获取到的同义词进行分词，然后使用如下规则进行筛选：规则1 若候选同义词是一个完整的分词结果，同义词有效。规则2 若候选同义词分词结果中包含 共和国，市，州，镇，县，郡，帝国 中任一后缀，同义词有效。规则3 若候选同义词分词结果是两个字数词性一致的词语，同义词有效。规则4 若候选同义词分词结果包含目标词语，同义词无效。上述四个规则，优先度依次递减。苑治抠凝阑懒垛搪惧汲江叛笼绊腥鼻足厉雕爆传胶拦馁堆斡裤搓颂财柔二中文同义词自动抽取研究中文同义词自动抽取研究基于模式匹配的方法-实验结果对于给定的9455个目标词，
10、其中有8268个词语能够获取到对应的词条百科。基于词条概述能够获取到同义词的有815个目标词。哈救浑秆瞬车虾潮缕始市昂奢膏宪那章鄙渊矫挤汛弱灼倔源斌芥吱宪圃苔中文同义词自动抽取研究中文同义词自动抽取研究目录基于语义词典的方法基于同义词词林（扩展版）基于中文概念词典CCD基于网络资源的方法基于模式匹配的方法基于并列结构的方法基于并列结构的方法同义词传递性扩充的方法枢簧惯号布灼薯叔熟击叹喀凹马烩翔年霹日躲扔靛遇嘲璃族轨铰欢历杆疵中文同义词自动抽取研究中文同义词自动抽取研究基于并列结构的方法-基本思想并列结构包含的两个词语一般有共同的形态，语义相似或相关，中间使用 “和，或，逗号，顿号”等并列连词进
11、行连接。假设并列结构包含的两个词语中一个是目标词，则另一个可以作为该目标词的候选同义词。采用基于词素和知网的方法进行过滤，提高同义词抽取的正确性。例4： 浅谈责任感责任感与与责任心责任心。例5： 可贵的责任感责任感与与事业心事业心。亩则恒椽韶急掇东讣慷蹋匿敛势刀寞灵皋壮愉煮颠帽奋步亡搀晌统俩蹭智中文同义词自动抽取研究中文同义词自动抽取研究“责任感”与“责任心”“责任感”与“事业心”则不是。相同数为0。文档 - 文件 - 档案 - 案例基于并列结构的方法嘲推列础类吼羽腹注斤觅痴存侦响史藻强岭冈锋呐褥润职偿凯晕巢烩蔷官中文同义词自动抽取研究中文同义词自动抽取研究基于并列结构的方法挨寨乎汛嘘社翅志郸
12、掩腾谊歇焊男罪啮恐宜权紧官冒颗果埔泌忧矾桨韶司中文同义词自动抽取研究中文同义词自动抽取研究基于并列结构的方法-实验结果对于给定的9455个目标词，其中有2026个能够通过并列结构的方法获取到对应的同义词。戌共寄玲羚喉抗惠舔霸账吏包夸此羚扶乡源拆尿充僵镑意麻飘韭搅读租驱中文同义词自动抽取研究中文同义词自动抽取研究目录基于语义词典的方法基于同义词词林（扩展版）基于中文概念词典CCD基于网络资源的方法基于模式匹配的方法基于并列结构的方法同义词传递性扩充的方法同义词传递性扩充的方法家韧掠滔习报踞坯痔讶综伐派乐卞议华理略吕蛀着醇综懈恳影综街栅弹搂中文同义词自动抽取研究中文同义词自动抽取研究同义词传递性扩
13、充对于获取到的同义词，可能有交叉现象。例如：然而并不是所有含有相同同义词的两个目标词都应该合并。例如：北京 北京市 京北京市 京巴黎 灯城 花都花都 花都区 花县己虾诲虑靶沥碎展羚坞嚼蝇寸迈惹割啮筹娩咖淆呐铁自冗桥窟忘苦队涸馅中文同义词自动抽取研究中文同义词自动抽取研究传递性验证规则价砰诗五俱桌盐刊熙机许溜番令棚蟹孵畅来孕则班逝吊虎蚊猴形封窃戍酚中文同义词自动抽取研究中文同义词自动抽取研究测评结果隅而拷驼祖冰虚峨籽庞菜琢迟藻嚷邀宋削勾狞淮疚向巳澎片哭率坞央俊蛰中文同义词自动抽取研究中文同义词自动抽取研究 谢谢！谢谢！诈壕锥崎敝厚诚嵌韵讽香皮袄瞪俱呛轰赔让粱闺愁抠竞岗吁协曳牡惠超靠中文同义词自动抽取研究中文同义词自动抽取研究
