《北京大学综合型语言知识库》由会员分享,可在线阅读,更多相关《北京大学综合型语言知识库(11页珍藏版)》请在金锄头文库上搜索。
1、1,北京大学综合型语言知识库 “十五”“211工程”建设子项目建议,俞士汶 北京大学计算语言学研究所 2002年9月11日,2,题前(外)的话研究所的重心研究:出成果,出人才 教与学出人才出成果 组织模式: (1)课题组(2)导师的责任 知识产权(包括文章署名) 安全卫生(实验室、人身) 经费管理与勤俭节约,3,1. 语言知识库在自然语言处理系统中的地位语言知识库(如:机器词典、句法规则库等)是自然语言处理系统的必要组成部分。语言知识库的规模与质量是自然语言处理系统成败的关键。对于汉语来说,主要由于缺乏形态变化,自动分析相对困难,尤其需要重视语言知识库的建设。笔者从20世纪80年代中期投入计算
2、语言学研究之初,便认识到语言知识库的重要性。 16年来,与北大计算语言学研究所的同仁一道,一直坚持做这件事。,4,笔者的理念与体会是: 坚持上规模。词典的条目数以万计,标注语料库上千万字量级。 以词汇为中心(起点)。需求、语言工程与计算机技术的发展相适应。向语素和短语扩展。 以现代汉语句法知识为基础,向语义、概念的层次发展;由词汇语义向句法语义发展。 知识库客观反映汉语的知识,独立于具体的应用系统,也独立于特定的理论体系。 发挥人与机器的各自优势,充分重视专家知识的注入。 兼顾多语言对照。 兼顾今古对比。,5,2. 已有的基础 (1)现代汉语语法信息词典(7.3万词语) (2)大规模标注语料库
3、(2600万汉字+700万字) (3)语义词典(5万多词语) (4)中文概念词典(6万多概念) (5)英汉对照的双语语料库(5万多句对) (6)术语库(15万条英汉对照术语) (7)语言知识库建设的系列工具软件(汉语切分与词性标注软件、双语对齐软件、汉语文本注音软件、术语自动提取软件等) (8)人才优势,6,3. 内容与目标 (1) 开发综合型语言知识库的支撑软件,充分展现语言知识库的价值和作用。 A. 集成已有成果,形成一个整体。各个知识库可以相互参照。不断消除瑕疵,提高质量,向完美境界逼近。 B. 提供丰富的算法和合适的软件工具,支持数据挖掘和知识发现。促使现有知识库从初级产品形式向深加工
4、产品形式不断发展。 C. 提供多种形式的知识传播和信息服务机制,让综合型语言知识库在语言信息处理研究和传统语言学研究中体现出实实在在的价值。,7,3. 内容与目标 (2)不断扩充综合型语言知识库,使其可持续发展、可以动态更新。 A.为了向自然语言理解研究前进一步,需要在句法和词汇语义研究已经取得一定优势的基础上,开展句法语义的研究。准备研制的“现代汉语广义虚词知识库”是句法语义研究的基础,也是综合型语言知识库大家族中的新成员。 B.完善短语信息库,提高机器翻译的效率和质量。 C.术语定义自动提取和科技术语计算机辅助定义。 D.探索树库等反映全句结构和语义信息的知识表达形式。 E.探索篇章信息表
5、达方式和篇章理解机制。 F.向多语种方向发展。目前有条件向藏语、韩国语等语言扩展。 G.继续扩充古诗词知识库,古今对比,相互促进,8,3. 内容与目标 (3) 开发基于综合型语言知识库的应用系统 结合应用系统的开发既可以使知识库切合实际需求,又可以检验知识库的质量。把自觉体验质量重要性和质量保障责任心放在第一位。 A. 机器翻译系统 国家重点基础研究项目973机器翻译项目 面向专著的机器辅助翻译建模与汉外对比研究 B. 信息提取系统 网上信息提取与服务(合作开发名人网页相关信息服务系统) 人民日报自动索引软件 C. 古诗词计算机辅助深层研究,9,北大计算语言学研究所将持之以恒,为早日建成综合型语言知识库继续努力。但力量毕竟有限,期望与同行分工协作,共享劳动与收获的喜悦。,10, 相关任务1.理论提升与人才培养。永葆研究集体的创造力。2.加强交流,不断学习先进的理论与技术,为计算语言学理论和汉语信息处理技术的发展奉献绵薄。,11,5. 希望得到的支持(1) 青年博士的职称问题 (2) 语言知识库的命名问题 (3) 实验室面积的扩大 (4) 视学校财力给予一定的经费支持。,