国家社科基金项目《计算语言学方法研究》成果简介冯志伟执笔

《国家社科基金项目《计算语言学方法研究》成果简介冯志伟执笔》由会员分享，可在线阅读，更多相关《国家社科基金项目《计算语言学方法研究》成果简介冯志伟执笔（5页珍藏版）》请在金锄头文库上搜索。

1、载国家社会科学基金项目成果选介 ，2009 年出版 国家社科基金项目计算语言学方法研究成果简介 冯志伟 执笔 国家社科基金项目计算语言学方法研究成果简介 冯志伟 执笔 项目批准号：03BYY019 项目名称：计算语言学方法研究 成果形式：专著 成果字数：498,234 字 是否出版：因为有一些问题还不够成熟，还需要进一步研究，作者建议暂不出版 项目负责人：冯志伟（教育部语言文字应用研究所） 课题组成员：杨泉，胡凤国，张和友 计算语言学(computational linguistics)是用计算机研究和处理自然语言的一门 新兴边缘学科，涉及语言学、计算机科学、数学、心理学等部门。在计算语言学

2、的发展过程中，提出了很多方法，这些方法，在理论上有一定的深度，在实践上 有实用价值，值得引起我们语言学研究者的重视。但是，国内计算语言学界对于 这些方法的研究基本上是支离破碎的，缺乏系统的总结，更缺乏理论上的分析。 本课题在全面调查国内外计算语言学各种方法的基础上， 对这些方法进行了系统 的描述，并在理论上进行了深入的分析和概括，总结出规律性的具有方法论意义 的认识。 其主要内容分为七个部分。 一、计算语言学的学科定位和主要方法 一、计算语言学的学科定位和主要方法 这一部分首先从计算机处理自然语言的过程、计算语言学的范围以及计算语 言学的历史三个角度来考察计算语言学的学科定位问题。 从计算机处

3、理自然语言 的过程来考察它的学科定位，是从纵的角度来讨论；从计算语言学的范围来考察 它的学科定位，是从横的角度来讨论。通过这种纵横交错的考察，我们对于计算 语言学的学科定位就可以在共时的平面上得到比较清晰的认识。然后，我们再从 计算语言学的历史来考察，也就是从发展的角度来讨论，这样，我们对于计算语 言学的学科定位就可以在历时的平面上得到比较清晰的认识。 对于计算语言学方法的研究，可以从方法论的角度来论述，也可以从语音、 词汇、形态、句法、语义、语用研究中使用的方法来论述。 从方法论的角度，计算语言学方法可以分为基于规则的方法（rule-based approach）和基于统计的方法（stati

4、stics-based approach）两个方面。基于规则的 方法是理性主义的方法，基于统计的方法是经验主义的方法。这两种方法实际上 并不是完全对立的，它们各有利弊，而且目前这两种方法有合流的倾向，它们正 在相互结合起来，取长补短，相得益彰。本项目如果把基于规则的方法和基于统 计的方法分割开来研究，很多问题将会纠缠不清，不便于论述。因此，本项目不 采取这样的论述方式。 本项目采取按照语言学学科分类的方式，从语音、词汇、形态、句法、语义、 语用研究中使用的计算语言学方法来加以论述。分别讨论语音的自动处理方法、 词汇的自动处理方法、形态的自动处理方法、句法的自动分析方法、语义的自动 处理方法、语

5、用的自动处理方法。 在论述时，首先对于各个领域内计算语言学方法的发展历史进行简要的回 顾，然后，再对各种具体的方法进行论述和分析。这样，计算语言学方法的研究 便有了一个可靠的历史背景，我们对于各种方法的来龙去脉也就更加清楚了。 二、语音的自动处理方法二、语音的自动处理方法 文本-语音转换（Text-to-Speech 简称 TTS）的核心任务是以文本中词的序列 作为输入， 产生声学波形作为输出。 自动语音识别 （Automatic Speech Recognition， 简称 ASR）的核心任务是以语音的声学波形作为输入，产生单词串作为输出。 这一部分详细讨论了语音自动处理的主要方法：贝叶斯公

6、式（Bayes formala） 、噪声信道模型（Noisy Channel Model） 、N 元语法（N-gram Grammar） 、 隐马尔可夫模型（Hidden Markov Model，简称 HMM）等。这些方法成为了计算 语言学中各种统计方法的基础。 在标音方面，本项目采用了美国 DARPA 提出的 ARPABET 代替普通的国际音标 IPA，这种新的标音方法与 ASCII 码一致，便于在计算机上使用，也便于撰写电 子文本和印刷排版。 三、词汇的自动处理方法三、词汇的自动处理方法 语言中的词汇具有高度系统化的结构， 正是这种结构决定了单词的意义和用 法。 这种结构包括单词本身的固

7、有的与上下文无关的语义特征以在文本中单词与 单词之间语义关系特征。前者是单词的静态语义特征，后者是单词与单词之间的 动态语义特征。 对于单词的静态语义特征，这一部分从知识本体（ontology）的高度出发， 分析了美国普林斯顿大学研制的词网（WordNet） ，指出了其优点和不足之处， 并介绍了我国学者提出的 Ontol-MT 通用知识本体系统，说明了 Ontol-MT 在机 器翻译和歧义消解中的应用。 对于单词与单词之间的动态语义特征，这一部分介绍了美国语言学家 Fillmore 研制的框架网络（FrameNet） 。框架网络的中心思想是词的意义的描述 必须与语义框架相联系。框架是信仰、实践

8、、制度、想象等概念结构和模式的图 解表征，它为一定言语社团中意义的互动提供了基础。 由于多义词是任何语言中都普遍存在的现象，而多义词中诸多的词义分布又 很不容易找到一般的规律，多义词的自动排歧涉及到上下文因素、语义因素、语 境因素，还涉及到甚至日常生活中的常识，而这些因素的处理，恰恰是计算机最 感棘手的问题。所以，词义排歧（Word Sense Disambiguation,简称 WSD）是计 算语言学中的一个特别困难的问题。这一部分分析了英语中的词汇歧义现象，介 绍了几种重要的词义排歧方法。 四、形态的自动处理方法四、形态的自动处理方法 不论是分析型语言、 屈折型语言还是黏着型语言， 都有形

9、态自动分析的问题。 形态分析主要采用有限状态自动机和有限状态转移网络来进行。这一部分详 细地介绍了有限状态自动机和有限状态转移网络的基本原理， 通过大量实例来具 体地说明自动形态分析的方法。 汉语书面文本是连续的汉字串，单词与单词之间没有空白，因此，汉语形态 分析的主要任务就是自动切词和自动词性标注。 这一部分还分析了汉语书面文本 中确定切词单位的某些形式因素，为自动切词提供了比较可行的方法论基础。 五、句法的自动分析方法五、句法的自动分析方法 句法自动分析在计算语言学中叫做剖析（parsing） 。所谓剖析，就是取一个 输入并产生出表示这个输入的结构的过程。所谓句法剖析（syntactic

10、parsing） ， 就是计算机识别一个输入句子并且给这个句子指派一个句法结构 （例如， 树形图， 线图）的过程。 这一部分分别讨论了目前在计算语言学中广泛使用的基于转移网络的自动 句法分析方法、基于上下文无关语法的自动句法分析方法、基于特征结构的自动 句法分析方法、基于依存语法的自动句法分析方法。 六、语义的自动处理方法六、语义的自动处理方法 语言的意义可以使用形式化的方法来捕捉，这种形式化方法叫做“意义表示” （meaning representation） 。之所以需要这样的意义表示，其原因在于：不论是没 有加工过的语言输入，还是用自动句法分析方法推导出来的结构，都不能形式化 地表示出语

11、言的意义。因此，这样的“意义表示”能够在从语言输入到与语言输 入意义有关的各式各样的具体任务所需要的非语言知识之间架起一座桥梁。 我们 取语言的输入来构造意义表示， 这样的意义表示要使用那些与表示日常生活中的 常识性的世界知识同样的材料来构成。 产生这样的意义表示并且把它们指派给语 言输入的过程叫做“语义分析” （semantic analysis） 。 这一部分分别讨论了语言意义的四种表示方法：一阶谓词演算（First Order Predicate Calculus，简称 FOPC）表示法，语义网络（semantic network）表示法， 概念依存图（Conceptual Depend

12、ency diagram）表示法，基于框架的表示法 （Frame-based Representation） 。 这些意义表示方法都可以把语言输入同外界世界 和我们关于外界世界的知识联系起来。 这一部分还讨论了句法驱动的语义自动分析方法、 结构语义学、 优选语义学、 孟塔鸠语法以及意义文本理论。 七、语用的自动处理方法七、语用的自动处理方法 语用学是对语言与使用环境之间关系的研究。使用环境包括像人和物这样的 本体，因此语用学涉及如何将语言用于指示（以及回指）人和物的研究。使用环 境也包括话语的上下文， 因此语用学也涉及话语结构的形成以及会话时听话人如 何理解谈话对象的研究。 语用的自动分析才刚

13、刚开始，国外已经取得初步的成果，国内的研究还做得 不多。这一部分主要讨论所指判定和文本连贯的自动分析方法。 本课题的目的在于总结国内外的计算语言学方法，使之系统化，理论化，具 体化。 由于方法的研究是自然语言处理系统 （诸如机器翻译、 语料库、 信息检索、 信息抽取、文本分类等）的开发的关键问题，因此，本课题的研究成果，对于各 种类型的自然语言处理实用系统的开发，在方法上具有普遍的指导意义，对于解 决我国当前在自然语言信息处理中的理论和现实问题，具有重要的推动作用。 我们已经将本课题中总结出来的一些方法运用于中文信息处理的研究，效果 良好。另外，我们在博士生教学中使用了本课题的部分成果作为教学

14、内容，更新 了教材，使学生的眼界为之一新，学生们反映良好。这些都反映了本课题研究成 果的应用价值。 由于本课题研究内容很新，涉及面非常广泛，牵涉到语言学、数学、计算机 科学很多方面的专门知识，难免有疏失的地方，其中有的问题的考虑还不周全， 还有待进一步研究，因此，课题组负责人冯志伟向社科规划办公室建议暂时不出 版，也不申请出版资助，目前仅仅作为项目负责人所在高等学校计算语言学专业 的硕士生或博士生的教材使用，等条件成熟之后再考虑本成果的出版问题。 作者：冯志伟 职称：研究员，教授，博士生导师 通信地址：100010 北京朝内南小街 51 号 电话：010-6526-7983 手机：159110

15、66112 电子邮箱：zwfengde2008 “计算语言学方法研究”社科基金课题评审意见综合 “计算语言学方法研究”社科基金课题评审意见综合 在信息社会中， 语言信息处理已成为国家科技产业发展的重要领域。 中文信息处理技术 的发展离不开理论的指导，离不开科学方法的研究和运用。二十世纪下半叶以来，随着语言 信息处理技术在社会上日益受到人们的重视， 国外关于计算语言学理论和方法的研究有了长 足的进步，取得了丰硕的成果。国内在中文信息处理上也做了大量的工作，研制出一些实用 化系统，如机器翻译、自动文摘、人机对话、语音识别、语音合成等等，也做出了一些很好 的以资源开发为主的语言工程， 如一些大规模的

16、文本语料库、 语音语料库甚至多模态语料库 等等。但毋庸讳言，在计算语言学理论体系的建设和方法的探讨上，国内的研究基本上是处 于一种滞后状态， 虽也有很多闪光的东西， 但只是零金碎玉， 不成系统。 从这个意义上来说， 该项目的研究成果计算语言学方法研究具有开拓性、创新性，起到了填补该领域空白的 作用。 该项目的研究特色在于： 一，内容全面，融合中外。计算语言学是一门国际性的学科，国外的计算语言学方法 研究一直处于领先地位，国内该领域研究也有很多成果。该项目能够广泛搜集、融合国内外 计算语言学理论和方法，使之系统化、条理化，尤其在吸收国外最新研究成果方面做得非常 到位，该成果堪称是集国内外计算语言学研究方法之大成者； 二，语言为纲，建立体系。语言信息处理，说到底是对语言现象的处理，计算语言学， 本质上是语言学。因此，该项目成果在第一章综述计算语言学的学科定位和主要方法以后， 就以语音、词汇、形态、句法、语义、语用的自动处理方法为纲来安排各个章节，这不能不 说是匠心独运，新意迭出； 三，注重实践，事实验证。理论联系实际，也是该成果的一个特色。实践是检验理论、 检验方