《人工智能ArtificialIntelligence第八章ppt课件》由会员分享，可在线阅读，更多相关《人工智能ArtificialIntelligence第八章ppt课件（112页珍藏版）》请在金锄头文库上搜索。
1、人工智能人工智能Artificial Artificial IntelligenceIntelligence第八章第八章史忠植史忠植 中国科学院计算技术研究所http:/ 人工智能：自然语言处理 12024/8/27史忠植 人工智能：自然语言处理 2内容提要内容提要8.1 8.1 概述概述8.2 8.2 词法分析词法分析8.3 8.3 句法分析句法分析8.4 8.4 语义分析语义分析8.5 8.5 语用分析语用分析8.6 8.6 语料库语料库8.7 8.7 信息检索信息检索8.8 8.8 机器翻译机器翻译8.9 8.9 自动问答系统自动问答系统8.10 8.10 小结小结概述概述n自然语言处理
2、是用机器处理人类语言的理论和技术。作为语言信息处理技术的一个高层次的重要研究方向，一直是人工智能领域的核心课题。由于自然语言的多义性、上下文有关性、模糊性、非系统性和环境密切相关性、涉及的知识面广等原因，自然语言处理是困难问题之一。自然语言处理的研究希望机器能够执行人类所期望的某些语言功能，这些功能包括： （1）回答问题：计算机能正确地回答用自然语言输入的有关问题； （2）文摘生成：机器能产生输入文本的摘要； （3）释义：机器能用不同的词语和句型来复述输入的自然语言信息； （4）翻译：机器能把一种语言翻译成另外一种语言。2024/8/27史忠植 人工智能：自然语言处理 3概述概述自然语言自然语
3、言：人类交流的语言,口语、书面语、手语、旗语等人造语言：机器语言，包括C+, BASIC等 世界语到目前为止的人类知识有80%以上使用自然语言文字记载下来的。但将来，可能用计算机语言形式记载的知识将会越来越多。因此说，语言信息处理技术和每年所处理的信息总量已成为衡量一个国家现代化水平的重要标志之一。相比较人工智能其它领域，自然语言理解是难度大，进展小的。至今为止未能达到很高的水平。 2024/8/27史忠植 人工智能：自然语言处理 4自然语言处理的自然语言处理的发展发展自然语言理解的研究大体上经历了三个 时期萌芽时期 发展时期 早期: 20世纪60年代以关键词匹配为主流中期: 20世纪70年代
4、以句法语义分析为主流近期: 20世纪80年代以来走向实用化和工程化大规模真实文本处理时期 比较成功的系统处理都是受限的自然语言子集句法受限：句子结构的复杂性方面受到限制语义受限/领域受限：所表达的事物的数量方面受到限制2024/8/27史忠植 人工智能：自然语言处理 520世纪60年代：以关键词匹配为主流 特点：没有真正意义上的语法分析，主要依靠关键词匹配技术来识别输入句子的意义在系统中事先存放了大量包含某些关键词的模式，每个模式与一个或多个解释(响应式)相对应。每当输入一个句子，系统便查找与之匹配的模式，一旦匹配成功，系统就输出相应的解释，不考虑其他成分对句子意义的影响是一种近似匹配技术，输
5、入句子可以不准循语法，但是也容易导致错误自然语言处理的自然语言处理的发展发展2024/8/27史忠植 人工智能：自然语言处理 620世纪70年代：句法语义分析为主流采用句法-语义分析技术典型例子LUNAR允许用普通英语和数据库对话的人机接口句法分析句法分析语义解释语义解释数据检索数据检索ATN语法语法词典词典语义规则语义规则数据库数据库自然语言处理的自然语言处理的发展发展2024/8/27史忠植 人工智能：自然语言处理 720世纪80年代以来：实用化和工程化主要特点是开始走向实用化和工程化。其重要标志之一是有一批商品化的自然语言人机接口系统和机器翻译系统推向了市场。另一方面，人们已经开始对大规
6、模真实文本进行理解句法语义分析为主的思想来自于规则的方法，而规则不可能把所有的知识表示出来自然语言在数量上浩瀚无际在性质上具有不确定性和模糊性。自然语言处理的自然语言处理的发展发展2024/8/27史忠植 人工智能：自然语言处理 8概述概述n自然语言的层次划分及对应技术理论理论层次结构层次结构实现技术实现技术模板匹配、基于规则模板匹配、基于规则语音语音模式匹配模式匹配基于词素、词汇基于词素、词汇词汇词汇词典结构词典结构转换生成、词汇功能语法转换生成、词汇功能语法语法语法扩扩 展展 转转 移移 网网 络络( (ATN),CFATN),CF规则规则 格语法、语义基元理论、模型理格语法、语义基元理论
7、、模型理论论语义语义产产生生式式规规则则、概概念念相相依依理理论论、脚脚本本、框框架、语义网络、逻辑架、语义网络、逻辑 基于记忆的推理、语言行为理论、基于记忆的推理、语言行为理论、篇章语法篇章语法语用语用2024/8/27史忠植 人工智能：自然语言处理 9自然语言处理层次自然语言处理层次2024/8/27史忠植 人工智能：自然语言处理 102024/8/27史忠植 人工智能：自然语言处理 11内容提要内容提要8.1 8.1 概述概述8.2 8.2 词法分析词法分析8.3 8.3 句法分析句法分析8.4 8.4 语义分析语义分析8.5 8.5 语用分析语用分析8.6 8.6 语料库语料库8.7
8、8.7 信息检索信息检索8.8 8.8 机器翻译机器翻译8.9 8.9 自动问答系统自动问答系统8.10 8.10 小结小结词法分析词法分析词法分析是理解单词的基础，其主要目的是从句子中切分出单词，找出词汇的各个词素，从中获得单词的语言学信息并确定单词的词义 例如unchangeable是由un-change-able构成的，其词义由这三个部分构成。2024/8/27史忠植 人工智能：自然语言处理 12词法分析词法分析语言构成语言词汇语法词熟语句法词素词法构形法构词法词组构造法造句法2024/8/27史忠植 人工智能：自然语言处理 13词法分析词法分析在英语等语言中，因为单词之间是以空格自然分
9、开的，切分一个单词很容易，所以找出句子的一个个词汇就很方便。但是由于英语单词有词性、数、时态、派生、变形等变化，要找出各个词素就复杂的多，需要对词尾或词头进行分析。如importable，它可以是im-port-able或import-able，这是因为im、port、able这三个都是词素。 汉语中的每个字就是一个词素，所以要找出各个词素是相当容易的，但要切分出各个词就非常困难，不仅需要构词的知识，还需要解决可能遇到的切分歧义。如“我们研究所有东西”。可以是“我们研究所有东西”，也可以是“我们研究所有东西”。 2024/8/27史忠植 人工智能：自然语言处理 142024/8/27史忠植 人
10、工智能：自然语言处理 15内容提要内容提要8.1 8.1 概述概述8.2 8.2 词法分析词法分析8.3 8.3 句法分析句法分析8.4 8.4 语义分析语义分析8.5 8.5 语用分析语用分析8.6 8.6 语料库语料库8.7 8.7 信息检索信息检索8.8 8.8 机器翻译机器翻译8.9 8.9 问答系统问答系统8.10 8.10 小结小结句法分析句法分析句法分析的主要任务：确定输入句子的结构：识别句子的各个成分及其之间的关系句子结构的规范化：目的是简化后续处理分析自然语言的方法主要分为两类： 基于规则的方法：如短语结构语法和Chomsky语法体系 基于统计的方法2024/8/27史忠植
11、人工智能：自然语言处理 16短语结构语言短语结构语言定义句子：一个符号串语言：句子的集合语法：对一个句集一种有限的形式化描述描述一般语言的方法：识别器：由程序判断读入的符号串是不是一个句子短语结构语法：一种基于产生式的形式化工具，也称为产生式语法2024/8/27史忠植 人工智能：自然语言处理 17短语结构语言短语结构语言定义：短语结构语法定义为：G(T，N，S，P）T是终结符集合，即被定义的语言的所有词 汇（或符号）N是非终结符集合，这些符号用于描述语法 成分，并不出现于句子中。 则有：VTN，TN（空集），V是属于该语法的全部符号。S是起始符号，它是N中的一个成员。 P是一个产生式规则集。
12、ab(ab,aV+,bV*)2024/8/27史忠植 人工智能：自然语言处理 18短语结构语言短语结构语言在短语结构语法中，基本运算是把一个符号串重写为另一个符号串，每条语法规则也叫重写规则一个句子的产生就是从S符号到词汇串的推导过程如果一个程序能够根据一个短语结构语法来确定一个句子的推导，则它可称为一个句法分析器(parser)。语法G所定义的语言记为L(G): L(G)=W | WT*, S*GW2024/8/27史忠植 人工智能：自然语言处理 19短语结构语言短语结构语言刻画语言的形式体系的强和弱递归可枚举语言：如果有一个程序，它能以某种顺序逐个地输出（即枚举）一种语言的句子，这种语言是
13、递归可枚举的递归语言：如果有一个程序，它在读入一个符号串后能最终确定这个串是或不是某种语言的一个句子，这称该语言是递归 2024/8/27史忠植 人工智能：自然语言处理 20短语结构语言短语结构语言正则语法：正则语法有两种形式：左线性语法：如 A a | Ba 右线性语法： 如 A a | aB可以表示如下的句子：a*b*语法例子：S a | S1 | a SS1 b | b S1与有限状态机等价2024/8/27史忠植 人工智能：自然语言处理 21短语结构语言短语结构语言上下文无关语法：语法规则形式为： A x 即左边为一非终结符，右边没有限制可以表示的句子如：anbn语法例子：S a |
14、S b S该文法应用于程序设计语言中2024/8/27史忠植 人工智能：自然语言处理 22短语结构语言短语结构语言上下文有关语法：语法规则：规则右边的符号数不能少于左边符号数右边的符号可以是终止符也可以是非终止符上下文有关语言是递归的可以表示的语言：anbncn语法例子：AB BA2024/8/27史忠植 人工智能：自然语言处理 23短语结构语言短语结构语言无约束短语结构语法：语法规则是没有限制的：左边可以是任意多个终止符或非终止符右边可以是任意多个终止符或非终止符该语言是递归可枚举的该语言与图灵机等价语法例子：A B C2024/8/27史忠植 人工智能：自然语言处理 24ChomskyCh
15、omsky体系体系无约束语法无约束语法上下文有关语法上下文有关语法上下文无关语法上下文无关语法正则语法正则语法2024/8/27史忠植 人工智能：自然语言处理 25CFGCFG的分析算法的分析算法用一个短语结构语法对一个句子进行语法分析，意味着寻找一个从起始符到该句子的推导，这个推导一般可以表示为一棵句法树一般一棵句法树对应的推导不是唯一的，但是如果在推导过程中每次总是重写最左边的非终止符，则称该推导为最左推导。 Mary Mary Mary eats Mary eats cheese2024/8/27史忠植 人工智能：自然语言处理 26CFGCFG的分析算法的分析算法 := :=John |
16、 Marry:= :=eats | drinks :=wine | cheeseSENTENCESUBJECTVERBPHRASEVERBOBJECTeatscheeseMary2024/8/27史忠植 人工智能：自然语言处理 27CFGCFG的分析算法的分析算法句法分析器分为：从推导方向来分：自顶向下：从树顶的根结点开始推导建立句法树，方向是从起始符S到句子自底向上：从树底部的叶结点(词或词类)规约，建立句法树，方向是从句子到S从算法上分：回溯算法：每次只尝试一种推导，当这种推导失败时便返回以尝试另一种推导并行算法：同时进行所有的推导2024/8/27史忠植 人工智能：自然语言处理 28CF
17、GCFG的分析算法的分析算法自顶向下的回溯算法该方法逐个地枚举推导直到找到一个能生成句子的推导一般，对具有左递归的语法，该方法需要增加某些测试以避免陷入死循环对于”Mary eats cheese”的句法和推导为：SNP+VP (1) SNP+VP (1)NP N (2) N+VP (2)VP V (3) N+V+NP (4)VP V+NP (4) N+V+N (2)2024/8/27史忠植 人工智能：自然语言处理 29转移网络转移网络转移网络在自动机理论中用来表示语法。句法分析中的转移网络由结点和带有标记的弧组成，结点表示状态，弧对应于符号，基于该符号，可以实现从一个给定的状态转移到另一个状
18、态。 2024/8/27史忠植 人工智能：自然语言处理 30Dog bitesDog bites2024/8/27史忠植 人工智能：自然语言处理 31转移网络转移网络扩充转移网络ATNATN是20世纪70年代由W. Woods提出来的ATN语法属于一种增强型的上下文无关语法，即用上下文无关文法描述句子文法结构，并同时提供有效的方式将各种理解语句所需要的知识加到分析系统中，以增强分析功能，从而使得应用ATN的句法分析程序具有分析上下文有关语言的能力。 ATN主要是对转移网络中的弧附加了过程而得到的。当通过一个弧的时候，附加在该弧上的过程就会被执行。这些过程的主要功能是（I）对文法特征进行赋值；(
19、II)检查数（number）或人称（第一、二或三人称）条件是否满足，并据此允许或不允许转移。 2024/8/27史忠植 人工智能：自然语言处理 32转移网络转移网络表示句子的框架2024/8/27史忠植 人工智能：自然语言处理 33转移网络表示句子的框架2024/8/27史忠植 人工智能：自然语言处理 34转移网络转移网络表示句子的框架2024/8/27史忠植 人工智能：自然语言处理 35非确定性算法与确定性算法非确定性算法与确定性算法上面介绍的算法是非确定性的，分析过程中常常要进行回溯。这就降低了算法的效率。实际上，在特定的上下文中，除了某些固有的歧义外，自然语言的句法分析绝大多数都是确定的
20、。1977年MIT的Marcus提出了句法分析的确定性 算法。该算法的最大特点是确保在任何情况下，一旦一个输入句子的部分结构被分析出来，便不再更改，一直保持到最后成为句子最终分析的一部分。2024/8/27史忠植 人工智能：自然语言处理 36非确定性算法与确定性算法非确定性算法与确定性算法Marcus的确定性算法该句法分析系统具有如下三个特点：(1) 由数据驱动(2) 已分析出来的部分结构可以成为对后继分析 过程的预期(3) 通过“向前看”(look-ahead)来代替回溯特点(1)和(2)反映了自底向上和自顶向下分析相结合的策略。特点(3)则是要通过引入句子中的上下文约束来决定分析规则，保证
21、句法分析器“看准了”以后再操作，从而避免了回溯2024/8/27史忠植 人工智能：自然语言处理 37非确定性算法与确定性算法非确定性算法与确定性算法汉语的特点汉语的词类缺乏形式标注汉语词类跟句法成分之间不存在简单的一一对应关系.汉语的句子的构造原则跟短语的构造原则基本一致汉语的这两个特点的表现形式就是普遍存在的词类兼类现象和句法结构的递归嵌套性。这些必然要导致大量的回溯，增加计算的开销采用确定性分析策略则可以解决这种问题。2024/8/27史忠植 人工智能：自然语言处理 382024/8/27史忠植 人工智能：自然语言处理 39内容提要内容提要8.1 8.1 概述概述8.2 8.2 词法分析词
22、法分析8.3 8.3 句法分析句法分析8.4 8.4 语义分析语义分析8.5 8.5 语用分析语用分析8.6 8.6 语料库语料库8.7 8.7 信息检索信息检索8.8 8.8 机器翻译机器翻译8.9 8.9 问答系统问答系统8.10 8.10 小结小结语义分析语义分析语义分析的任务： 输入句子的句法结构和句子中每个实词的词义推导出能反映该句子意义的某种形式化表示对语义现象作形式化处理要比句法现象困难得多，主要原因有语义和句法系统的界限很难划清楚语义及其他认知系统的界限也难以划清楚。用于计算机语义处理的计算语义学还远未成熟2024/8/27史忠植 人工智能：自然语言处理 40格文法格文法格语法
23、是Filmore于1968年提出来的，曾 经对自然语言理解技术的发展产生过较 大的影响，直到现在不少研究仍在使用 格语法。因为人们认识到格关系确实是 描述语言语义(包括和语法的关系)的一种很好的形式，当然在实际应用过程中不 可避免地要有些修改。2024/8/27史忠植 人工智能：自然语言处理 41格文法的特点是允许以动词为中心构造分析结果，尽管文法规则只描述句法，但分析结果产生的结构却相应于语义关系，而非严格的句法关系如句子：Mary hit Bill 的格文法分析结果可以表示为 ( hit ( Agent Mary ) ( Dative Bill ) 在格文法中，格表示的语义方面的关系，反映
24、的是句子中包含的思想、观念等，称为深层格。和短语结构语法相比，格文法对于句子的深层语义有着更好的描述。 格文法格文法2024/8/27史忠植 人工智能：自然语言处理 42如果两个句子的底层的语义关系一致，各名词成分所代表的格关系不会发生相应的变化。例如，被动句“Bill was hit by Mary”与上述主动句具有不同的句法分析树，但格表示完全相同。格文法格文法2024/8/27史忠植 人工智能：自然语言处理 43格文法格文法2024/8/27史忠植 人工智能：自然语言处理 442024/8/27史忠植 人工智能：自然语言处理 45内容提要内容提要8.1 8.1 概述概述8.2 8.2 词
25、法分析词法分析8.3 8.3 句法分析句法分析8.4 8.4 语义分析语义分析8.5 8.5 语用分析语用分析8.6 8.6 语料库语料库8.7 8.7 信息检索信息检索8.8 8.8 机器翻译机器翻译8.9 8.9 问答系统问答系统8.10 8.10 小结小结n语用分析与知识、上下文和推理等因素有关。维诺格拉德（Winograd T）认为语言是一个讲话者和听者之间关于一个共同的世界的一种通信手段。语言是一种社会交际工具，研究语言必须研究其社会功能。维诺格拉德认为语义理论必须在三个平面上描述关系， (1) 确定词的意义 (2) 确定词组在句法结构中的意义 (3) 一个自然语言的句子决不应被孤立
26、地解释。n一种语义理论必须描述一个句子的意义如何依赖于它的上下文。语用分析语用分析2024/8/27史忠植 人工智能：自然语言处理 46语义理论必须涉及语言学背景 (说话的上下文)和现实社会背景 (即同非语言学事实的知识的相互作用)，语义理论必须同句法和语言的逻辑方面(演绎推理)相联系。正是基于这些观点，即语法、语义和语用学相互作用的观点，1970年维诺格拉德成功地研究了被人称为“绝技”的自然语言对话系统SHRDLU，实现人与计算机之间的灵活对话。这项创举震动了当时的人工智能界。语用分析语用分析2024/8/27史忠植 人工智能：自然语言处理 472024/8/27史忠植 人工智能：自然语言处
27、理 48内容提要内容提要8.1 8.1 概述概述8.2 8.2 词法分析词法分析8.3 8.3 句法分析句法分析8.4 8.4 语义分析语义分析8.5 8.5 语用分析语用分析8.6 8.6 语料库语料库8.7 8.7 信息检索信息检索8.8 8.8 机器翻译机器翻译8.9 8.9 问答系统问答系统8.10 8.10 小结小结语料库语言学语料库语言学语料库语言学(corpus linguistics)语言学知识的源泉是大规模活生生的语料，要想让计算机理解自然语言，首先要让计算机能从库存的大规模语料中自动或半自动地获取语言理解所需的各种知识，对语言现象作出客观的、细致的描述。目前采用的主要手段是
28、建立各种统计模型，可用于词类的自动标注，以及句法语义的更高层次的分析。该方法可以和规则方法相互补充。2024/8/27史忠植 人工智能：自然语言处理 49在当今计算技术条件下，要想把处理自然语言所需要的知识都用现有的知识表示技术明确表达出来，是不可能的。这既是由于这种知识的“数量”巨大，有时由于它们在“质”的方面高度的不确定性和模糊性。最近十几年来新提出的语料库语言学，它顺应了大规模真实文本处理的需要，提出了以计算机语料库为基础的语言学研究及自然语言处理的新思想。语料库语言学语料库语言学2024/8/27史忠植 人工智能：自然语言处理 50基于语料库的处理思想能够在工程上、在宽广的语言覆盖面上
29、解决大规模真实文本处理这一极其艰巨的课题，对传统的处理方法的一个强有了的补充。 新型的智能计算机和多媒体计算机均要求设计出更为友好的人机界面，使自然语言、文字、图像和声音等信号都能直接输入计算机。要求计算机能以自然语言与人进行对话交流，就需要计算机具有自然语言能力，尤其是口语理解和生成能力。语料库语言学语料库语言学2024/8/27史忠植 人工智能：自然语言处理 51语料库语言学及其特点 传统的句法-语义分析技术，所采取的主要研究方法是基于规则的方法 由于自然语言理解的复杂性，各种知识的“数量”浩瀚无际，而且具有高度的不确定性和模糊性，利用规则不可能完全准确地表达理解自然语言所需的各种知识，而
30、且，规则实际上面向语言的使用者人的，将它面向机器则分析结果始终不尽如人意。 研究语言知识所用的真实文本称为语料，大量的真实文本即构成语料库 语料库语言学语料库语言学2024/8/27史忠植 人工智能：自然语言处理 52WordNetWordNetnWordNet是按一定结构组织起来的义类词典，主要特征表现在 1. 整个名词组成一个继承关系。 WordNet有着严格的层次关系，这样一个单词可以把它所有的前辈的一般性的上位词的信息都继承下来，可以提供全局性的语义关系，具有IS-A关系 2. 动词是一个语义网 动词大概是最难以研究的词汇，在动词词典中，很少有真正的同义动词。表达动词的意义对任何词汇语
31、言学来说都是困难的。WordNet不做成分分析，而是进行关系分析。这一点是计算语言学界所热衷的课题，与以往的语义分析方法不同。这种关系讨论的是动词间的纵向关系，即词汇蕴涵关系 nWordNet基于名词和动词以及其他词性的关系进行词类间的纵向分析，在国际计算语言学界有很大的影响。但是，它也有不足之处，如对横向关系还没有考虑。 2024/8/27史忠植 人工智能：自然语言处理 53WordNetWordNetnWordNet是1990由Princeton大学的米勒（Miller G A）等人设计和构造的。一部WordNet词典将近95600个词形（51500单词和44100搭配词）和70100个词
32、义，分为五类：名词、动词、形容词、副词和虚词，按语义而不是按词性来组织词汇信息。n在WordNet词典中，名词有57000个，含有48800个同义词集，分成25类文件，平均深度12层。最高层为根概念，不含有固有名词。2024/8/27史忠植 人工智能：自然语言处理 54知网知网n知网（HowNet）是董振东研制的以汉语和英语的词语所代表的概念为描述对象，以揭示概念与概念之间以及概念所具有的属性之间的关系为基本内容的常识知识库。公布的中文信息结构库包含：信息结构模式：271个句法分布式：49个句法结构式：58个实例：11,000词语总字数：中文60,000字2024/8/27史忠植 人工智能：自
33、然语言处理 55n20世纪90年代，使用统计的方法，使机器翻译的正确率达到60%，汉语切分的正确率达到70%，汉语语音输入的正确率达到80%，这是对传统语言学的严重挑战。许多研究人员相信，基于语料库的统计模型（如n-gram模型、Markov模型、向量空间模型）不仅能胜任词类的自动标注任务，而且也能够应用到句法和语义等更高层次的分析上来。这种方法有希望在工程上、在宽广的语言覆盖面上解决大规模真实文本处理这一极其艰巨的课题，至少也能对基于规则的自然语言处理系统提供一种强有力的补充机制。统计方法的统计方法的应用应用2024/8/27史忠植 人工智能：自然语言处理 56统计方法的统计方法的应用应用n
34、大规模真实文本处理的数学方法主要是统计方法。 n基于语料库的统计模型（如Markov模型、向量空间模型）不仅能胜任词类的自动标注任务，而且也能够应用到句法和语义等更高层次的分析上来。2024/8/27史忠植 人工智能：自然语言处理 57由于汉语句子的最小构成单位是字，有 意义的最小单位却是词，而汉语词与词 之间又没有分割符号（英语词和词之间 是空格）。因此，汉语理解首先要进行 汉语自动分词。可以概括为两大类方法，无词典分词，它完全依靠整段文章中汉字之间的搭配的频率算出成词可能有词典分词，是一种更有普遍意义的分词方法。有词典分词主要有最大匹配法，逆向最大匹配法，逐词遍历匹配法，设立切分标志法，以
35、及正向最佳匹配和逆向最佳匹配法，而这些方法的一个基本思想都是要依次分出待切分串的可能最长成词汉语自动分词汉语自动分词2024/8/27史忠植 人工智能：自然语言处理 58首先，根据汉语词典(有56800条词汇)进 行统计，发现：虽然词典中的最长词可 以达到为20多个字节（十几个汉字）， 但是大多数汉语词都可以由前两字唯一 确定，这样的词占绝大多数(如在上述词典中占总词汇量的85以上)。基于统计结果的分词基于统计结果的分词2024/8/27史忠植 人工智能：自然语言处理 59两个首字相同的词的个数的统计根据前两字可确定的词个数词总数 所占百分比() 148431 85.22 228012 9.8
36、6 35143 2.71 41184 0.83 5 465 0.40 6 306 0.32 7167 0.20 868 0.08 9 89 0.13 10510 0.09 14214 0.05 15 315 0.08 18118 0.03汉语自动分词汉语自动分词2024/8/27史忠植 人工智能：自然语言处理 60主要是在字典索引的支持下进行的，索引结构可以分为两级。一级索引就用汉字内码，查找算法用散 列方法。而二级索引采用整个词长。汉语机械分词汉语机械分词2024/8/27史忠植 人工智能：自然语言处理 61最大匹配法。最大匹配法简称MM方法。其思想是：在计算机磁盘中存放一个分词用词典，从待
37、切分的文本中按自左到右的顺序截取一个定长的汉字串，通常为为词典中的最大词长，这个字符串的长度称作最大词长。将这个具有最大词长的字符串与词典中的词进行匹配，若匹配成功，则可确定这个字符串为词，计算机程序的指针向后移动与给定最大词长相应个数的汉字，继续进行匹配；否则，把该字符串从右边逐次减去一个汉字，再与词典中的词进行匹配，直到成功为止。 逆向最大匹配法。逆向最大匹配法简称RMM法。这种方法的基本原理与MM法相同，所不同的是分词时对待切分文本的扫描方向。MM方法从待切分文本中截取字符串的方向是从左到右，而RMM方法则是从右向左。在与词典匹配不成功时，将所截取的汉字串从左至右逐次减去一个汉字，再与词
38、典中的词进行匹配，直到匹配成功为上。实验表明，RMM法的切词正确率要比MM法高 匹配法分词匹配法分词2024/8/27史忠植 人工智能：自然语言处理 62分词过程中的歧义问题。歧义字段在中文文本中是普遍存在的，歧义切分是自动分词中不可避免的现象，是自动分词中的一个比较棘手的问题。对歧义字段的处理水平，直接影响着自动分词系统的分词准确率。未登录词的识别问题。未登录词是指没有在词典中出现、在汉语文本中又应该当作一个词将其分开的那些字符串。包括中外人名、中外地名、机构组织名、事件名、缩略语、派生词、各种专业术语以及在不断发展和约定俗成的一些新词语。未登录词种类繁多、规模宏大，对它们识别正确与否直接影
39、响着分词系统的正确率。然而，目前对于这些词语的自动辨识尽管作了不少的研究，但要想达到实际应用的要求，仍还有不少的困难。 汉语分词的难点汉语分词的难点2024/8/27史忠植 人工智能：自然语言处理 63除了由于未登录词而引起的歧义，切分歧义主要有三种类型：交集型歧义，即汉字串既可切成，又可切成。组合型歧义，即汉字串既可切分成，又可切分成。混合型歧义，是前两种的自我嵌套或三者的交叉组合产生的。为了既能得到较高的准确率，又有较小的开销，可以 着重解决相对数量较大又较容易解决的交集型歧义。汉语分词的难点汉语分词的难点2024/8/27史忠植 人工智能：自然语言处理 64n词类分析 汉语的发展是先有字
40、后有词，所以关于 词的研究还存在一些问题，比较突出的 是汉语词类的兼类问题。例如，大量的 双字动词兼作名词。要进行汉语理解， 如果不把词类先确定下来的话，那么下 一步的分析也难以进行。汉语词类的兼类处理方法n两种方法根据规则消除兼类，根据预料库统计消除兼类汉语分词的难点汉语分词的难点2024/8/27史忠植 人工智能：自然语言处理 652024/8/27史忠植 人工智能：自然语言处理 66内容提要内容提要8.1 8.1 概述概述8.2 8.2 词法分析词法分析8.3 8.3 句法分析句法分析8.4 8.4 语义分析语义分析8.5 8.5 语用分析语用分析8.6 8.6 语料库语料库8.7 8.
41、7 信息检索信息检索8.8 8.8 机器翻译机器翻译8.9 8.9 问答系统问答系统8.10 8.10 小结小结n信息检索 (information retrieval，IR)是指将信息按一定的方式组织和存储起来，并根据用户的需要找出有关信息的过程。1950年, 穆尔(Moore C)根据图书馆的参考咨询和文摘索引提出了信息检索。信息检索包括信息存储和检索。在检索之前必须将信息收集起来，按科学方法进行整理，并按一定准则存储起来，形成书本式检索工具或者计算机可读数据库。在检索时，用户根据自身需求提交查询给信息检索系统，系统利用存储信息所依据的准则，在文档集中找出与查询条件相关的文档子集，并按照它
42、们与查询条件的相关性进行排序，最后为用户返回一个有序的文档子集。信息检索信息检索2024/8/27史忠植 人工智能：自然语言处理 67从广义上讲，信息检索包括两个过程，一是信息存储(information storage)，即信息的标引、加工和存储过程：二是信息检索(information retrieval)，即信息用户的查找过程。从狭义上讲，信息检索仅指后一部分。信息检索的本质是一个匹配的过程即用户的信息需求和信息存储的信息集合进行比较和选择的过程信息检索信息检索2024/8/27史忠植 人工智能：自然语言处理 68信息检索过程信息检索过程2024/8/27史忠植 人工智能：自然语言处理
43、69信息检索的类型信息检索的类型n按信息检索的内容划分文献检索文献检索 数据检索数据检索事实检索事实检索概念检索概念检索n按信息检索的组织方式划分超文本检索是对每个节点中储存的信息以及信息链构成的网络信息进行的检索。与传统文本的线性顺序不同，超文本检索强调中心节点之间的语义联结结构，靠系统提供的工具进行图示穿行和节点展示，提供浏览式查询，可进行跨库检索。 全文本检索全文本检索多媒体检索多媒体检索超文本检索超文本检索2024/8/27史忠植 人工智能：自然语言处理 702024/8/27史忠植 人工智能：自然语言处理 71内容提要内容提要8.1 8.1 概述概述8.2 8.2 词法分析词法分析8
44、.3 8.3 句法分析句法分析8.4 8.4 语义分析语义分析8.5 8.5 语用分析语用分析8.6 8.6 语料库语料库8.7 8.7 信息检索信息检索8.8 8.8 机器翻译机器翻译8.9 8.9 问答系统问答系统8.10 8.10 小结小结n机器翻译是利用计算机把一种自然语言转变成另一种自然语言的过程。用以完成这一过程的软件叫做机器翻译系统。机器翻译是语言学、人工智能、计算技术、认知科学等学科相结合的产物。n人作翻译时，把一个源语言句子译成目标语言句子，涉及到四个基本操作：目标语言单词的检索、调序、删词、增词；机器翻译系统的操作过程也不例外，有检索、分析、转换和生成的主要四个阶段。这被称
45、为基于分析和转换的机器翻译系统。也被认为是模拟人类翻译活动最恰当的机制。机器翻译机器翻译2024/8/27史忠植 人工智能：自然语言处理 72n20世纪50年代初到60年代中为大发展时期。但是由于当时对机器翻译的复杂性认识不足而产生了过分的乐观情n20世纪60年代中到70年代初由于遇到了困难而处于低潮时期。n20世纪80年代机器翻译开始复兴，注意力几乎都集中在人助自动翻译上，人助工作包括译前编辑（或受限语言），翻译期间的交互式解决问题，译后编辑等。几乎所有的研究活动都致力于在传统的基于规则和“中间语言”模式的基础上进行语言分析和生成方法的探索，这些方法都伴有人工智能类型的知识库。n在20世纪9
46、0年代早期，机器翻译研究被新兴的基于语料库的方法向前推进，出现新的统计方法的引入以及基于案例的机器翻译等。机器翻译机器翻译2024/8/27史忠植 人工智能：自然语言处理 73n机器翻译的一般过程包括：源语文输入、识别与分析、生成与综合和目标语言输出。当源语文通过键盘或扫描器或话筒输入计算机后，计算机首先对一个单词逐一识别，再按照标点符号和一些特征词(往往是虚词)识别句法和语义。然后查找机器内存储的词典和句法表、语义表，把这些加工后的语文信息传输到规则系统中去。从源语文输入的字符系列的表层结构分析到深层结构，在机器内部就得到一种类似乔姆斯基语法分析的“树形图”。机器翻译机器翻译2024/8/2
47、7史忠植 人工智能：自然语言处理 74基于规则的机器翻译流程图2024/8/27史忠植 人工智能：自然语言处理 751.基于分析和转换的机器翻译方法 基于分析和转换的机器翻译方法就是自动实现源语言到目标语言的转换，它采取了一系列的分析和转换的生成层次，使一个源语言句子经过不同的中间表达形式，最终达到目标语言句子的表示。其目的是尽可能地加深对源语言的理解，生成尽可能恰当的目标语言形式。这种方法比较全面地体现了语言学知识在机器翻译中的应用，是了解机器翻译实现过程的非常合适的模式。机器翻译的实现方法机器翻译的实现方法2024/8/27史忠植 人工智能：自然语言处理 76 句子经过分析阶段之后，进入转
48、换和生成阶段。这两者一般联系得比较紧密，有时无法严格区分，因为转换到目标语言也就是要生成目标语言的词汇、短语、句子。可以把句子结构的转换也就是源语言的句法树转换长合适的目标语言对应形式当作转换，而后续的许多处理都当作生成阶段的处理步骤看待。基于分析和转换的机器翻译方法基于分析和转换的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 77实质上，机器翻译方法对语言的处理就是在两种语言之间搭一座桥，实现一种语言到另一种语言意义等价的转换。它并非象自然语言理解那样只是对一种语言的操作，只需作针对一种语言的分析。作为一个机器翻译系统，它既要考虑源语言的语法和语义规律，也要考虑目标语言的这方
49、面规律，忽略了任何一方都是不行的。也就是说，对于双语互译规律的发现和应用才是机器翻译最本质的特征。所以，在词、短语和句子这三个层次上寻找源语言的目标语言翻译的等价物是机器翻译中转换与生成的任务。基于分析和转换的机器翻译方法基于分析和转换的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 78 通常，机器翻译的研究中将转换看做整个翻译过程中的一个阶段。然而，在语义结构上进行转换却是一种好的方式。语义结构可以是跨语言的，有能力同时应用于分析和生成。另一方面，当机器翻译系统的翻译语言对扩展时，还可以应用于多种不同的语言。但要注意，大规模的自然语言语义描述相当复杂，因而在机器翻译系统中的应
50、用往往会受到限制，难以采用这样的语义表示作为转换的基本结构。基于分析和转换的机器翻译方法基于分析和转换的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 79一般情况下，分析以句法为主、语义为辅，正确的句法结构转换加正确的词汇译文可以从源语言向目标语言传递完整的正确信息。因此，以句法结构转换附加上一定的语义信息，能够构成转换的基本层次。不足之处是：因为句法分析的结果是面向源语言的，而要生成合适的目标语言译文，转换部分常常引入许多目标语言方面的约束，使得转换规则变得复杂了。基于分析和转换的机器翻译方法基于分析和转换的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 80就
51、标准的机器翻译系统来说，句子和短语层次的结构转换是机器翻译转换部分的研究重点。通常使用转换规则，就可以实现源语言句法结构到目标语言句法结构的转换。这方面一般采用产生式方式的转换规则形式： S：S1+S2+SiT1+T2+Tj ：T 上式理解为：S是SL（源语言）的某个待翻译单位（句子、短语等等），S1Si是S中的下一级组成单位；对于S，如果满足条件，则TL（目标语言）中有T1Tj译文构成了相应的等价物T。基于分析和转换的机器翻译方法基于分析和转换的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 81这样的方法有两个特点：一是面向源语言分析，因为源语言中的一个句子已经由句法、语义分
52、析等阶段分析完毕，生成了关于源语言句子的某种中间表示，转换以这种源语言中间表示作为输入；二是直接转换，即对于S表示，直接给出译文形式，一般不需要在目标语言内再作进一步转换，T1Tj可以直接包括目标语言的词汇，也可以是对应于S1Si的译文组块。基于分析和转换的机器翻译方法基于分析和转换的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 82上 述 方 法 称 为 基 于 句 法 的 转 换 方 法 ， 因 为 S1+S2+Si一般来说就是源语言的的句法结构表示；也可以称为直接转换方法，因为对于每个源语言的翻译组块，都马上给出一个目标语言组块与之对应。应该说，这种转换方法符合人的直觉认
53、识，也能够实现。基于分析和转换的机器翻译方法基于分析和转换的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 83 基于中间语言的翻译方法是对源语言进行分析以后产基于中间语言的翻译方法是对源语言进行分析以后产生一种称为中间语言的表示形式，然后直接由这种中间语生一种称为中间语言的表示形式，然后直接由这种中间语言的表示形式生成目标语言。所谓中间语言就是自然语言言的表示形式生成目标语言。所谓中间语言就是自然语言的计算机表示形式的系统化，它试图创造出一种独立于各的计算机表示形式的系统化，它试图创造出一种独立于各种自然语言，同时又能表示各种自然语言的人工语言。种自然语言，同时又能表示各种自然
54、语言的人工语言。2. 2. 2. 2. 基于中间语言的翻译方法基于中间语言的翻译方法基于中间语言的翻译方法基于中间语言的翻译方法基于中间语言的机器翻译方法基于中间语言的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 84基于中间语言的机器翻译方法主要有两个优点。首先，独立的中间表示形式为多语种之间的互译的实现提供了一种经济有效的途径。假设要对N种语言进行互译，则有N(N-1)个语言对。不同方向的翻译是不同的语言对。此时如果采用基于转换的方法，因为把一种语言翻译成另一种语言都需要一个不同的转换机制（或模块），所以N(N-1)个语言对共需要N(N-1)个独立的转换机制。而采用中间语言
55、的方法，由于对每一种语言只需实现将该种语言翻译成中间语言和把中间语言翻译成该种语言的目标语言这样两个模块，所以总共只需要2N个模块。其次，中间语言不仅是对基于中间语言的机器翻译方法这一特定目的有意义，同时，作为一种通用的自然语言表示，也值得深入研究。基于中间语言的机器翻译方法基于中间语言的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 85基于中间语言的机器翻译方法的优势是无需一种语言到另一种语言的一一转换，对于多语种的翻译系统可以节约大量的转换知识的手工获取工作量。假如有N种语对需要相互翻译，只要有2N个分析和生成模块就够了。其中一半是源语言分析模块，输入为原文，输出以IL表示
56、；另一半是目标语言生成模块，输入为IL表示，输出为目标语言译文。基于中间语言的机器翻译方法基于中间语言的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 86中间语言通常用语义概念表示，这些概念符号采用英语单词符号或其它自行定义的符号来表示。大规模的IL需要大量的概念表示，需要生成对应的概念词典。如果用语义概念来描写一个句子，则构成复杂的语义网络。 对于多语种的机器翻译来说，使用中间语言作为相互翻译的中介是可取的。在理想状态下，中间语言应该没有或极少有歧义，结构严谨，词汇单义，便于计算机处理。有了中间语言，一切源语言分析的结果和目标语言生成的开端都由它来表示。基于中间语言的机器翻译
57、方法基于中间语言的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 87然而，中间语言的机器翻译方法也常遭到怀疑。因为是否能够构造出表示各种不同的自然语言语法、语义的中间语言至少目前还是未知数。此外，中间语言能不能把各种语言的所有特征保留下来，又能很好生成对应的各种语言也是问题。所以，构造中间语言是一个巨大、复杂的工程，还包含许多理论研究，迄今为止的探索还没有好的答案。基于中间语言的机器翻译方法基于中间语言的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 883.3.基于统计的机器翻译方法基于统计的机器翻译方法 基于统计的机器翻译方法，一般不要任何语言学知识，它的基本
58、原理是实现源语言词汇到目标语言词汇的映射。其思路受到语音识别研究的启发，因而应用了类似的方法来实现。研究者用大规模的双语语料库作为基础，对源语言和目标语言词汇的对应关系进行统计，根据统计规律输出译文。这种方法没有使用语言知识，主要特征是概率统计与随机过程的方法成为了分析和生成过程的唯一方法。它的主要内容是双语句对的对齐，通过词汇同现的可能性来计算一种语言的一个词映射到另一种语言的一个词（或两个、零个词）的概率。应该说，基于统计的机器翻译方法的出现改变了机器翻译研究的面貌，从而开始了机器翻译研究的新阶段。不过，有些学者也对纯统计方法提出了异议，认为必须引入高层语法、语义模型，显然这是正确的。否则
59、，基于统计的机器翻译方法不可能产生高质量。基于统计的机器翻译方法基于统计的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 89 由于当前计算机在运算速度和存储容量方面都有巨大的提高，可以获取大量的机读语料库，因此在机器翻译中应用统计方法的条件已经成熟。 机器翻译的噪声通道模型可以视作最早的机器翻译思想的某中复活，其思路可以这样理解： 假设说话者已经用目标语想好了一句话T，但是说出的却是源语言句子S。这样一个过程可以看成为编码过程。而统计的机器翻译就是要从S回推T，可以看成解码过程。这样，统计的机器翻译任务分为两个部分：一是建模，即建立翻译的计算方法以及从双语语料库中估计模型的参数
60、；二是解码，即寻求一种高效搜索算法取有关概率计算的最大值。基于统计的机器翻译方法基于统计的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 90 在概率计算的前后，转换是进行有关预处理和后处理，例如句子当中的日期、时间、数字、人名等应该用适当的类别标志加以替换，以便更好地进行计算，计算后再换回来。因为这类词不属于一般的词汇，单词本身在语料库中的出现缺乏代表性。 建模就是设计各个模型的计算公式。因为直接计算某个句子出现的概率是比较困难的，语料库不可能足够大到包含所有句子，必须进行合理的、适当的简化。这是统计方法的特点，所得到的结果是近似值，但是因为概率本身就不是精确的，所以这些近似完
61、全可以接受。基于统计的机器翻译方法基于统计的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 91总之，基于统计的机器翻译方法可以简单的这样看：将原始的某个句子按词折开，然后全部单词存储；翻译则是取出，按概率统计的方法重组句子，这样的句子就是统计方法的翻译结果。 当然，我们还是认为应该加强统计方法与语法分析、语义分析相结合的研究。基于统计的机器翻译方法基于统计的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 924.基于记忆的机器翻译方法基于记忆的机器翻译方法 建立机器翻译系统需要大量的知识。在基于转换和基于中间语言的机器翻译方法中，知识按一定规则译成代码，这既耗时花
62、费也大。此外，知识获取瓶颈阻碍了机器翻译的快速发展，这是早期机器翻译面临的重大难题。 为克服这一困难，除了上节介绍的统计方法外，日本机器翻译专家Nagao在80年代提出了一种新方法，用已经存在的翻译实例（双语文本）作为知识源，这种方法称为基于记忆的翻译，后来普遍称为基于实例的翻译。基于实例的思想已被广泛的采用，既用于机器翻译的设计，也用于机器翻译不同处理阶段的实现中。用不断积累的已经译好的文本作为机器翻译的样本的思想，也是具有吸引力的。基于记忆的机器翻译方法基于记忆的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 93基于记忆的机器翻译方法通过结构化的翻译例子直接把源语言的短语和
63、句子与目标语言的短语和句子对应起来。方法的不同使得处理步骤或多或少，但都必须实现源语言到目标语言的转换，其映射关系或者是词到词，或者是短语或句子到与之相应的等价物，或者是一棵句法树到另一棵句法树。 基于记忆的机器翻译（EBMT）的实现过程简单概述如下：给定源语言输入句子S，在双语语料库C中匹配查找一个最相近的句子S, 则S的译文T就被接受为S的译文。基于记忆的机器翻译方法基于记忆的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 94 翻译的过程一般就是查找和复现相似的例子，发现和记起特定的源语言表达或相似的表达在以前是如何翻译的，把以前的翻译实例作为主要知识源。 基于记忆的机器翻
64、译方法的基本思想： （1）把翻译实例存入翻译数据库。例如，存入汉语和英语句子对； （2）对输入的句子，在翻译数据库中检索类似的翻译例句； （3）调整实例后生成译文。基于记忆的机器翻译方法基于记忆的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 95基于记忆的机器翻译方法可以按如下步骤实现： （1）对双语语料库进行句子级对齐； （2）在语料库的源语言一边进行句子分块，称为组块。然后检索输入组块的最佳匹配侯选，称为源语言内部匹配； （3）在源语言最佳匹配后选的组块中检索对应目标语言组块，称为双语匹配； （4）对组块级检索结果进行组合，以获得整个源语言文本的翻译结果。 基于记忆的机器翻
65、译方法基于记忆的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 96源语言的内部匹配就是在语料库中查找一个与待译句子最相似的句子。对于任意给定的一个句子，很难在语料库中找到与之完全匹配的句子，所以对输入文本在语料库源语言一边的匹配查找采用了松弛匹配技术。松弛匹配就是部分匹配，不同的部分匹配被赋予不同的分值，以反映输入串和语料库中某些句子串的接近程度。整个输入组块与语料库组块匹配的分值由一定的公式计算出来。最后，待翻译文本中所有被匹配的每个输入组块都在语料库中检索出若干个最相近的组块，组块可以是一个句子、或者是一个从句、或者是一个短语，按照匹配分数从大到小排列。基于记忆的机器翻译方
66、法基于记忆的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 97源语言内部匹配的输出成为输入，即把前面从语料库中查到的组块、所在的句子和对应译文等构成当前处理步骤的输入。因为每个输入组块可能在语料库中匹配若干组块，所以每个组块有待进一步处理，即在双语匹配处理过程中又分为若干子过程，包括通过查词典获取词组译文；建立词汇级双语对照表；通过评分机制求出最佳翻译句等等。 基于记忆的机器翻译方法的输出结果带有相应的分数，这些分值来自不同的标准，相差可能很大。因此必须采用合适的函数（方式）对所有分数进行统一（归一化），然后这些分值才有可比性。基于记忆的机器翻译方法基于记忆的机器翻译方法202
67、4/8/27史忠植 人工智能：自然语言处理 98基于记忆的机器翻译方法的其它优点： （1）可以通过索引和并行处理提高处理速度； （2）可以采用最佳匹配推理； （3）可以较好地利用翻译专家的专业知识（通过翻译实例）； （4）一个基于实例的机器翻译系统的知识可以移植、共享。基于记忆的机器翻译方法基于记忆的机器翻译方法2024/8/27史忠植 人工智能：自然语言处理 992024/8/27史忠植 人工智能：自然语言处理 100内容提要内容提要8.1 8.1 概述概述8.2 8.2 词法分析词法分析8.3 8.3 句法分析句法分析8.4 8.4 语义分析语义分析8.5 8.5 语用分析语用分析8.6
68、8.6 语料库语料库8.7 8.7 信息检索信息检索8.8 8.8 机器翻译机器翻译8.9 8.9 问答系统问答系统8.10 8.10 小结小结问答问答系统系统n问答系统(question answering system, QA)是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。问答系统是目前人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。2011年2月14日，在美国最受欢迎的智力问答节目危险边缘(Jeopardy)中，IBM的“沃森（Watson）”超级计算机击败该节目的两名总冠军詹宁斯（Jennings K）和鲁特尔（Rutter
69、 B），实现有史以来首次人机智力问答对决，并赢取高达100万美元的奖金。这是人工智能技术取得成功的代表。2024/8/27史忠植 人工智能：自然语言处理 1012024/8/27102史忠植 人工智能：自然语言处理 危机边缘危机边缘2011年，“沃森”在电视娱乐节目危机边缘中战胜人类选手肯詹宁斯和布拉德拉特问答问答系统系统一般问答系统模型分为三层结构，分别为：用户层、中间层、数据层。各部分的主要功能如下： （1）用户层（UI）：供用户输入提问的问题，并显示系统返回的答案。 （2）中间层（MI）：中间处理层，主要负责：分词、处理停用词、计算词语相似度、计算句子相似度，返回答案集。 （3）数据层（
70、DI）：系统的知识库存储，主要有：专业词库、常用词库、同义词库、停用词库、课程领域本体、知网本体、常见问题集（FAQ） 库。2024/8/27史忠植 人工智能：自然语言处理 103问答问答系统分类系统分类问答系统问答系统限定域限定域问答系统问答系统开发域开发域问答系统问答系统基于常用提问集基于常用提问集问答系统问答系统机构数据库机构数据库问答系统问答系统自由文本自由文本问答系统问答系统网络网络问答系统问答系统固定资料库固定资料库问答系统问答系统单文本单文本问答系统问答系统2024/8/27史忠植 人工智能：自然语言处理 104问答问答系统系统n问答系统自动答题的步骤如下：问答系统自动答题的步骤
71、如下： 1）根据专业词库，常用词库，同义词库对于用户输入的自然语言问句通过逆向最大匹配的方法进行分词，对于未登记词借助于分词工具把未登记词添加到词库中，在分词过程中同时标注词的词性和权值； 2）对于分词后的结果依据停用词库，并参考词性，删除停用词； 3）对于专业词汇采取基于本体的概念相似度方法进行计算词语语义相似度，对于其他词汇采取基于知网本体计算词语语义相似度；2024/8/27史忠植 人工智能：自然语言处理 105问答问答系统系统 4） 分别计算IFIDF 相似度，根据词语的语义相似度来计算句子的语义相似度，计算词形、句长、词序、距离相似度来计算句子的结构相似度，最后组合起来加权求和计算句
72、子相似度；（注：基于关键词向量空间模型的TFIDF 问句相似度计算方法是一种基于语料库中出现的关键词词频的统计方法，它是建立在大规模真实问句语料基础之上的。） 5）根据计算用户提问的问题与FAQ 中问题的句子相似度，定义一个相似度阈值，从FAQ 中抽取不小于相似度阈值且相似度最高的问题及其答案作为用户提问问题的答案；对于从FAQ 中抽取不到答案的问题通过发邮件给专家，添加到待解决问题集中，专家回答更新FAQ。2024/8/27史忠植 人工智能：自然语言处理 106问答系统问答系统的结构的结构框图框图2024/8/27史忠植 人工智能：自然语言处理 1072024/8/27108史忠植 人工智能
73、：自然语言处理 检索算法检索算法用户打开网页后在文本框中输入关键字进行搜索，系统将根据用户输入的关键字进行搜索，并返回和关键字相关的信息，若用户输入的是多关键字系统将对用户输入的关键字进行拆分，然后搜索所有含有相关信息的记录返回给用户界面： (1) 用户关键字，并进行提交； (2) 从提交表单中提取数据，并进行相应判断； (3) 连接数据库，建立记录集，用查询语句对表中数据进行查询； (4) 将结果进行加工显示给用户； (5) 结束；2024/8/27史忠植 人工智能：自然语言处理 109内容提要内容提要8.1 8.1 概述概述8.2 8.2 词法分析词法分析8.3 8.3 句法分析句法分析8
74、.4 8.4 语义分析语义分析8.5 8.5 语用分析语用分析8.6 8.6 语料库语料库8.7 8.7 信息检索信息检索8.8 8.8 机器翻译机器翻译8.9 8.9 问答系统问答系统8.10 8.10 小结小结史忠植 人工智能：自然语言处理 小结小结2024/8/27110n自然语言作为人类表达和交流思想最基本的工具,在人类社会活动中到处存在。常见的形式有口头语言（语音）和书面语言（文字）。n本章首先介绍自然语言处理的基本概念，然后从自然语言词法、句法、语义分析、真实文本语料库、语用分析等方面，介绍自然语言处理所涉及的关键技术n最后介绍自然语言处理在信息检索、机器翻译、自动问答系统等方面的应用。史忠植 人工智能：自然语言处理 小结小结2024/8/27111n自然语言处理都远不如人们原来想象的那么简单，而是十分困难的。从现有的理论和技术现状看，通用的、高质量的自然语言处理系统，仍然是较长期的努力目标。自然语言处理的未来应将基于知识和推理的深层方法与基于统计等“浅层”方法结合起来，是一个人工智能完全问题。2024/8/27史忠植 人工智能：自然语言处理 112 Thank You人工智能 http:/
