人工智能-ai章智能应用

《人工智能-ai章智能应用》由会员分享，可在线阅读，更多相关《人工智能-ai章智能应用（30页珍藏版）》请在金锄头文库上搜索。

1、1,自然语言：是指人类日常交流所使用的语言。 自然语言理解：主要研究如何使计算机能够理解和生成自然语言。 自然语言组成：是音义结合的词汇和语法体系。词汇是语言的基本单位，它在语法的支配下可构成有意义和可理解的句子，句子再按一定的形式构成篇章等。其结构如下图所示：,语言,造句法,词汇是语言的基本单位。熟语是指一些词的固定组合，如汉语中的成语。词又由词素构成，词素是构成词的最小有意义的单位。如“学生”是由“学”和“生”这两个词素构成的。 语法是语言的组织规律。词法是用词素或熟语构成词的规则，可分为构形法和构词法。构形法是指单数复数等。造句法是用词和词组构造句子的规则。,词汇,语法,句法,构形法,构

2、词法,词,熟语,词法,词素,词组构造法,9.1.1 自然语言理解的基本概念 自然语言与自然语言理解,2,自然语言理解分声音语言和文字语言，声音语言理解分5个阶段，而文字语言的理解为声音语言的后4个阶段。 语音分析 要让计算机能够听懂人类的语言 声音语言的最小单位是因素，先根据音位规则， 从语音流中分解出独立的因素，再根据音位形态规则找出一个个音节及其对应的词或词素。 词法分析 按照词法，将句子切成一个个词 句法分析 句法分析：按照句法，把词组成句子 语义分析 上下文无关，分析句子的语义 语用分析 上下文有关，分析句子在段落中的意思,9.1.1 自然语言理解的基本概念 自然语言理解的层次,3,其

3、主要任务是要找出词汇的各个词素，从中获得语言学信息，并确定单词的词义。以英语为例，其词法分析的基本算法如下： repeat look for word in dictionary if not found then modify the word until word is found or no further modification possible 其中，word是一个变量，其初始值就是当前词。 例9.1 用上述算法分析catches。 解：其分析过程如下： catches 词典中查不到 catche 修改1：去掉s catch 修改2：去掉e 可以看出，在修改2时就查到了catch。

4、当然，这只是一个很简单的例子，完整的词法分析还应该包括复合词的切分等。,9.1.2 词法分析,4,9.1.3 句法分析 句法规则的表示方法（句子结构的表示）,常用方法主要有上下文无关文法、变换文法等。 句子结构的表示 一个句子由各种不同的句子成分组成。这些成分可以是单词、词组或从句。也还可以按其作用分为主语、谓语、宾语、宾语补语、定语、状语、表语等。这种关系可用一棵树来表示，如： He wrote a book 可用图9.2所示的树形结构来表示 一个句子又由若干个词类构成，如名词、动词、代词、形容词等。若从句子的词类考虑，一个句子也可用一棵分析树表示。如图9.3所示。,句子,主语,谓语,动词,

5、宾语,He,wrote,a,book,句子,代词,动词短语,动词,名词短语,He,wrote,a,book,图9.2 按句子成分构成的分析树,图9.3 按词类构成的分析树,5,上下文无关文法(Context-free Grammars) 是乔姆斯基提出的一种对自然语言语法知识进行形式化描述的方法。在这种文法中，语法知识是用重写规则表示的。 作为例子，下面给出了一个英语的很小的子集，图9-4。 语句 句子 终标符 句子 名词短语 动词短语 动词短语 动词 名词短语 名词短语 冠词 名词 名词短语 专用名词 冠词 the 名词 professor 动词 wrote 名词 book 动词 train

6、s 专用名词 Jack 终标符 . . 这就是一个英语子集的上下文无关文法 在该文法中，“语句”是一个特殊的非终极符，称为起始符。,9.1.3 句法分析 句法规则的表示方法（上下文无关文法）1/2,6,例9.2 利用上述上下文无关文法，给出如下语句的分析树。 The professor trains Jack.,The,professor,.,trains,Jack,解：如下图,9.1.3 句法分析 句法规则的表示方法（上下文无关文法）2/2,句子,语句,终标符,动词短语,名词短语,冠词,名词,动词,名词短语,专用名词,7,上下文无关文法反映的仅是一个句子本身的层次结构和生成过程，而自然语言是

7、上下文有关的。为此，乔姆斯基又提出了变换文法(Transformational Grammar)。该文法认为，句子的结构有深层和表层两个层次。例如： She read me a story 和 She read a story to me 的表层结构不一样，但它们的深层结构则是一样的。再如，主动句和被动句也只是表层结构不同，其深层结构则是相同的。 在变换文法中，句子深层结构和表层结构之间的变换是通过变换规则实现的，如图9.6给出了一条把主动句变换为被动句的变换规则。,9.1.3 句法分析 句法规则的表示方法(变换文法)1/2,8,助动词,介词,动词的过去分词,名词短语1,句子,介词短语,句子,

8、名词短语1,动词短语,动词,名词短语2,名词短语2,动词被动语态,冠词,名词,专用名词,上下文无 关文法,变换规则,冠词,名词,The,professor,Jack,trains,Jack,专用名词,is,trained,by,the,professor,professor,先用上下文无关文法得句子的深层结构，再用变换文法得表层结构。 例9.3 利用变换文法，将前述主动句变为被动句。 解：其变换过程是：先从非终极符“句子”开始产生一个主动句： The professor trains Jack 然后再应用图9.7所示的变换规则把它变为被动句： Jack is trained by the pr

9、ofessor,动词,冠词,名词,The,professor,名词短语2,专用名词,trains,动词,冠词,名词,The,professor,Jack,名词短语2,专用名词,trains,动词,冠词,名词,The,professor,9.1.3 句法分析 句法规则的表示方法(变换文法)2/2,9,自顶向下分析，是指从起始符开始应用文法规则，一层一层地向下产生分析树的各个分支，直至生成与输入语句相匹配的完整的句子结构为止。 例如，图9-4所示的上下文无关文法，采用自顶向下分析方法对语句： The professor trains Jack . 进行分析的过程是：,首先，从起始符“语句”开始，正

10、向运用规则： 语句 句子 终标符 把分析树的根节点“语句”替换为它的两个子节点“句子”和“终标符”。如分析树一,然后，再对新生成的节点“句子”使用规则： 句子 名词短语 动词短语 将其替换为两个子节点“名词短语”与“动词短语”。如分析树二,语句,句子,终标符,语句,句子,终标符,图：部分分析树一,动词短语,名词短语,图：部分分析树二,9.1.3 句法分析 自顶向下分析,10,接着，对于“名词短语”，有两条规则可用，若按规则的排列顺序，则选用 名词短语 冠词 名词 将“名词短语”被替换为“冠词”和“名词”，生成两个新节点。如分析树三,再接着，对“冠词”使用规则： 冠词 The 对名词使用规则：

11、名词 professor 将冠词 替换为The，名词替换为professor。如分析树四,语句,句子,终标符,动词短语,明词短语,图：部分分析树三,冠词,名词,句子,终标符,动词短语,明词短语,图：部分分析树四,冠词,名词,语句,The,professor,依此进行，最后可得到如图9.5所示的自顶向下的完整分析树。,9.1.3 句法分析 自顶向下分析,11,它以输入语句的单词为基础，首先按重写规则的箭头指向，反方向使用那些最具体的重写规则，把单词归并成较大的结构成分，如短语等，然后对这些成分继续逆向使用规则，直到分析树的根节点为止。 还是前面的语句 The professor trains J

12、ack 按自底向上，先逆向使用图8.4中的具体规则，可得到如下所示的部分分析树。,Jack,名词短语,专用名词,trains,动词,冠词,名词,The,professor,终标符,.,然后，继续逆向使用规则，一步步归并，直到根节点“语句”为止，最后即可生成如图9.5所示的完整的分析树。 自顶向下分析方法与自底向上分析方法虽然思路清晰，但分析效率不高。为了提高分析效率，可采用自顶向下与自底向上相结合的分析方法。,9.1.3 句法分析 自底向上分析,12,9.1.4 语义分析 概述,语义分析就是要识别一句话所表达的实际意义。即弄清楚“干什么了”，“谁干的”，“这个行为的原因和结果是什么”以及“这个

13、行为发生的时间、地点及其所用的工具或方法”等。 由于句法分析仅是在句法范围内根据词性信息来分析自然语言中句子的文法结构，并没有考虑句子本身的含义，因此不能排除像 The paper received the professor 这种在语法结构上正确，但实际意义上错误的句子。 目前，用于语义分析的技术比较多，本节仅简单介绍语义文法和格文法。,13,语义文法是在上下文无关文法的基础上，将“名词短语”、“动词短语”、“名词”等这些不含有语义信息的纯语法类别，用所讨论领域的专门信息，像“山”、“水”、“动物”、等这些具有很强语义约束的语义类别来代替。利用语义文法进行语义分析，就可以排除像“论文收到教授

14、”这类无意义的句子。 例如，下面是一个关于舰船信息的语义文法的例子： S PRESENT the ATTRIBUTE of SHIP /介绍舰船的属性信息 PRESENT what is | can you tell me /是什么或能告诉什么 ATTRIBUTE length | class /长度或级别 SHIP the SHIPNAME | CLASSNAME class ship /舰船名或类别名 SHIPNAME Huanghe | Changjiang /黄河或长江 CLASSNAME carrier | submarine /货船或潜艇 在上述重写规则中，用大写英文字母的单词表示

15、非终极符，小写英文字母表示终极符，竖线表示“或”的意思。 利用上述语义文法进行语义分析，可以从语义上识别以下的输入： what is the length of the Huanghe? /黄河号的长度 Can you tell me the class of the Changjiang? /长江号的级别？,9.1.4 语义分析 语义文法,14,格文法是以句子的中心动词为主导，并用格来表示其它成分与此中心动词之间的语义关系的一种描述方法。 格文法及其分析过程比较复杂，下面仅讨论格的简单概念、格框架的简化表示、格文法分析的大致过程。 语义分析中的“格” 与传统语法中的格有着本质不同。在传统语法中，格仅表示一个词或短语再句子中的功能，如主格、宾格、等，反映的也只是词尾的变化规则，故称为表层格。 在格文法中，格表示的是语义方面的关系，反映的是句子中所包含的思想、观念等，故称为深层格。 格文法中的“格” 相对于中心动词的不同语义关系，格可分为许多种。例如，在句子 John gave the book to Sally 中，相对于中心动词gave John是这个行为的发出者，称为动作格； the book是行为作用的对象，称为受动格； Sally是行为作用对象所到达的目标，称为目标格。,9.1.4 语义分析 格文法(格和格框架),15,一套正确的深层格究竟应包括多少个格，