全信息理论与中文信息处理

《全信息理论与中文信息处理》由会员分享，可在线阅读，更多相关《全信息理论与中文信息处理（30页珍藏版）》请在金锄头文库上搜索。

1、 全信息理论与中文信息处理全信息理论与中文信息处理 钟义信钟义信智能科学技术研究中心智能科学技术研究中心北京邮电大学北京邮电大学2006-8-24yxzhongieee.org8/29/20241目目 录录一，问题的提出一，问题的提出二，解决的方法二，解决的方法三，研究的重点三，研究的重点8/29/20242一，问题的提出一，问题的提出8/29/20243中文信息（自然语言）处理的重大社会需求中文信息（自然语言）处理的重大社会需求1，人际交往，人际交往 - 多种语言的存在多种语言的存在 - 全球交往的进程全球交往的进程 - 学习语言的困难学习语言的困难 - 机器翻译的前景机器翻译的前景2，人机

2、合作，人机合作 - 人类操作能力的局限人类操作能力的局限 - 机器工作性能的威力机器工作性能的威力 - 机器认知能力的潜力机器认知能力的潜力 - 人机能力的天然互补人机能力的天然互补8/29/20244中文信息（自然语言）处理的核心目标中文信息（自然语言）处理的核心目标 表面上看，表面上看，“中文信息处理中文信息处理”研究工作的着眼点和落研究工作的着眼点和落脚点应是中文信息的脚点应是中文信息的“处理处理” 如词语切分，词形标注，如词语切分，词形标注，语句分析，专名识别，词语消岐，等等语句分析，专名识别，词语消岐，等等。 实质上看，研究工作的目标是实质上看，研究工作的目标是“使机器能够在一定使机

3、器能够在一定程度上理解中文信息程度上理解中文信息”，或对中文信息实现一定认知。，或对中文信息实现一定认知。 无论从无论从 “人际通信人际通信” 还是还是 “人机合作人机合作” 的需求来看，的需求来看，处理都是处理都是手段手段，理解（认知）才是，理解（认知）才是目的目的。 8/29/20245自然语言自然语言 “理解理解” 与人工智能与人工智能1，智能的核心是思维；语言是思维的表达；因此语，智能的核心是思维；语言是思维的表达；因此语 言也是智能的表达。言也是智能的表达。2，理解（认知），是智能的内核；因此自然语言理，理解（认知），是智能的内核；因此自然语言理 解是人工智能的基本研究方向。解是人工

4、智能的基本研究方向。3，自然语言理解本质上是人工智能、信息科学、，自然语言理解本质上是人工智能、信息科学、 认认 知科学和语言学的交叉科学。知科学和语言学的交叉科学。4，自然语言理解系统本质上是一类智能系统。，自然语言理解系统本质上是一类智能系统。8/29/20246智能系统的核心机制：智能系统的核心机制：信息信息- -知识知识- -智能转换智能转换需求需求/约束约束信息获取信息获取信息执行信息执行信息传递信息传递信息传递信息传递预处理预处理决策决策本体本体信息信息智能智能 策略策略智能智能行为行为目标目标认知认知知识知识感觉感觉器官器官传导传导系统系统思维思维器官器官效应效应器官器官传导传导

5、系统系统有序有序信息信息知识库知识库需求需求/约束约束实得实得信息信息8/29/20247信息信息-知识知识-智能转换：自然语言理解通用方法论智能转换：自然语言理解通用方法论智能行为智能行为信息信息-知识转换知识转换知识知识-智能转换智能转换信息知识转换信息知识转换知识库知识库信息（问题与约束）信息（问题与约束）结果（性能与评价）结果（性能与评价）归纳归纳归纳归纳演绎演绎目的目的8/29/20248中文信息处理研究的现状中文信息处理研究的现状 中文信息处理研究领域取得了许多重要进展和重中文信息处理研究领域取得了许多重要进展和重要成果；但基本理论、基础资源、基本工具、基本方要成果；但基本理论、基

6、础资源、基本工具、基本方法和性能水平法和性能水平离实际应用的要求还有相当差距离实际应用的要求还有相当差距。 中文信息理解的研究基本上突破了纯粹语法分析中文信息理解的研究基本上突破了纯粹语法分析的层次，正在走向的层次，正在走向语法与语义分析相结合语法与语义分析相结合的新阶段。的新阶段。 但是，还少有语用要素的考虑：但是，还少有语用要素的考虑：还没有真正到位还没有真正到位。 8/29/20249 统计方法（归纳）统计方法（归纳）基于大数定律，方法论上是基于大数定律，方法论上是“从众从众”，不要求真正达到理解。是不要求真正达到理解。是初级初级认知方法。认知方法。 缺点：缺点：假设难满足；结论平均性；

7、假设难满足；结论平均性；真理常在少数人手中真理常在少数人手中。 优点：优点：容易操作，尤其是有了计算和网络技术的支持。容易操作，尤其是有了计算和网络技术的支持。自然语言自然语言“机器认知机器认知”的两种基本方法的两种基本方法 两种方法性质两种方法性质互补互补，谁也不能单独包打天下。问题是如，谁也不能单独包打天下。问题是如何实现何实现 “统计与规则方法的有效结合：统计与规则方法的有效结合：大统计，小规则大统计，小规则”。 规则方法（演绎）规则方法（演绎）基于理解和规则推理，是处理新问题基于理解和规则推理，是处理新问题和复杂问题不可避免的和复杂问题不可避免的高级高级认知方法。认知方法。 缺点：缺点

8、：规则难建立；规则难完备；规则不灵活。规则难建立；规则难完备；规则不灵活。 优点：优点：可信（如果规则和前提均可信）可信（如果规则和前提均可信）8/29/202410自然语言理解（机器认知）的困难和意义自然语言理解（机器认知）的困难和意义 自然语言理解是自然语言理解是世界级难题世界级难题，至今没有得到满意，至今没有得到满意的解决。如果有所进展，将是具有的解决。如果有所进展，将是具有世界意义的贡献世界意义的贡献。 自然语言理解是人工智能的典型应用，它的困难充自然语言理解是人工智能的典型应用，它的困难充分表现在：一方面是分表现在：一方面是自然语言表达的多样性、灵活性、自然语言表达的多样性、灵活性、

9、复杂性、动态性复杂性、动态性，一方面是，一方面是机器机器“理解理解”能力的机械性、能力的机械性、被动性与局限性被动性与局限性。 即使是人即使是人（更不要说机器）对自然语言的理解也需（更不要说机器）对自然语言的理解也需要经过要经过长时间长时间的训练和学习，需要在的训练和学习，需要在大量大量“记忆记忆+模仿模仿”实践的基础上才能实践的基础上才能逐渐生长逐渐生长出出“自主理解自主理解”的能力。的能力。8/29/202411二，解决的方法二，解决的方法8/29/202412全信息理论与自然语言理解全信息理论与自然语言理解 语言是信息的载体；信息是语言的内核。理解自然语言是信息的载体；信息是语言的内核。

10、理解自然语言的语言的本质是理解它所载荷的信息本质是理解它所载荷的信息，因此要用信息论。，因此要用信息论。 但现有信息论不能解决问题。但现有信息论不能解决问题。 “全信息理论全信息理论”是北京邮电大学智能研究中心创建的是北京邮电大学智能研究中心创建的信息理论信息理论1, 2, 3，拥有自主知识产权。，拥有自主知识产权。1 钟义信，钟义信，全信息理论全信息理论，北京邮电大学学报，北京邮电大学学报，19842 钟义信，钟义信，信息科学原理信息科学原理，北京邮电大学出版社，北京邮电大学出版社， 1988第一版，第一版，1996 第二版，第二版，2002第三版第三版3 钟义信等，钟义信等，信息科学教程信

11、息科学教程，北京市研究生教育重点，北京市研究生教育重点 精品教材，北京邮电大学出版社，精品教材，北京邮电大学出版社，20048/29/202413Shannon信息论只关心信息论只关心“噪声中的信号波形复制噪声中的信号波形复制” ” 问题：问题： X = xn 信号信号状态状态（是（是0 0还是还是1 1？）？）P = pn 各种信号状态的各种信号状态的出现方式出现方式n (1,N)YDI(X;Y) = H(X) H(X|Y) H(X) = - pn log pnXn为什么为什么Shannon Information不能解决问题？不能解决问题？8/29/202414全信息与全信息与“认知能力要

12、素认知能力要素”符号符号客体客体主体主体语法信息语法信息 符号序列符号序列（形式结构）（形式结构）序列内容序列内容序列价值序列价值语义信息语义信息语用信息语用信息 在给定在给定语境语境（包括包括主体主体、客体客体、文本文本、环境环境和和常识常识）下，）下，语语言理解要包含言理解要包含该语境下的语法、语义、语用三要素该语境下的语法、语义、语用三要素。 只当语境足够深广，语法、语义、语用分析才有唯一解。只当语境足够深广，语法、语义、语用分析才有唯一解。人的人的认知能力认知能力包括：观察力，理解力，目的性。观察事物的包括：观察力，理解力，目的性。观察事物的外部外部形式形式，理解事物的内在，理解事物的

13、内在含义含义，判断与自身的，判断与自身的利害利害关系。关系。8/29/202415全信息自然语言理解的全信息自然语言理解的“认知机理认知机理” 幼儿识字教学过程：如，教学生认识幼儿识字教学过程：如，教学生认识“树树”这个字。这个字。 先教怎么写（符号的先教怎么写（符号的笔划结构笔划结构）；再告诉）；再告诉“树树”的真实的真实样子（事物的样子（事物的形态结构形态结构） ，接着告诉，接着告诉“树树”的基本特征及树的基本特征及树与草、与花的区别（与草、与花的区别（语义语义）；再告诉）；再告诉“树树”的用途（的用途（语用语用）。）。 明确了用途或害处明确了用途或害处（语用语用），），人们才会去关注它。

14、人们才会去关注它。 此后，见到此后，见到“树树”这个字或真的树（这个字或真的树（语法语法），就会在脑海），就会在脑海中联想到它的中联想到它的语义语义和和语用语用；才算；才算理解理解了这个字。了这个字。 这就是这就是由由“语法语法”调用调用“全信息词典全信息词典”的过程。的过程。机器可以机器可以模拟这种认知过程。模拟这种认知过程。8/29/202416An Example for “Understanding”SensingExperiencingThinkingFormValueContentLearning the Concept “Tree” The Mechanism of Unders

15、tanding Form Value Content8/29/202417全信息与语言理解全信息与语言理解的的层次层次 对于自然语言的理解，存在三个相依的层次：对于自然语言的理解，存在三个相依的层次： （1）了解它的）了解它的语法信息语法信息 （2）了解它的）了解它的语义信息语义信息 （3）了解它的）了解它的语用信息语用信息 语法、语义、语用语法、语义、语用“三位一体三位一体”的分析是自然语言的分析是自然语言理解方法的理解方法的基本要求（门槛）；基本要求（门槛）；“两位一体两位一体”还不够还不够。 从语法分析走向语义分析，是自然语言处理的重要从语法分析走向语义分析，是自然语言处理的重要进步；进

16、步；但对自然语言理解而言，但对自然语言理解而言，仍然没有到位！仍然没有到位！浅层理解浅层理解中层理解中层理解深层理解深层理解8/29/202418骨架捕获骨架捕获 自自然语言认知的基本技巧然语言认知的基本技巧 人类对自然语言的人类对自然语言的理解（认知）过程理解（认知）过程既有层次性，又有既有层次性，又有灵活性。重要的方法是灵活性。重要的方法是“快速捕获骨架快速捕获骨架”（剪枝技巧）。（剪枝技巧）。 （1）对）对浅显而熟悉浅显而熟悉的部分一扫而过（的部分一扫而过（其实就是剪枝其实就是剪枝），），只对只对重要而又困难的重要而又困难的部分才做必要的分析。部分才做必要的分析。 （2）“必要的分析必要

17、的分析”主要是主要是“骨架分析骨架分析”：篇章的骨架，段：篇章的骨架，段落的骨架，语句的骨架。落的骨架，语句的骨架。 （3）对于人来说，）对于人来说，“一扫而过一扫而过”也做了也做了“语法语法-语义语义-语用语用”分析，只是因为熟悉和容易，做的极快（分析，只是因为熟悉和容易，做的极快（由下意识处理由下意识处理），），以致自己都没有意识到。以致自己都没有意识到。8/29/202419全信息自然语言理解的基本模型全信息自然语言理解的基本模型预预处理处理后后处理处理语用语用分析分析语义语义分析分析语法语法分析分析全信息全信息-知识库知识库合法合法骨架？骨架？符合符合目的？目的？真实真实逻辑？逻辑？+

18、学习扩展学习扩展人工奠基人工奠基8/29/202420 “基本模型基本模型”的特色的特色1，目的性目的性 明确地面向明确地面向“理解理解”需求。需求。4，开放性：开放性： 模型能够适应各种模型能够适应各种“理解理解”应用；能够随着信息表示与处应用；能够随着信息表示与处 理方法的进步而不断改进自己的性能。理方法的进步而不断改进自己的性能。2，包容性包容性 包容了规则方法和统计方法两种规范。在包容了规则方法和统计方法两种规范。在规则模式规则模式下下， 序列是语句；在序列是语句；在统计模式统计模式下，序列是特征集合。下，序列是特征集合。 而且可以包容其它而且可以包容其它基于语言行为特征基于语言行为特

19、征的方法。的方法。3，灵活性灵活性 整体框架整体框架是语言学风格，包含语法分析、语义分析和语是语言学风格，包含语法分析、语义分析和语 用分析；实际分析深度可依问题需求而有所不同。用分析；实际分析深度可依问题需求而有所不同。 模块实现模块实现可以是规则的、统计的、规则统计交互补足的。可以是规则的、统计的、规则统计交互补足的。 8/29/202421关于灵活性的一个说明关于灵活性的一个说明统计分析统计分析OK?规则分析规则分析NY 根据实际问题求解的需要，规则方法与统计方法根据实际问题求解的需要，规则方法与统计方法两者可以灵活地互相调用和互相支持（嵌套）。两者可以灵活地互相调用和互相支持（嵌套）。

20、OK?8/29/202422Applications of CIM-NLUInternetMobile Service IR AbstractContent Analyzer ML- DialogIE8/29/202423三，研究的重点三，研究的重点8/29/202424基本特色基本特色1，以中文为起始对象，以中文为起始对象2，以，以“全信息自然语言理解全信息自然语言理解”为基本方法为基本方法3，以领域相关为研究基点，以领域相关为研究基点4，以超越，以超越Semantic Web为基本目标为基本目标8/29/202425An Example for “The Base”Recalling Th

21、e Concept “Tree” Form Content; Value The Structure of Information Base for RetrievalForm | Content; Value8/29/202426项项语法特征语法特征语义特征语义特征语用特征语用特征#1#m#1#n#1#p项（概念，词）项（概念，词）以语句为单位以语句为单位以骨架为对象以骨架为对象树的深度有限树的深度有限（一）全信息的表示：全信息（一）全信息的表示：全信息资源库资源库建设的框架建设的框架8/29/202427（三）应用：（三）应用：特定领域特定领域的的智能网智能网 （基于（基于理解理解/ /认

22、知认知的信息检索网）的信息检索网） CI-Web = CI-base NLU-SE（二）基于全信息理解的二）基于全信息理解的搜索引擎搜索引擎 核心技术参考核心技术参考基本模型基本模型：p.20 8/29/202428Domain Specific CI-WebSemantic Web = Ontology Semantic SECI Bases NLU-SECI-Web =World-Wide Web = Syntax Match-based SE+ Semantics+ Pragmatic+ Semantics+ Pragmatic8/29/202429请多批评，谢谢！请多批评，谢谢！8/29/202430