信息论1第1章绪 论培训课件

《信息论1第1章绪 论培训课件》由会员分享，可在线阅读，更多相关《信息论1第1章绪 论培训课件（49页珍藏版）》请在金锄头文库上搜索。

1、1,绪 论,第一章,2,内容,1.2 信息论研究的对象、目的和内容,1.4 目前信息论的主要研究成果,1.1 信息的基本概念,1.3 信息论的形成和发展,结束,3,.信息的基本概念,什么是信息?,信息论和信息技术研究什么样的问题？,信息论,信息、消息和信号,2,4,概率空间,香农定义的信息,6,5,信息是指各个事物运动的状态及状态变化的方式。 人们从来自对周围世界的观察得到的数据中获得信息。 信息是抽象的意识或知识，它是看不见、摸不到的。 人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。,6,7,信息论和信息技术研究什么样的问题？,信息不是静止的，它会产生也会消亡，人们需

2、要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学。 信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性和存在性问题，为具体实现提供理论基础。 信息技术主要研究如何实现、怎样实现的问题。,8,信息论,信息论 一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理系统中一般规律的学科。 信息论是在信息可以量度的基础上，研究有效地和可靠地传递信息的科学，它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。,9,信息、消息和信号,信息 是事物运动状态或存在方式的不确定性的描述。

3、 消息 是指包含有信息的语言、文字和图像等 信号 是消息的物理体现。 在通信系统中，实际传输的是信号，但本质内容的是信息。信息包含在信号之中，信号是信息的载体。通信的结果是消除或部分消除不确定性，从而获得信息。,香农信息的定义,10,信息的特征,信息的基本概念在于它的不确定性，任何已确定的事物都不含信息。 接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容； 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识； 信息可以产生，也可以消失，同时信息可以被携带、贮存及处理； 信息是可以量度的，信息量有多少的差别。,直观地认识信息和信息量,第一个重要概念：信道上传送的是

4、随机变量的值。 注意： （1）这就是说，我们在收到消息之前，并不知道消息的内容。否则消息是没有必要发送的。 （2）消息随机变量有一个概率分布。 （3）消息随机变量的一个可能取值就称为一个事件。,11,第二个重要概念： 事件发生的概率越小，此事件含有的信息量就越大。（不太可能发生的事件竟然发生了，令人震惊） 例 事件“中国足球队3：0力克巴西足球队”含有的信息量大。（小概率事件发生了，事件信息量大） 例 事件“中国足球队0：3负于巴西足球队”含有的信息量小。（大概率事件发生了，事件信息量小）,12,13,例：气象预报 甲 乙,“甲地晴”比“乙地晴”的不确定性来的小 某一事物状态出现的概率越小，其

5、不确定性越大。某一事物状态出现的概率接近于1，即预料中肯定会出现的事件，那它的不确定性就接近于零。,第三个重要概念： 消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。 例 消息随机变量X=“中国足球队与巴西足球队比赛的结果”，则消息随机变量X含有的信息量小。 （随机性小，可预见性大，因此该消息随机变量含有的信息量小。） 例 消息随机变量X=“意大利足球队与巴西足球队比赛的结果”，则消息随机变量X含有的信息量大。 （随机性大，可预见性小，因此该消息随机变量含有的信息量大。）,14,第四个重要概念： 两个消息随机变量的相互依赖性越大，它们的互信息量就越大（这里指的是绝对值大）。 例 X

6、=西安明日平均气温, Y=咸阳明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则： X与Y互信息量大， X与Z互信息量小得多， X与W互信息量几乎为0。,15,16,概率空间,概率空间 样本空间： 某事物各种可能出现的不同状态。 先验概率p(xi)： 选择符号xi作为消息的概率。,样本空间 概率测度,17,对xi 的不确定性可表示为先验概率p(xi)的倒数的某一函数。 自信息 互信息 后验概率p(xi | yj) 接收端收到消息yj后而发送端发的是xi 的概率,18,香农定义的信息,香农定义的信息概念在现有的各种理解中，是比较深刻的，它有许多优点。 它是一个科学的定义，有明确的数学模

7、型和定量计算。 它与日常用语中的信息的含意是一致的。 定文排除了对信息一词某些主观上的含意 香农定义的信息也有其局限性，存在一些缺陷 定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。 没有考虑收信者的主观特性和主观意义，也撇开了信息的具体含意、具体用途、重要程度和引起后果等因素。,19,信息论分类,1.2 信息论研究的对象、目的和内容,数字通信系统模型,信息论研究的内容,20,信息论分类,狭义信息论： 主要研究信息的测度、信道容量以及信源和信道编码理论等问题。 一般信息论： 主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调

8、制理论、信息处理理论以及保密理论等。 广义信息论： 不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题,21,香农信息论,压缩理论,有失真信源编码,无失真信源编码,率失真理论,压缩编码,等长编码 定理,变长编码 定理,最优码构成 Huffman码 Fano码,传输理论,有噪声,信道编码理论,码构成,纠错码,代数编码,卷积码,网络信道,网络信息理论,网络最佳码,保密理论,保密系统的 信息理论,保密码,香农信息论的科学体系,22,数字通信系统模型,加密密钥,解密密钥,23,信源：发送消息的

9、源 离散信源 模拟信源 信源是信息论的主要研究对象之一，但在信息论中并不探讨信源的内结构和物理机理，而把注意力放在信源的输出上，重点讨论信源输出的描述方法及性质。 信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。 信道：传输信息的物理媒介,24,信源编码器的作用 是把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组,这种代码组就是基带信号； 同时通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。 信源编码器分为两类 一类是无失真信源编码,适用于离散信源或数字信号； 另一类是限失真信源编码,用于连续信源或模拟信号,如语音、图像等信号的数字处理,25,信源

10、编码器的主要指标 是它的编码效率，即理论上能达到的码率与实际达到的码率之比。 一般来说，效率越高，编译码器的代价也将越大。 信源译码器的作用 是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程。,26,信道编码 主要作用是提高信息传送的可靠性。 信道编码器的作用 在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力 信道编码的主要方法 增大码率或频带,即增大所需的信道容量。这恰与信源编码相反。 信道译码器的作用 具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。,27,密码学研究的内容 如

11、何隐蔽消息中的信息内容,使它在传输过程中不被窃听.提高通信系统的安全性； 将明文变换成密文,通常不需要增大信道容量,例如在二进码信息流上叠加一密钥流； 但也有些密码要求占用较大的信道容量。,要保密的！,28,信息论研究的内容,1、通信的统计理论研究 主要研究利用统计数学工具分析信息和信息传输的统计规律。 其具体内容有： 信息的测度； 信息速率与熵； 信道传输能力信道容量。,29,信息论研究的内容,2、信源的统计特性 主要包括 文字(如汉字)、字母(如英文)的统计特性； 语音的参数分析和统计特件； 图片及活动图像(电视)的统计特性； 其他信源的统计特性。,30,信息论研究的内容,3、编码理论与技

12、术的研究 有效性编码： 提高信息传输的有效率，主要针对信源的统计特性进行编码，也称信源编码。 抗干扰编码： 提高信息传输的可靠性，主要针对信道统的计特性进行编码；也称信道编码。,31,信息论研究的内容,4、提高信息传输效率的研究 功率的节约； 频带的压缩； 传输时间的缩短，即快速传输问题。 5、抗干扰理论与技术的研究 各种调制制式的抗干扰性； 理想接收机的实现 6、噪声中信号检测理论与技术的研究 信号检测的最佳准则； 信号最佳检测的实现。,32,1.3 信息论的形成和发展,Development,33,Claude Shannon (1916-2001),“通信的基本问题就是在一点重新准确地或

13、近似地再现另一点所选择的消息”。这是数学家香农(Claude E.Shanon)在他的惊世之著通信的数学理论中的一句铭言。 香农应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。 香农因此成为信息论的奠基人,34,香农:1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。后来,他就职于贝尔电话研究所,在这个世界上最大的通信公司(美国电话电报公司)的研究基地里,他受着前辈的工作的启示,其中最具代表性的是贝尔系统技术杂志上所披露的奈奎斯特的影响电报速率的一些因素和哈特莱的信息的传输。正是他们最早研究了通信系统

14、的信息传输能力,第一次提出了信息量的概念,并试图用教学公式予以描述。香农则创造性地继承了他们的事业,在信息论的领域中钻研了8年之久,终于在1948年也在贝尔系统技术杂志上发表了244页的长篇论著通信的数学理论。次年,他又在同一杂志上发表了另一篇名著噪声下的通信。,35,在这两篇文章中，香农解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。 两篇文章成了现在信息论的奠基著作。 香农的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研究规模

15、像滚雪球一样越来越大。不仅在电子学的其他领域,如计算机、自动控制等方面大显身手,而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学等学科。它已远远地突破了香农本人所研究和意料的范畴，即从香农的所谓“狭义信息论”发展到了“广义信息论”。,36,控制论创始人维纳同期出版“Control Theory”和“Extrapolation, Interpolation and Smoothing of Stationary Time Series” 两本名著，建立维纳滤波理论和信号预测理论，也提出了信息量的统计数学公式，因此也是信息论创始人之一。 法国物理学家L.布里渊19

16、56年发表科学与信息论专著，从热力学和生命等许多方面探讨信息论，把热力学熵与信息熵直接联系起来。 英国神经生理学家W.B.Ashby1964年发表“系统与信息”等文章，把信息论推广应用于生物学和神经生理学领域。这些科学家们的研究，以及后来从经济、管理和社会的各个部门对信息论的研究，使信息论远远地超越了通信的范围。,37,信息科学是由信息论、控制论、计算机科学、仿生学、系统工程与人工智能等学科互相渗透而形成的。 它是研究信息的获取、存储、传输、加工处理和利用等内容的科学。 信息和控制是信息科学的基础和核心。 20世纪70年代以来，电视、数据通信、遥感和生物医学工程的发展，向信息科学提出大量的研究课题，如信息的压缩、增强、恢复等图像处理和传输技术，信息特征的抽取、分类和识别的模式、识别理论和方法，出现了实用的图像处理和模式识别系统。,38,信息科学的支撑体系主要是电子学、光子学和材料学等，目前研究领域包括：光通信技术