《信息理论基础第一章课件》由会员分享，可在线阅读，更多相关《信息理论基础第一章课件（23页珍藏版）》请在金锄头文库上搜索。
1、信息理论基础,主讲教师：常旭青,中北大学通信工程系 电话：3559469 Email: ,2010年3月-5月,先修课程：概率论与数理统计、线性代数 课程在培养方案中地位、作用： 信息理论基础是信息与通信工程学科的学科基础教育课程，是通信工程和信息对抗专业的高年级学生必修课。本课程采用概率论数学方法研究信息的测度、信道容量以及信源与信道编码等理论问题；目的是使学生了解香农信息论的基本内容，掌握其中的基本公式和和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域技术奠定良好的理论基础。,课程简介,本课程共计48学时，周进度为6学时，授课时段为18周
2、。考试形式为闭卷考试。讲课:（概念、方法）自学:（数学推导、定理证明）考试：（基本概念，基本计算） 采取多媒体直观授课与板书相结合的形式。,课程安排,教学形式,教材及参考书,教材：周荫清，信息理论基础，北京航空航天大学出版社,参考书： 1. 傅祖芸，信息论基础理论与应用，电子工业出版社 2. 方军、俞槐栓，信息论与编码，电子工业出版社 3. 吴伯修、祝宗泰、钱霖君，信息论与编码，东南大学出 版社 4. 姜丹，信息论与编码，中国科学技术大学出版社,第1章 绪论,1.1 信息,1.2 通信系统模型,1.3 信息论的形成和发展,首先了解如下两个问题： 1信息的概念是什么？ 2信息理论和信息技术分别研
3、究什么样的问题？,1.1 信息,1信息的概念 信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。,2信息论和信息技术分别研究的问题 信息不是静止的，会产生会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性和存在性问题，为具体实现提供理论基础。与之对应的是信息技术，主要研究如何实现、怎样实现的问题。,3.信息
4、、消息和信号的关系 信息是指各个事物运动的状态及状态变化的方式。 消息是指包含有信息的语言、文字和图像等，例如我们每天从广播节目、报纸和电视节目中获得各种新闻及其他消息。消息是具体的，它载荷信息，但它不是物理性的。 信号是消息的物理体现，为了在信道上传输消 息，就必须把消息加载（调制）到具有某种物理特征的信号上去。信号是信息的载荷子或载体，是物理性的。如电信号、光信号等。,按照信息论或控制论的观点，在通信和控制系统中传送的本质内容是信息，系统中实际传输的则是测量的信号，信息包含在信号之中，信号是信息的载体。信号到了接收端（信息论里称为信宿）经过处理变成文字、语声或图像，人们再从中得到有用的信息
5、。,4.信息提取过程及信息提取方法 在接收端将含有噪声的信号经过各种处理和变 换，从而取得有用信息的过程就是信息提取，提取 有用信息的方法主要有检测和估计两类。,5.数据 载有信息的可观测、可传输、可存储及可处理的信号。,6.信息的基本特征 信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。其特征有： 无形的。看不见，摸不到，不具有实体性； 可共享。信息的共享是无限的，但存在竞争，引起加密等技术的发展； 无限的。运动是永恒、无限的，而且信息在时空上也是可扩展的； 可度量。满足三方向：结构的、统计的和语义的。,7.熵的概念 热力体系中不能用于作功的热能可以用热能的变化量除以温度所得的
6、商来表示，这个商叫做熵。 科学技术上泛指某些物质系统状态的一种量度或者某些物质系统状态可能出现的程度。,1.2 通信系统的模型,一、通信系统的物理模型,信源,信源编码,u,加密密钥,信道编码,信道,干 扰 源,窃 听 者,信道解码,解密,解密密钥,信宿,信源解码,加密,x,y,z,Z,y,x,v,k,k,图1-2-1 通信系统的物理模型,二、模型中各个部分的作用及需要研究的核心问题,信源 信源是向通信系统提供消息（u）的人和机器。 信源输出的是以符号形式出现的具体消息，它载荷信息。,信源输出的消息可归纳为两类 离散消息，例如由字母、文字、数字等符号组成的符号序列或者单个符号； 连续消息，例如话
7、音、图像、在时间上连续变化的电参数等。,信源的核心问题 它包含的信息到底有多少，怎样将信息定量地表示出 来，即如何确定信息量。,信宿 信宿是接收消息（V）的人和机器。,信宿的核心问题 信宿需要研究的问题是能收到或提取多少信息。,信道 信道是传递消息的通道，又是传送物理信号的设施。 信道的问题主要是它能够传送多少信息的问题，即信道容量的大小。,干扰源 是整个通信系统中各个干扰的集中反映，用以表示消息在信道中传输时遭受干扰的情况。 对于任何通信系统而言，干扰的性质、大小是影响系统性能的重要因素。,密钥源 是产生密钥k的源 信源编码器输出信号x经过k的加密运算后，就把明文 x变换为密文y。,三、通信
8、系统的性能指标及相应的编码问题,通信系统的性能指标主要是有效性、可靠性、安全性和经济性。通信系统优化就是使这些指标达到最佳。,根据信息论的各种编码定理和上述通信系统的指标，编码问题可分解为三类：信源编码、信道编码和密码。,信源编译码器 信源编码器的作用 是把信源发出的消息变换成由二进制码元（或多进制码元）组成的代码组，这种代码组就是基带信号； 同时通过信源编码可以压缩信源的冗余度（即多余度）以提高通信系统传输消息的效率。,信源编码器分为两类 一类是无失真信源编码，适用于离散信源或数字信号； 另一类是限失真信源编码，用于连续信源或模拟信号，如语音、图像等信号的数字处理。,信源编码器的主要指标 是
9、它的编码效率，即理论上能达到的码率与实际达到的码率之比。一般来说，效率越高，编译码器的代价也将越大。,信源译码器的作用 是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程。,信道编译码器 信道编码器的作用 在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有检错或纠错的能力；,信道译码器的作用 具有检错或纠错的功能，它能将落在其检错或纠错范围内的错传码元检出或纠正，以提高传输消息的可靠性。,信道编码的主要方法 增大码率或频带，即增大所需的信道容量。这恰与信源编码相反。,密码学研究的内容 如何隐蔽消息中的信息内容，使它在传输过程中不被窃听，提高通信系统
10、的安全性； 将明文变换成密文，通常不需要增大信道容量，例如在二进码信息流上叠加一密钥流；但也有些密码要求占用较大的信道容量。,问题：能否将三种码（信源编码、信道编码和密码） 合成一种码进行编译？ 提高有效性必须去掉信源符号中的冗余部分，此时信道误码会使接收端不能恢复原来的信息，也就是必须相应提高传送的可靠性，不然会使通信质量下降； 反之，为了可靠而采用信道编码，往往需扩大码率，也就降低了有效性。安全性也有类似情况； 编成密码，有时需扩展码位，这样就降低有效性；有时也会因失真而使授权用户无法获得信息，必须重发而降低有效性，或丢失信息而降低可靠性。,1.3 信息论的形成和发展,20世纪20年代奈奎
11、斯特（Nyquist，H）和哈特莱 （Hartley，LVR）提出了信息的定义,1924年奈奎斯特解释了信号带宽和信息速率之间的关系,1928哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法,1936年阿姆斯特朗（Armstrong）提出了增大带宽可以使抗干扰能力加强,19411944年香农对通信和密码进行深人研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。香农因此成为信息论的奠基人。,50年代信息论在学术界引起了巨大的反响。
12、,60年代信道编码技术有较大进展，使它成为信息论的又一重要分支；信源编码的研究落后于信道编码。香农 1959年的文章(Coding theorems for a discrete source with a fidelity criterion)系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础。,到70年代，有关信息论的研究，从点与点间的单用户通信推广到多用户系统的研究。1972年盖弗（Caer）发表了有关广播信道的研究，以后陆续有关于多接入信道和广播信道模型的研究，但由于这些问题比较难，到目前为止，多用户信息论研究得不多，还有许多尚待解决的课题。,概念,狭义
13、信息论和广义信息论 信息论是在信息可以量度的基础上，研究有效地和可靠地传递信息的科学，它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。通常把上述范围的信息论称为狭义信息论，又因为它的创始人是香农，故又称为香农信息论。 广义信息论包含通信的全部统计问题的研究，除了香农信息论外，还包括信号设计、噪声理论、信号的检测与估值等。,本书讲述的信息理论的基本内容是与通信科学密切相关的狭义信息论： 1、什么是信息？如何度量信息？ 2、在信息传输中，基本的极限条件是什么？ 3、信息的压缩和恢复的极限条件是什么？ 4、从环境中抽取信息的极限条件是什么？ 5、设计什么样的设备才能达到这些极限？ 6、实际上接近极限的设备是否存在？,
