《信息论的基本理论资料讲解》由会员分享，可在线阅读，更多相关《信息论的基本理论资料讲解（77页珍藏版）》请在金锄头文库上搜索。
1、单击此处编辑母版标题样式单击此处编辑母版副标题样式* *1 13信息论的基本理论3信息论的基本理论l3.1信息论概述l3.2信源及压缩编码理论l3.3信道及纠错编码理论l3.4保密通信理论与密码学2 23.1.1信息的基本概念l1引言图 自行火箭炮消息：是以语言、文字、图形、图象等能够为人们的感觉器官所直接感知的形式，对客观事物运动状态及人们主观思维活动的一种描述。消息是信息的载体 ，信息则是消息的内核 2信息与消息3 3 维纳(N.Wiener)：信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行相互交换的内容”、“接收和利用信息的过程，是我们适应外部世界偶然性变化
2、的过程，也是我们在这个环境中有效生活的过程”、“要有效地生活，就必须有足够的信息。 朗格(G. Longo)提出：信息包含于客体的差别之间而不是客体本身，实际的客体并不是十分重要的，重要的是客体之间的差别”，“在通信中，仅仅差别最重要。 香农(CEShannon) ：信息是事物运动状态或存在方式的不确定性的描述。 钟义信：信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识。5 5l4信息的本质信息是物质的一种普遍属性，是一种能够表征物质其它属性的属性。 l5信息的特点 信息是无形的信息是无形的 信息是可共享的信息是可共享的 可可信息是无限的信息是无限的 信息是可度量的信
3、息是可度量的 信息是可以处理的信息是可以处理的 信息是有价值的信息是有价值的6 6l与信息有关的其它概念 信号 是消息的具体物理形式，是能够按照不同消息的要求，随时间变化的物理量的有序集合。 情报 是一种只希望被授权者接收和利用而不希望被非授权者获取的特殊类型的信息，与广告恰恰相反。 知识 知识是人们通过对自然、社会及人类思维现象的观察和理解，经过吸取、整理、概括、总结而形成的，有一定体系结构的信息。 数据 是消息的具体表现形式，有广义和狭义之分。数学上的数据是一种狭义的数据的范畴，而数据库中的数据则属于广义数据的范畴。7 73.1.2信息的定量测度l1.引言 因为信息必须以特定的消息为载体，
4、所以我们研究信息的定量描述，实质上就是要搞清楚特定消息中所含有的信息量。l2.实例 例1甲、乙两个布袋，各待内装有手感相同但颜色不同的球100个，甲袋内有红球90个、白球10个，乙袋内装有红、白球各50个。例2天气预报例3确定某同学在教室中的位置8 8l3信息的定量描述定义：设随机事件ai作为消息产生的概率为p(ai)，那么其含有信息量的定义式为 I(ai)=-logrP(ai)l4信息量的单位与转换信息量的单位与上述定义式中所用对数的底有关，如果我们取上述定义式中对数的底为r,r为正整数，则信息量的单位为r进制度单位。 r=2时，信息量的单位为比特(bit) r=e时，信息量的单位为奈特(N
5、at) r=10时，信息量的单位为哈特(Hart)9 9 例一条电线上串联了8个灯泡 由对数的换底公式，我们可以得到信息量不同计量单位之间的转换关系，其中： 1奈特=log2e比特=1.443比特； 1哈特=log210比特=3.322比特图 八个灯泡的串联1010l1物质能量信息3.1.3信息的意义1111l2信息控制系统信息传递信息处理与再生信息传递信息施效外部世界信息获取1212l3信息生命遗传生命与负熵信息在生命遗传中的作用1313l4信息思维认知 思维的本质在于信息的处理 产生策略信息的过程就是认知的过程信息获取信息处理信息再生外部世界外部信息主观信息对外部的反作用内部信息主观信息对
6、内部的反作用1414l5信息组织社会管理者管理对象对象信息管理信息环境信息目标信息 组织与序第二类永动机与麦克斯韦尔妖15153.2信源及压缩编码理论l3.2.1信源的数学模型及分类l3.2.2信源产生信息能力的描述l3.2.3无失真信源编码理论l3.2.4限失真信源编码理论16163.2信源及压缩编码理论引言（1） 由通信系统模型可以看出，通信系统中的首要环节是信源，信源是信息的来源。在通信系统中，信源的基本功能就是产生信息，所以信源研究的根本问题，就是其产生信息的能力问题。 由于信息不具有实体性，所以信源必须通过特定的消息来装载信息，也就是说，信源直接产生的是含有信息的消息，而非信息本身，
7、所以我们必须通过消息来研究信源产生信息的能力。17173.2信源及压缩编码理论引言（2） 信源所产生的消息，必须通过信道传输，才能为信宿所接收。一方面，信源所产生的消息不一定能够适应于信道的要求；另一方面，为了能够以尽量短的时间，尽量小的代价来实现信息传输，就必须对信源输出的消息进行适当的变换，这就是信源编码问题，包括无失真信源编码和限失真信源编码，信源编码问题，实质上就是在符合一定条件的前提下，如何用尽量少的信道符号(码符号)来表示信源的输出消息，是否存在一种性能极限。 1818l1信源的数学模型l2信源的分类单符号信源及多符号信源 用特定符号集中的单个符号来区分不同消息的信源，就是单符号信
8、源； 用特定符号集中的二个或二个以上符号的不同组合来区分不同消息的信源，就是多符号信源。离散信源、连续信源及波形信源 如果信源能够产生的消息数量是有限的或者是可数的，不同的消息可以用离散型随机变量来表示，则相应的信源就是离散信源。3.2.13.2.1信源的数学模型及分类1919 如果信源能够产生的消息数量是无限的，不同消息所对应的状态，必须用连续型随机变量来表示，则相应的信源就是连续信源。 如果信源以一个连续时段内的连续输出来表示不同消息，且每个时刻信源输出的信号幅度，又都是连续型随机变量，则这样的信源，我们称之为波形信源。单符号离散信源及其熵定义 我们把I(ai)在整个信源集X上的数学期望，
9、定义为信源X的平均自信息量，即称为相应信源的信息熵，简称熵。3.2.23.2.2信源产生信息能力的描述2020信源编码（1）所谓编码，就是对信源输出或信道中传输的符号或符号序列，按照一定的数学规则进行的变换，包括信源编码和信道编码两种形式。为了突出问题的重点及分析过程的方便，我们在研究信源编码问题时，把通信系统模型中信道编码及译码都看成信道的一部分；而在研究信道编码问题时，把通信系统模型中信源编码及译码分别看成是信源及信宿的一部分。 3.2.3无失真信源编码理论2121信源编码（2）何谓编码？编码有何用途？举例：用数字09对学生进行编码，得到学号。具体人（姓名） （09） 0103130201
10、输入U信源编码输出X码符号集A提高传输效率3.2.3无失真信源编码理论2222无失真信源编码（1） 通信系统的最基本功能就是把信源产生的携带着信息的消息，以某种信号的形式，通过信道传送给信宿，如何才能在确保所传送信息不失真，或者在允许一定程度失真的条件下，进行信息的高速传输，是通信系统的基本性能要求。3.2.3无失真信源编码理论2323无失真信源编码（2） 要实现通信过程的高速性和正确性，就要解决两个方面的问题，其一：在不失真或者允许一定程度失真的情况下，如何用尽可能少的信道符号来传送信源所产生的消息，以尽量提高信道进行信息传输的效率；第二：在信道受干扰的情况下，如何增强信号的抗干扰能力，保证
11、信息传输过程的正确性。 3.2.3无失真信源编码理论2424无失真信源编码（3）要求： 无失真，即要求编成的码字X能无失真地复制消息U； 有效，尽可能少地传送信源中最必要的信息，即传送的码字要少于信源给出的消息。（一般以符号数衡量）3.2.3无失真信源编码理论2525无失真信源编码（4） 等长编码等长码长码 若一组码中的所有码字的码长都相等，即li=l(i=1,2,l)，则称之为等长码。 变长编码变长码变长码 若一组码中各个码字的码长不相等，即任一码字由不同长度li的码符号序列组成，则称之为变长码。 基本思想：一般的各消息(符号)的概率是不相等的，若对应概率大的出现机会多的采用较短的码字；而对
12、应相率小的出现机会少的采用较长的码字。这样，从整个信源来看，编成的信源编码的平均码长最短，它也实现了与信源统计特性相匹配。3.2.3无失真信源编码理论26263.2.3无失真信源编码理论无失真信源编码（5）信源编码的常用术语非奇异码与奇异码 若一组码中所有码字都不相同，即所有信源符号都映射到不同的码符号序列，则称其为非奇异码，不符合上述条件的编码，称为奇异码。唯一可译码 若码的任意一串有限长的码符号序列只能被唯一地译成所对应的信源符号序列，则称此码为唯一可译码或单义可译码。否则，就称为非唯一可译码或非单义可译码。27273.2.3无失真信源编码理论无失真信源编码（6）无失真信源编码定理告诉我们
13、：对信源输出进行无失真编码时，所能达到的最低编码信息率，就是信源的熵H。一旦实际编码信息比率低于信源的熵H，则一定会产生失真。无失真信源编码定理指出：要得到无失真的信源编码，变换每个信源符号平均所需的最少r元码个数，就是信源的熵。2828例：给定离散信源如下：如果采用等长编码，需要3位二进制数，其平均码长为 3 。如果采用变长编码（哈夫曼编码、算术编码、费诺编码等）哈夫曼编码如下图所示。平均码长：L=(0.2+0.19)*2+(0.18+0.17+0.15)*3+(0.10+0.01)*4=2.7232929限失真信源编码（1） 在很多实际信源中，特别在模拟的连续信源中，无失真要求是完全没有必
14、要的，而且也是达不到的。3.2.43.2.4限失真信源编码理论限失真信源编码理论 在允许一定程度失真的条件下，对信源输出进行编码转换，能够把信源所产生的消息压缩到什么程度呢？也就是说，在允许一定程度失真的条件下，能够实现的编码信息率能够低到什么程度呢？这就是限失真信源编码需要讨论的问题。3030l失真度、平均失真度及保真度准则限失真信源编码（2）3131我们把平均失真度不大于我们所允许失真的准则，称为保真度准则。限失真信源编码（3）3232率失真函数的性质：Dmin在满足一定的条件下可以等于0，R(Dmin)不大于H(U);R(Dmax)非负，使R(Dmax)=0的最小的D就是 Dmax;R(
15、D)是允许失真度的型凸函数R(D)函数是连续函数R(D)函数是严格递减函数限失真信源编码（4）3333限失真信源编码（5）34343.3信道及纠错编码理论l3.3.1信道的分类及数学模型l3.3.2信道传输信息能力的描述l3.3.3有噪信道编码理论35351.信道分类 根据用户的多少，信道可以分为两端信道和多端信道；根据输出是否与输入端存在相互关联，信道可以分为无反馈信道和有反馈信道；根据信道参数与时间的关系，信道可以分为固定参数信道和时变参数信道；根据输入、输出信号的特点，信道可以分为离散信道、连续信道、半离散或半连续信道及波形信道等。 无反馈、固定参数的单用户离散信道，是信道中最基本、最简
16、单，同时也是最重要的一类，因为其它类型的信道，都必须且可以以它为基础，进行深入的分析和研究。 3.3.13.3.1信道的分类及数学模型信道的分类及数学模型36363.3.13.3.1信道的分类及数学模型信道的分类及数学模型2单符号离散信道的数学模型37373.3.23.3.2信道传输信息能力的描述信道传输信息能力的描述l1互信息及平均互信息3838互信息的性质互易性，即I(ai,bj)=I(bj,ai)；当ai、bj两事件统计独立时，它们之间的互信息量为0；互信息量不大于自信息量，即I(ai,bj)=I(ai)；I(ai,bj)=0极值性: I(X;Y)=H(X); I(X;Y)=H(Y)对称性: I(X;Y)=I(Y;X)凸性: 定理：平均互信息量I(X;Y)是输入信源X概率分布P(x)的型凸函数。 定理：平均互信息量I(X;Y)是信道传递概率P(y|x)的型凸函数。4141 在信道固定时，I(X;Y)随信源概率分布P(x)变化的极大值，称之为信道容量，记为C，即： C=maxI(X;Y) P(x)相应的输入概率分布则称为信道的最佳输入分布。l4平均互信息的性质l5几种极端情况下的信
