信息论课件chap2信源及其熵

《信息论课件chap2信源及其熵》由会员分享，可在线阅读，更多相关《信息论课件chap2信源及其熵（174页珍藏版）》请在金锄头文库上搜索。

1、1,第二章 信源及其熵,并不是我们注意到的每一件事都重要,也不是每一件重要的事我们都注意到了。 -爱因斯坦（1879-1955）,2,本章介绍,信源的统计特性和数学模型 各类信源的信息测度-熵及其性质,3,第一章知识回顾,通信系统模型：,4,2.1 信源的数学模型及分类,对信息论的学习可从信源开始 消息是信息的载荷者。信息是抽象的，消息是具体的。要研究信息，还得从研究消息入手。 描述信源消息的工具 由于信源发送什么消息预先是不可知的，我们借助于一个样本空间及其概率测度-概率空间来描述信源。,5,2.1.1 信源的数学模型,用概率空间描述信源 或 式中X为信源，p(x)为信源符号出现的概率。,6

2、,2.1.2 信源的分类,按照信源发出的消息在时间和幅度上的分布情况，将：,信源,离散信源,连续信源,7,离散信源,离散信源是指信源发出在时间和幅度上都是离散消息的信源。 按照离散信源发出的符号之间的关系，可细分为：,举例,j g a f g k h z,kugf uosd fawe uryn vapa iqpo dfna sdhg,cont ente d wit h little yet wish ing for more,city face with namehand from high that,9,（1）单个符号的离散无记忆信源,从讨论信源的特征入手，给出定量度量信息的方法。 以天文学

3、范畴的事件为例： 小行星撞击地球、月食、日食、流星雨、星系的产生与消亡等等，都是天文学内一个个离散的事件 如果将一个事件用一个符号来表示，则一个符号代表一个完整的消息 如果把都是天文学内的事件看作是天文学这个“信源”输出的符号，则这个信源可以看作是单符号离散信源。,10,（1）单个符号的离散无记忆信源,单符号离散信源的实例 掷骰子每次只能是1,2,3,4,5,6中的某一个； 天气预报可能是晴、阴、雨、雪、风、冰雹中的一种或其组合以及温度、污染等； 二进制通信中传输的只是1、0两个数字；等等。,11,（1）单个符号的离散无记忆信源, 这种符号或数字都可以看作某一集合中的事件，每个符号或数字（事件

4、）都是信源中的元素，它们的出现往往具有一定的概率。 因此，信源又可以看作是具有一定概率分布的某一符号集合。 特点：输出是单个符号（代码）的消息，符号集的取值A:a1,a2,aq是有限的或可数的，可用一维离散型随机变量X来描述。,12,（1）单个符号的离散无记忆信源,数学模型：设每个信源符号ai出现的(先验)概率 p(ai) (i=1,2,q) 满足：,概率空间能表征离散信源的统计特性，因此也称概率空间为信源空间。,13,举例,例：某信源发出0，1信号，p(0)=1/2,p(1)=1/2, 如果是发出单个符号的无记忆信源,14,（2）符号序列的离散无记忆信源,特点：信源输出的是多个消息符号，即输

5、出符号序列，就要用随机矢量 X=(X1,X2,XN) 来描述，也称随机序列。 进一步：若随机矢量X的各维概率分布都与时间起点无关 ，则为离散平稳信源； 再进一步：离散平稳信源的特例，信源发出的符号都相互统计独立，即各随机变量Xi (i=1,2,N)之间统计独立；,15,（2）符号序列的离散无记忆信源,性质： 独立P (X )= P (X1, X2, ,XN)= P1(X1) P2(X2) PN(XN) 平稳 P1 (Xi) = P2 (Xi)= = PN (Xi) ,16,（2）符号序列的离散无记忆信源,N维随机矢量的一个取值，i(ai1 ai2aiN),P(aik )是符号集A的一维概率分布

6、,设各随机变量Xi取值同样符号集A:a1,a2,aq，则,17,（2）符号序列的离散无记忆信源,例：某信源副发出0，1信号，p(0)=1/2,p(1)=1/2, 如果是发出单个符号的无记忆信源,18,（2）符号序列的离散无记忆信源,如果是发出符号长度为2的符号序列的无记忆信源。 样本空间中不再是单个变量，而是随机矢量：A=（0，0），（0，1），（1，0），（1，1） 信源模型如下:,19,（2）符号序列的离散无记忆信源,因为是无记忆符号信源，所以各个符号序列的计算,所以本信源模型如下：,20,若信源空间 描述的信源X的各输出Xi间统计独立、且取值同一符号集A，则X为离散无记忆信源，称该信源输

7、出的N维随机矢量X 为离散无记忆信源X的N次扩展信源,（2）符号序列的离散无记忆信源,21,若X 取值为符号集i (ai1ai2aiN), 其中(i1 , i2 ,iN =1,2 , ,q)，则离散无记忆信源的N次扩展信源的数学模型是X信源空间的N重空间：,（2）符号序列的离散无记忆信源,22,（3）有记忆信源,有记忆信源定义：信源不同时刻发出的符号之间是相互依赖； 需要在维随机变量的联合概率密度分布中，引入条件概率来说明它们之间的关系。 表述复杂度随长度增加而增加，依赖关系随长度降低； 如：中文、英文等自然语言,23,（4）m阶马尔可夫信源,不同时刻发出的符号间的依赖关系,记忆信源的记忆长度

8、为m+1时，称这种有记忆信源为m阶马尔可夫信源 若上述条件概率与时间起点 i 无关，信源输出的符号序列可看成为时齐马尔可夫链，则此信源称为时齐马尔可夫信源,24,(5)输出单符号的连续信源,特点：输出是单个符号（代码）的消息，输出消息的符号集A的取值是连续的，可用一维的连续型随机变量X 来描述。 例：语音信号、热噪声信号、遥控系统中有关电压、温度、压力等测得的连续数据等等。,25,(5)输出单符号的连续信源,数学模型：连续型的概率空间。即：,或,满足,或,26,更一般情况：随机波形信源,实际信源输出的消息常常是时间和取值都是连续的。这类信源称为随机波形信源。 随机波形信源在某一固定时间 t0

9、的可能取值是连续和随机的。对于这种信源输出的消息，可用随机过程来描述。 例：语音信号X(t)、热噪声信号n(t)、电视图像信号X(r(t),g(t),b(t)等时间连续函数。,27,2.1.2信源的分类,28,2.2 离散信源的信息熵其性质,讨论基本的离散信源(即输出为单个符号的消息，且这些消息间两两互不相容) 基本的离散信源可用一维随机变量X来描述信源的输出，信源的数学模型可抽象为:,问题：这样的信源能输出多少信息? 每个消息的出现携带多少信息量?,29,2.2.1自信息量（self-information),明天太阳将从东方升起。,明天武汉要下雨。,明天火星撞向地球。,30,2.2.1自信

10、息量,对信息量的度量 事物发生不确定性的度量 事物发生的概率,自信息量,31,自信息量 函数表达,1,0,32,自信息量 计算单位,2,bit,信息论中常用的对数底数是2，信息量的单位为比特（bit, binary unit）,e,nat,取自然对数为底数，信息量的单位为奈特（nat, nature unit）,hart,10,取10为底数，信息量的单位为哈特（ Hart, Hartley的缩写）,33,2.2.1 自信息量 续,对数及常用公式,34,自信息量 例1,例：某地二月份天气的概率分布统计如下： 这四种气候的信息量分别为：,可见： 不同天气情况有不同的自信息量； 自信息量具有随机变量

11、的性质,35,自信息量 例2,36,37,自信息量 例3,例： 设某班学生在一次考试中获优（A）、良 （B）、中（C）、及格（D）和不及格 （E）的人数相等。当教师通知某甲：“你 没有不及格”，甲获得了多少比特信息？为 确定自己的成绩，甲还需要多少信息？,38,自信息量 例3 续,解：根据题意，“没有不及格”或“pass”的概率为,因此当教师通知某甲“没有不及格”后，甲获得信息：,39,计算举例 续,在已知“pass”后， 成绩为“优”（A），“良”（B）， “中”（C）和“及格”（D） 的概率相同：,为确定自己的成绩，甲还需信息,40,2.2.2 信息熵（information entrop

12、y）,思考1:自信息量能否反映整个信源 输出信息的情况?,自信息量I(xi)是指某一信源发出的某一消息符号xi所含有的信息量，自信息量I(xi)是随机变量，不能用它来作为整个信源输出信息的信息测度。,41,2.2.2 信息熵,定义自信息的数学期望为平均自信息量Hr(X)，称为信息熵：,42,由于这个表达式和统计物理学中热熵的表达式相似，且在概念上也有相似之处，因此借用“熵”这个词，把H(X)称为信息“熵”； 信息熵的单位由自信息量的单位决定，即取决于对数的底。,H(X)的单位：r 进制单位符号 （r1）,2.2.2 信息熵,43,信息熵 物理含义,2）表示信源输出后，每个消息所提供的平均信息量

13、；,1）表示信源输出前，信源的平均不确定性；,3）表征变量X的随机性。,4）从平均意义上表征信源的总体特征。,44,熵的计算 例1：,有一布袋内放l00个球，其中80个球是红色的， 20个球是白色的。 随便摸出一个球，猜测是什么颜色， 那么其概率空间为：,45,熵的计算例1： 续,如果被告知摸出的是红球，那么获得的信息量是： I (a1) log p(a1) log0.8= 0.32 （比特） 如被告知摸出来的是白球，所获得的信息量应为： I (a2) log p(a2) log0.2 = 2.32 （比特） 平均摸取一次所能获得的信息量为 ： H(X)= p(a1) I (a1) + p(a

14、2) I (a2) =0.72（比特/符号）,46,熵是从整个集合的统计特性来考虑的，它从平均意义上来表征信源的总体特征。 例如，有两信源X、Y，其概率空间分别,计算其熵，得：H(X)=0.08（ bit /符号） H(Y)=1（bit / 符号） H(Y)H(X)，因此信源Y比信源X的平均不确定性要大。,熵的计算例2：,47,例 设甲地的天气预报为：晴(占48)、阴(占28)、大雨(占18)、小雨(占18)。又设乙地的天气预报为：晴 (占78)，小雨(占18)。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为1而其余为0。另一种是晴、阴、小雨、大雨出现的概

15、率都相等为14。试求这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。,熵的计算例3：,解：甲地天气预报 构成的信源空间为:,则其提供的平均信息量即信源的信息熵:,乙地天气预报的信源空间为:,结论：甲地天气预报提供的平均信息量大于乙地，因为乙地比甲地的平均不确定性小。,49,甲地极端情况,极端情况1：晴天概率1,结论：等概率分布时信源的不确定性最大，所以信息熵（平均信息量）最大。,极端情况2：各种天气等概率分布,50,乙地极端情况,极端情况1：晴天概率1,结论：在极端情况2下，甲地比乙地提供更多的信息量。 因为，甲地可能出现的消息数比乙地可能出现的消息数多。,极端情况2：各种天气等概率分布,51,信息熵是信源概率空间的一种特殊矩函数。这个矩函数的大小，与信源的符号数及其概率分布有关。 我们用概率矢量P来表示概率分布P(a)：,2.2.3信息熵的基本性质,这样，信息熵H(X)是概率矢量P或它的分量p1，p2，pq的q-1元函数(因各分量满足上述条件限制，所以独立变量只有q-1元)。,52,2.2.3信息熵的基本性质,一般 H(X)可写成：,53,熵函数,H(P)是概率矢量P的函数，称为熵函数。我们用下述表示方法： 用H(x) 表示以离散随机变量x描述的信源的信息熵； 用H(P) 或 H(p1, p2 , , pq )表示概率矢量为 P = (p