《信息论编码ppt》由会员分享，可在线阅读，更多相关《信息论编码ppt（107页珍藏版）》请在金锄头文库上搜索。
1、第二章 信源及其熵,本章介绍: 信源的统计特性和数学模型 各类信源的信息测度-熵及其性质 引入信息理论的一些基本概念和重要结论,第一章的几个推论,通信系统模型：,对信息论的学习可从信源开始 消息是信息的载荷者。信息是抽象的，消息是具体的。要研究信息，还得从研究消息入手。 由于信源发送什么消息预先是不可知的，只能用概率空间来描述信源,2.1 信源的数学模型及分类,离散信源定义:指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。,离散 信源,离散无记忆信源,离散有记忆信源,发出单个符号的无记忆信源,发出符号序列的无记忆信源,发出符号序列的马尔可夫信源,发出符号
2、序列的有记忆信源,信源,离散信源,连续信源,离散信源数学模型,在通信系统中,收信者在未收到消息以前,对信源发出什么消息是不确定的,随机的,所以可以用随机变量、随机矢量或随便过程来描述信源输出的消息，当信源给定，其相应的样本空间和概率分别（或概率密度函数）就给定，即概率空间就已给定，反之，如果概率空间给定，这就表示相应的信源已给定。概率空间能表征离散信源的统计特性，因此也称概率空间为信源空间。或者说可以用概率空间来描述信源.,数学模型：设每个信源符号ai出现的(先验)概率 p(ai) (i=1,2,q) 满足：,(1)单个符号的离散无记忆信源,特点:信源可能输出的消息数是可数的或者有限的,而且每
3、次只输出一个符号代表一个消息.例:扔一颗质地均色子,研究其下落后,朝上一 面的点数.那么研究其落下后,朝上一面的点数,必定有6种状态,构成互不相容的基本事件集合 那么该信源的样本空间就为,(2)符号序列离散无记忆平稳信源,离散平稳信源:信源发出的符号都相互统计独立，即各随机变量Xi (i1,2,N)之间统计独立,且随机矢量X的各维概率分别都与时间起点无关.,信源输出的消息是按一定概率选取的符号序列,可以把这种信源输出的消息看做时间或空间上离散的一系列随机变量，即随机矢量。这样,信源的输出可用N维随机矢量X=(X1, X2, ,XN)来描述， X 又称为随机序列。,设对N维随机矢量X=(X1,
4、X2, ,XN)来说,不同时刻各随机变量Xi取值同样符号集A:a1,a2,aq，则,N维随机矢量的其中一个取值，i(ai1 ai2aiN),P(aik )是符号集A的一维概率分布,性质： 独立:P (X )= P (X1, X2, ,XN)= P1(X1) P2(X2) PN(XN)平稳: P1 (Xi) = P2 (Xi)= = PN (Xi) ,总结:如果有一离散信源,取值于集合ai (a1a2aq),其输出消息序列可用一组组长度为N的序列表示,这时,它就等效为一个新的信源,新信源每次输出的是长度为N的消息序列,用N维离散随机矢量来描述,记为X=(X1,X2,XN),其中每个分量Xi都是随
5、机变量,都取值同一集合i (a1a2aq),且分量之间统计独立,则由随机矢量X 组成的新信源称为离散无记忆信源X的N次扩展信源,描述的信源X的各输出Xi间统计独立、且取值同一符号集A，则X为离散无记忆信源,则离散无记忆信源的N次扩展信源的数学模型是X信源空间的N重空间为：,若单符号离散信源的数学模型为：,(3)符号序列离散有记忆信源,信源在不同时刻发出的符号之间是相互依赖的，即信源输出的平稳随机序列X中，各随机变量Xi之间相互依赖。 需在N维随机矢量的联合概率分布中，引入条件概率分布来说明它们之间的关联。 例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构
6、成的中文序列才是有意义的中文句子或文章。所以，在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。其他如英文，德文等自然语言都是如此,(4)符号序列的马尔可夫信源,不同时刻发出的符号间的依赖关系的条件概率为,记忆信源的记忆长度为m+1时，称这种有记忆信源为m阶马尔可夫信源 若上述条件概率与时间起点 i 无关，信源输出的符号序列可看成为时齐马尔可夫链，则此信源称为时齐马尔可夫信源,连续信源,定义：指输出在时间和幅度上都是连续分布的连续消息的信源 特点：输出是单个符号（代码）的消息，输出消息的符号集A的取值是连续的，可用一维的连续型随机变量X 来描述。 例：语音信号、热噪声信号、遥控系统
7、中有关电压、温度、压力等测得的连续数据等等。 数学模型：连续型的概率空间。即：,或,满足,或,若信源输出的消息用N维随机矢量X=(X1,X2,X3,XN)来描述,其中每个随机分量Xi (i1,2,N)都是取值为连续型随机变量,即Xi 的可能取值是不可数的无限值,满足随机矢量Xi的各维概率密度与时间起点无关,这样的信源为连续平稳信源.如语音信号,热噪声信号.他们在时间上是离散的，但是每个随机变量Xi取值都是连续的，,实际信源输出的消息常常是时间和取值都是连续的。而某一固定时间 t0 的可能取值又是连续和随机的。对于这种信源输出的消息，可用随机过程来描述,这种信源我们称为随机波形信源. 例：语音信
8、号X(t)、热噪声信号n(t)、电视图像信号X(r(t),g(t),b(t)等时间连续函数。研究随机波形信源一般对随机过程进行取样,把随机过程用一系列时间或者频率上离散的取样值表示,每个取样值都是连续型随机变量,即转化为连续平稳信源,再对每个取样值进行量化,即把连续信源转化为离散信源来处理.,2.2 离散信源的信息熵其性质,讨论基本的离散信源(即输出为单个符号的消息，且这些消息间两两互不相容) 基本的离散信源可用一维随机变量X来描述信源的输出，信源的数学模型可抽象为:,问题：这样的信源能输出多少信息?每个消息的出现携带多少信息量?,信息的度量,考虑： 信息的度量（信息量）和不确定性消除的程度有
9、关，消除的不确定性获得的信息量； 不确定性就是随机性，可以用概率论和随机过程来测度，概率小不确定性大； 推论： 概率小 信息量大，即信息量是概率的单调递减函数； 信息量应该具有可加性； 信息量的计算公式为（香农（自）信息量的度量）：,自信息量的单位取决于对数的底； 底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”； 根据换底公式得：,1 nat = 1.44bit , 1 hat = 3.32 bit；,一般计算都采用以“2”为底的对数，为了书写简洁，常把底数“2”略
10、去不写,2.2.1.自信息,设离散信源X的概率空间为：,I(ai)代表两种含义： （1）当事件ai发生以前，表示事件ai发生的不确定性 （2）当事件ai发生以后，表示事件ai所提供的信息量,称事件ai发生所含有的信息量为 ai 的自信息量。定义为：,例 8个串联的灯泡x1，x2，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？总共需要多少次测量才能获知和确定哪个灯泡已损坏。,已知8个灯泡等概率损坏，所以先验概率P (x1)1/8 ，即,解：收到某消息获得的信息量(即收到某消息后获得关于某事件发生的信息量)不确定性减少的量(收到此消息前关于某事件发生
11、的不确定性)- (收到此消息后关于某事件发生的不确定性),第二次测量获得的信息量 = I P (x2) - I P (x3)=1(bit) 第三次测量获得的信息量 = I P (x3) -0=1(bit) 至少要获得3个比特的信息量就可确切知道哪个灯泡已坏了。 再例,书19、20页,第一次测量获得的信息量 = I P (x1) - I P (x2)=1(bit) 剩2个灯泡，等概率损坏，P (x3)1/2,一次测量后，剩4个灯泡，等概率损坏，P (x2)1/4,2.2.2. 信息熵,对一个信源发出不同的消息所含有的信息量也不同。所以自信息I(ai)是一个随机变量，不能用它来作为整个信源的信息测
12、度 定义自信息的数学期望为平均自信息量Hr(X)，称为信息熵：,由于这个表达式和统计物理学中热熵的表达式相似，且在概念上也有相似之处，因此借用“熵”这个词，把H(X)称为信息“熵”； 信息熵的单位由自信息量的单位决定，即取决于对数的底。,Hr(X)的单位：r 进制单位符号 （r1）,熵的计算例： 有一布袋内放l00个球，其中80个球是红色的，20个球是白色的。随便摸出一个球，猜测是什么颜色，那么其概率空间为：,如果被告知摸出的是红球，那么获得的信息量是：I (a1) log p(a1) log0.8= 0.32 （比特） 如被告知摸出来的是白球，所获得的信息量应为：I (a2) log p(a
13、2) log0.2 = 2.32 （比特） 平均摸取一次所能获得的信息量为 ： H(X)= p(a1) I (a1) + p(a2) I (a2) =0.72（比特/符号）,熵的含义,熵是从整个集合的统计特性来考虑的，它从平均意义上来表征信源的总体特征。 在信源输出后，信息熵H(X)表示每个消息提供的平均信息量； 在信源输出前，信息熵H(X) 表示信源的平均不确定性； 信息熵H(X) 表征了变量X的随机性。 例如，有两信源X、Y，其概率空间分别,计算其熵，得：H(X)=0.08（ bit /符号）H(Y)=1（bit / 符号） H(Y)H(X)，因此信源Y比信源X的平均不确定性要大。,例 设
14、甲地的天气预报为：晴(占48)、阴(占28)、大雨(占18)、小雨(占18)。又设乙地的天气预报为：晴 (占78)，小雨(占18)。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为1而其余为0。另一种是晴、阴、小雨、大雨出现的概率都相等为14。试求这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。,两个信源,解：甲地天气预报构成的信源空间为:,则其提供的平均信息量即信源的信息熵:,乙地天气预报的信源空间为:,结论：甲地天气预报提供的平均信息量大于乙地，因为乙地比甲地的平均不确定性小。,甲地极端情况,极端情况1：晴天概率1,结论：等
15、概率分布时信源的不确定性最大，所以信息熵（平均信息量）最大。,极端情况2：各种天气等概率分布,乙地极端情况,极端情况1：晴天概率1,结论：在极端情况2下，甲地比乙地提供更多的信息量。因为，甲地可能出现的消息数比乙地可能出现的消息数多。 例:P21,极端情况2：各种天气等概率分布,信息熵是信源概率空间的一种特殊矩函数。这个矩函数的大小，与信源的符号数及其概率分布有关。 我们用概率矢量P来表示概率分布P(x)：,2.2.3、信息熵的基本性质,熵函数,H(P)是概率矢量P的函数，称为熵函数。 我们用下述表示方法： 用H(x) 表示以离散随机变量x描述的信源的信息熵； 用H(P) 或 H(p1, p2
16、 , , pq )表示概率矢量为P = (p1, p2 , , pq )的q个符号信源的信息熵。 若当 q =2 时，因为 p1+p2 = 1, 所以将两个符号的熵函数写成H(p1)或H(p2)。 熵函数H(P)是一种特殊函数，具有以下性质。,1、对称性： H(P) 的取值与分量 p1, p2 , , pq的顺序无关。 说明： 从数学角度： H(P)= pi log pi 中的和式满足交换率； 从随机变量的角度：熵只与随机变量的总体统计特性有关。 一个例子：,2、确定性：H(1,0)=H(1,0,0)=H(1,0,0,0)=0 性质说明：从总体来看，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其它符号则是不可能出现，那么，这个信源是一个确知信源，其熵等于零。 3、非负性： H(P) 0 说明： 随机变量X的概率分布满足0pi1，当取对数的底大于1时，log(pi) 0，-pilog(pi ) 0，即得到的熵为正值。只有当随机变量是一确知量时熵才等于零。 这种非负性合适于离散信源的熵，对连续信源来说这一性质并不存在。以后可看到在相对熵的概念下，可能出现负值。,
