《信息论与编码-第4讲-第2章信源及信息度量(修改最新).ppt》由会员分享，可在线阅读，更多相关《信息论与编码-第4讲-第2章信源及信息度量(修改最新).ppt（48页珍藏版）》请在金锄头文库上搜索。
1、 信息论与编码理论基础信息论与编码理论基础 第第4 4讲讲 信息熵及熵的基本性质信息熵及熵的基本性质 主讲主讲 刘刘 巧巧 平平 延安大学物电学院延安大学物电学院 本讲主要内容：本讲主要内容：1 1、信源熵、信源熵2 2、条件熵、条件熵3 3、联合熵、联合熵4 4、熵的基本性质和定理、熵的基本性质和定理本讲重点：本讲重点：1、掌握信息熵的物理含义及数学表达式、掌握信息熵的物理含义及数学表达式2、熟悉条件熵和联合熵的定义、熟悉条件熵和联合熵的定义3、掌握信息熵的基本性质及定理、掌握信息熵的基本性质及定理本讲难点：本讲难点： 信息熵的定义及熵的基本性质及定理1 信源熵 1） 信源熵信源熵平均信息量
2、平均信息量n2） 信源熵的三种物理含义信源熵的三种物理含义n 1） 信源熵平均信息量 自信息是一个随机变量：自信息是一个随机变量：自信息是指某一信源发出自信息是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。有的信息量也就不同。 平均信息量平均信息量信源熵：信源熵：自信息的数学期望。也称为自信息的数学期望。也称为信源的信息熵信源的信息熵/ /信源熵信源熵/ /香农熵香农熵/ /无条件熵无条件熵/ /熵函数熵函数/ /熵。熵。 信息熵的数学表达式：信息熵的数学表达式：为了求得整个信源所提供的平均信息量，首先，为
3、了求得整个信源所提供的平均信息量，首先，我们应当了解数学中有关三种不同类型的平均方法我们应当了解数学中有关三种不同类型的平均方法以及它们各自的计算公式。这三种平均方法分别是以及它们各自的计算公式。这三种平均方法分别是算术平均、统计平均和几何平均。算术平均、统计平均和几何平均。(2-8) 式中，式中，P Pi i= =N Ni i/ /N N( (i i=1=1，2 2，r r) )为对应的随为对应的随机变量机变量x xi i出现的概率出现的概率( (或称为频数或称为频数) )。即。即(2-9)(2-10) 根据有关统计平均的定义，可求得信源根据有关统计平均的定义，可求得信源X X自信自信息量的
4、统计平均值，我们把这个统计平均值记息量的统计平均值，我们把这个统计平均值记为为H(X),H(X),即即(2-9)(2-10)信息熵的数学表达式 信息熵的单位：信息熵的单位：取决于对数选取的底。一般选用以取决于对数选取的底。一般选用以2为底，其单位为为底，其单位为比特比特/符号。符号。 信息熵的意义：信息熵的意义：信源的信息熵信源的信息熵H是从是从整个整个信源的统信源的统计特性来考虑的。它是从计特性来考虑的。它是从平均平均意义上来表征信源的总意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。不同的
5、信源因统计特性不同，其熵也不同。n 2） 信源熵的三种物理含义 信源熵是从平均意义上来表征信源的总体特性的一个量。信源熵是从平均意义上来表征信源的总体特性的一个量。因此信源熵有以下三种物理含义。因此信源熵有以下三种物理含义。1) 1) 信源熵信源熵H(X)是表示信源输出后每个是表示信源输出后每个消息消息/ /符号符号所提供的所提供的平均信息量；平均信息量；2) 2) 信源熵信源熵H(X)是表示信源输出前，信源的平均不确定性；是表示信源输出前，信源的平均不确定性；3) 3) 用信源熵用信源熵H(X)来表征变量来表征变量X的随机性。的随机性。 举 例1有一布袋内放有一布袋内放100个球个球，其中其
6、中80个球是个球是红色的红色的，20个球是个球是白白色的色的。随便摸出一个球，猜测是什么颜色，其概率空间为随便摸出一个球，猜测是什么颜色，其概率空间为x1：表示摸出的是红球表示摸出的是红球 x2：表示摸出的是白球表示摸出的是白球 举 例2n有两个信源，其概率空间分别为有两个信源，其概率空间分别为n信息熵分别为信息熵分别为H H( (X X)=-0.99log0.99-0.01log0.01=0.08 )=-0.99log0.99-0.01log0.01=0.08 比特比特/ /符号符号H H( (Y Y)=-0.5log0.5-0.5log0.5=1 )=-0.5log0.5-0.5log0.
7、5=1 比特比特/ /符号符号 可见可见 H(Y)H(X)n本例结论本例结论1、信源、信源Y的二个输出消息是等可能性的，所以在信源没有的二个输出消息是等可能性的，所以在信源没有输出消息以前，事先猜测哪一个消息出现的不确定性要大；输出消息以前，事先猜测哪一个消息出现的不确定性要大；2、信源、信源Y比信源比信源X的平均不确定性大；的平均不确定性大；3、信源、信源X的二个输出消息不是等概率的，事先猜测的二个输出消息不是等概率的，事先猜测x1和和x2哪一个出现，虽然具有不确定性，但大致可以猜出哪一个出现，虽然具有不确定性，但大致可以猜出x1会出会出现，因为现，因为x1出现的概率大。所以信源出现的概率大
8、。所以信源X的不确定性要小；的不确定性要小；4、信息熵反映的就是信源输出前平均不确定程度的大小。、信息熵反映的就是信源输出前平均不确定程度的大小。2 条件熵n定义：定义：条件熵是在联合符号集合条件熵是在联合符号集合XY上的条件自信息的数学上的条件自信息的数学期望。期望。n在已知在已知Y时，时，X的条件熵为的条件熵为n已知已知X时，时，Y的条件熵为的条件熵为为什么要为什么要用联合概用联合概率？率？ 证明：证明： 在给定在给定 y j 条件下，条件下，x i 的条件自信息量为：的条件自信息量为： I(x i | yj)=log p(xi | yj) 集合集合X的条件熵为：的条件熵为： 在给定在给定
9、Y（即各个（即各个yj）条件下，集合）条件下，集合X的条件熵定义为的条件熵定义为n信道疑义度信道疑义度H(X/Y)：表示信表示信宿在收到宿在收到Y后，信源后，信源X仍然存在仍然存在的不确定度。是通过有噪信道的不确定度。是通过有噪信道传输后引起的信息量的损失，传输后引起的信息量的损失，是传输失真造成的，故也可称是传输失真造成的，故也可称为为损失熵损失熵。n噪声熵噪声熵H(Y/X)：表示在已知表示在已知X的条件下，对于符号集的条件下，对于符号集Y尚存在尚存在的不确定性（疑义），这完全的不确定性（疑义），这完全是由于信道中噪声引起的。是由于信道中噪声引起的。n例：例：已知信源已知信源X取自符号集取自
10、符号集a1=0，a2=1，信源，信源Y取自符取自符号集号集b1=0，b2=1，联合集合，联合集合X，Y的联合概率密度为的联合概率密度为 计算条件熵计算条件熵H(X|Y)。n解解 由全概率公式由全概率公式可得 p(b1)=p(a1，b1)+p(a2，b1)=0.5p(b2)=p(a1，b2)+p(a2，b2)=0.5由概率公式p(ai，bj)=p(ai)p(bj|ai)=p(bj)p(ai|bj)(i，j=1，2)，可以求出np(a1|b2)=0.75np(a2|b1)=0.75np(a2|b2)=0.25根据条件熵的计算表达式可得H(X|Y)=p(a1,b1) logp(a1|b1)p(a1,
11、b2) logp(a1|b2) p(a2,b1) logp(a2|b1)p(a2，b2) logp(a2|b2) =0.406比特/符号3、 联合熵n 定义定义是联合离散符号集合是联合离散符号集合XY上的每个元素上的每个元素对的联合自信息量的数学期望，也叫共熵。对的联合自信息量的数学期望，也叫共熵。用用H(XY)表示。表示。4 熵的基本性质和定理熵函数熵函数H H( (X X) )：熵熵H H是是p p( (x x1 1),),p p( (x x2 2),), ,p p( (x xn n) )的的n n元函数元函数(1) (1) 非负性非负性(2) (2) 对称性对称性(3) (3) 最大离散
12、熵定理最大离散熵定理(4) (4) 扩展性扩展性(5) (5) 确定性确定性(6) (6) 可加性可加性(7) (7) 极值性极值性(8) (8) 上凸性上凸性(1) 非负性H(X)0n因为随机变量因为随机变量X的所有取值的概率分布满足的所有取值的概率分布满足0p(xi)1；n当取对数的当取对数的底大于底大于1时时log p(xi)0，而，而- p(xi) log p(xi)0，所，所以熵以熵H(X)0；n只有当随机变量是一确知量时，熵只有当随机变量是一确知量时，熵H(X)=0。n这种非负性对于离散信源的熵是合适的，但这种非负性对于离散信源的熵是合适的，但对连续信源来对连续信源来说这一性质并不
13、存在说这一性质并不存在。(2) 对称性 定义：定义：当变量当变量p(x1),p(x2),p(xn) 的顺序任意互换时，熵的顺序任意互换时，熵函数的值不变，即函数的值不变，即 含义：含义：该性质说明熵只与随机变量的该性质说明熵只与随机变量的总体结构总体结构有关，与有关，与信源的信源的总体统计特性总体统计特性有关。如果某些信源的统计特性相同有关。如果某些信源的统计特性相同（含有的（含有的符号数符号数和和概率分布概率分布相同），那么这些信源的熵就相同），那么这些信源的熵就相同。相同。 举 例 下面三个信源的概率空间为下面三个信源的概率空间为 x1红红 x2 黄黄 x3 蓝蓝 y1晴晴 y2 雾雾 y
14、3 雨雨 X与与Z信源的差别：信源的差别：它们所选择的具体消息它们所选择的具体消息/符号符号其含义不同；其含义不同； X与与Y信源的差别：信源的差别：它们选择的某同一消息的概率不同；它们选择的某同一消息的概率不同； 但它们的信息熵是相同的。这三个信源但它们的信息熵是相同的。这三个信源总的统计特性总的统计特性是相是相同的。所以熵表征信源总的统计特性，同的。所以熵表征信源总的统计特性，总体的平均不确定总体的平均不确定性。性。(3) 最大离散熵定理 定理：定理： 离散无记忆信源输出离散无记忆信源输出n个不同的信息符号，个不同的信息符号，当且仅当各个符号出现当且仅当各个符号出现概率相等概率相等时时(即
15、即p(xi)=1/n)，熵，熵最大。最大。Hp(x1),p(x2),p( xn) H(1/n,1/n,1/n)=log2n 出现任何符号的可能性相等时，不确定性最大。出现任何符号的可能性相等时，不确定性最大。举 例n二进制信源是离散信源的一个特例。二进制信源是离散信源的一个特例。n设该信源符号只有二个：设该信源符号只有二个：0和和1n设符号输出的概率分别为设符号输出的概率分别为p和和1-pn信源的概率空间为信源的概率空间为n二进制信源的信息熵为二进制信源的信息熵为n这时信息熵这时信息熵H(X)是是p的函数。的函数。p取值于取值于0,1区间，我们可以区间，我们可以画出熵函数画出熵函数H(p)的曲
16、线。的曲线。从图中可以得出熵函数的一些性质从图中可以得出熵函数的一些性质： 1) 如果二进制信源的输出是确定的如果二进制信源的输出是确定的(p=1)，则该信源不提，则该信源不提供任何信息；供任何信息；n2) 当二进制信源符号当二进制信源符号0和和1等概率发生时，信源的等概率发生时，信源的熵达到最熵达到最大大值，等于值，等于1比特比特信息信息n3) 二元数字二元数字是二进制信源的输出。在具有是二进制信源的输出。在具有等概率等概率的二进制的二进制信源输出的二进制数字序列中，每一个二元数字提供信源输出的二进制数字序列中，每一个二元数字提供1比特比特的信息量。如果符号的信息量。如果符号不是等概率分布不
17、是等概率分布，则每一个二元数字，则每一个二元数字所提供的平均信息量总是所提供的平均信息量总是小于小于1比特比特。这也进一步说明了。这也进一步说明了“二元数字二元数字”（计算机术语称（计算机术语称“比特比特”）与信息量单位与信息量单位“比特比特”的的关系。关系。(4) 扩展性 由对数函数的性质知道由对数函数的性质知道 证明证明 根据定义而显然第二项而第一项由于由于归纳起来归纳起来n本性质说明，本性质说明，信源的取值增多时，若这些取值信源的取值增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。对应的概率很小（接近于零），则信源的熵不变。n虽然概率很小的事件出现后，给予收信者较多的虽然概
18、率很小的事件出现后，给予收信者较多的信息。但从总体来考虑时，因为这种概率很小的信息。但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它在熵的计算中占的比事件几乎不会出现，所以它在熵的计算中占的比重很小。这也是熵的总体平均性的一种体现。重很小。这也是熵的总体平均性的一种体现。(5) 确定性H(1,0)=H(1,0,0)=H(1,0,0,0)=H(1,0, ,0)=0 在概率矢量在概率矢量P(X)=p(x1),p(x2),p(xn)中中 当当p(xi)=1时，时，-p(xi)log2p(xi)=0；其余变量；其余变量p(xj)=0(ji)， 只要信源符号表中有一个符号出现概率为只要信源符
19、号表中有一个符号出现概率为1，信源熵就，信源熵就等于等于0。在概率空间中，如果有两个基本事实，其中一个在概率空间中，如果有两个基本事实，其中一个是必然事件，另一个则是不可能事件，因此没有不确定性，是必然事件，另一个则是不可能事件，因此没有不确定性，熵必为熵必为0。当然可以类推到。当然可以类推到n个基本事件构成的概率空间。个基本事件构成的概率空间。(6) 可加性H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/Y)证明第一个式子：证明第一个式子： 可加性可加性 是熵函数的一个重要特性，正因为具有可加性，所以可以证是熵函数的一个重要特性，正因为具有可加性，所以可以证明熵函数的形式是
20、唯一的，不可能有其它形式存在。明熵函数的形式是唯一的，不可能有其它形式存在。 (7) 极值性/香农辅助定理n对任意两个消息数相同的信源对任意两个消息数相同的信源 有有n上式含义：上式含义：任一概率分布任一概率分布p(xi)，它对其它概率分布它对其它概率分布p(yi)的自的自信息信息 n 取数学期望时，必大于取数学期望时，必大于p(xi)本身的熵。本身的熵。思考思考如何证明极值性？如何证明极值性？n由熵的极值性可以证明条由熵的极值性可以证明条件熵小于信源熵件熵小于信源熵/ /无条件熵无条件熵：H(X/Y)H(X)H(Y/X)H(Y)证明：证明：H(X/Y)H(X) 已知已知Y时时X的不确定度的不
21、确定度应小于一无所知时应小于一无所知时X的不的不确定度。因为已知确定度。因为已知Y后，后，从从Y得到了一些关于得到了一些关于X的信的信息，从而使息，从而使X的不确定度的不确定度下降。下降。(8) 上凸性HP +(1-)Q H(P )+(1-)H(Q )上凸性证明：上凸性证明： 设有一个多元矢量函数设有一个多元矢量函数 f(x1,x2, xn) = f(X )，对任一小于对任一小于1的正数的正数(01)及及f 的定义域中任意的定义域中任意两个矢量两个矢量X ,Y，若，若f X +(1-)Y f(X )+(1-)f(Y )，则称，则称f 为严格上凸函数。为严格上凸函数。问题问题1 1？问题问题1
22、1？问题问题2 2？问题问题2 2？问题问题2 2？45例例例例2.42.4 已知信源空间已知信源空间已知信源空间已知信源空间 信道特性如图信道特性如图信道特性如图信道特性如图2.42.42.42.4所示，求在该信道上传输所示，求在该信道上传输所示，求在该信道上传输所示，求在该信道上传输的疑义度的疑义度的疑义度的疑义度H H H H(X|Y)(X|Y)(X|Y)(X|Y)，噪声熵，噪声熵，噪声熵，噪声熵H H H H(Y|X)(Y|X)(Y|X)(Y|X)和共熵和共熵和共熵和共熵H H H H(XY)(XY)(XY)(XY)。图图2.4 例例2.4的信道特性的信道特性解（解（解（解（1 1 1
23、 1）根据）根据）根据）根据P P P P( ( ( (x x x xi i i iy y y yj j j j) ) ) ) = = = = P P P P( ( ( (x x x xi i i i) ) ) )P P P P( ( ( (y y y yj j j j | | | |x x x xi i i i) ) ) )，求各联合，求各联合，求各联合，求各联合概率，得概率，得概率，得概率，得P P P P( ( ( (x x x x1 1 1 1y y y y1 1 1 1) ) ) ) = P = P = P = P( ( ( (x x x x1 1 1 1) ) ) ) P P P
24、P( ( ( (y y y y1 1 1 1| | | |x x x x1 1 1 1) = 0.5) = 0.5) = 0.5) = 0.50.98 = 0.490.98 = 0.490.98 = 0.490.98 = 0.49P P P P( ( ( (x x x x1 1 1 1y y y y2 2 2 2) = ) = ) = ) = P P P P( ( ( (x x x x1 1 1 1) ) ) ) P P P P( ( ( (y y y y2 2 2 2 | | | |x x x x1 1 1 1) = 0.5) = 0.5) = 0.5) = 0.50.02 = 0.010.
25、02 = 0.010.02 = 0.010.02 = 0.01P P P P( ( ( (x x x x2 2 2 2y y y y1 1 1 1) =) =) =) = P P P P( ( ( (x x x x2 2 2 2) ) ) ) P P P P( ( ( (y y y y1 1 1 1 | | | |x x x x2 2 2 2) = 0.5) = 0.5) = 0.5) = 0.50.20 = 0.100.20 = 0.100.20 = 0.100.20 = 0.10P P P P( ( ( (x x x x2 2 2 2y y y y2 2 2 2) = ) = ) = )
26、= P P P P( ( ( (x x x x2 2 2 2) ) ) ) P P P P( ( ( (y y y y2 2 2 2 | | | |x x x x2 2 2 2) = 0.5) = 0.5) = 0.5) = 0.50.80 = 0.40 0.80 = 0.40 0.80 = 0.40 0.80 = 0.40 （2 2 2 2）求）求）求）求Y Y Y Y集合中各符号的概率，得集合中各符号的概率，得集合中各符号的概率，得集合中各符号的概率，得P P P P( ( ( (y y y y1 1 1 1) = ) = ) = ) = P P P P( ( ( (x x x x1 1
27、1 1) ) ) )P P P P( ( ( (y y y y1 1 1 1| | | |x x x x1 1 1 1) +) +) +) +P P P P( ( ( (x x x x2 2 2 2) ) ) )P P P P( ( ( (y y y y1 1 1 1| | | |x x x x2 2 2 2)= )= )= )= 0.50.50.50.50.980.980.980.980.50.50.50.50.2 = 0.590.2 = 0.590.2 = 0.590.2 = 0.59P P P P( ( ( (y y y y2 2 2 2) = 1) = 1) = 1) = 1 0.59
28、 = 0.41 0.59 = 0.41 0.59 = 0.41 0.59 = 0.41（3 3）求各种熵，有）求各种熵，有）求各种熵，有）求各种熵，有n nH H H H(X|Y) = (X|Y) = (X|Y) = (X|Y) = H H H H(XY) (XY) (XY) (XY) H H H H(Y) = 1.43 (Y) = 1.43 (Y) = 1.43 (Y) = 1.43 0.98= 0.45 0.98= 0.45 0.98= 0.45 0.98= 0.45 比特比特比特比特n n H H H H(Y|X) = (Y|X) = (Y|X) = (Y|X) = H H H H(XY) (XY) (XY) (XY) H H H H(X) = 1.43(X) = 1.43(X) = 1.43(X) = 1.43 1 = 0.43 1 = 0.43 1 = 0.43 1 = 0.43 比比比比特特特特
