《马尔可夫信源极限熵》由会员分享，可在线阅读，更多相关《马尔可夫信源极限熵（11页珍藏版）》请在金锄头文库上搜索。
1、第 2 章 信源与信息熵香农信息论的基本点 用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。信源的分类 按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两 大类.离散信源y离散无记忆信源 I离散有记忆信源信源豔发出单个符号的无记忆信源 发出符号序列的无记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源单符号信源概率空间描述自信息量7(jrJ = -logp() = log单位：bit （一个比特表示一个等概率的二进制符号信息量） 自信息量 与 不确定度 的关系/不确定度：随机事件的不确定度在数量上等于它的自信息量，两者的单位相同，但含
2、义却不 相同 一个出现概率接近于 1 的随机事件，发生的可能性很大，所以它包含的不确定度 就很小。 一个出现概率很小的随机事件，很难猜测在某个时刻它 能否发生，所以它包含 的不确定度就很大。 若是确定性事件，出现概率为 1，则它包含的不确定度为 0。/说明： 具有某种概率分布的随机事件不管发生与否，都存在不确定度， 不确定度表征了该事件的特性， 而自信息量是在该事件发生后给予观察者的信息量。 联合自信息量为：条件自信息量为：信源熵=【信源的平均不确定度】=【平均自信息量】H(X) = AI/(x)= -工 pfxjlog p(xt)条件熵：H(X / Y)=工p(x., yj.)I(x. I
3、y)=工p(x., yj.)logp(x. I y)i, ji联合熵H (X ,Y) = Z p(x., y.)I(x，y) = Z p(x，yjlog p(x，y.),j联合熵、条件熵与信源熵的关系 H(XY)=H(X)+H(Y/X)，H(XY)=H(Y)+H(X/Y) 互信息定义：后验概率与先验概率比值的对数I(x.; y.)二 logp(xj y.)p (x.)平均互信息量I (X; Y) = Z p (x, y)logp (x)x,y疑义度条件熵H(X/Y):信道上的干扰和噪声所造成的对信源符号x的平均不确定度. 噪声熵或散布度条件熵H(Y/X):可看作唯一地确定信道噪声所需要的平均信
4、息量.互信息量与熵的关系H(XY)二H(X)+H(Y/X)二H(Y)+H(X/Y)H(X)三 H(X/Y), H(Y)三 H(Y/X)I(X;Y)=H(X)-H(X/Y) =H(Y)-H(Y/X) =H(X)+H(Y)-H(XY)H(XY)马尔可夫信源/表述有记忆信源要比表述无记忆信源困难得多。实际上信源发出的符号往往只与前若 干个符号的依赖关系强，而与更前面的符号依赖关系弱。为此，可以限制随机序列的记 忆长度。/当记忆长度为m+1时，称这种有记忆信源为m阶马尔可夫信源。也就是信源每次发出 的符号只与前m个符号有关，与更前面的符号无关。稳态分布概率定义：若齐次马尔可夫链对一切i,j存在不依赖于
5、i的极限，则称其具有遍历性，Wj称 为稳态分布概率护=1WP=W马尔可夫信源极限熵：H (X )二工 p(s )H(X / s )二工 W - H(X / s )siiiiii其中，H(X/s )=p(x /s )logp(x /s )i j i j i j冗余度： 它表示给定信源在实际发出消息时所包含的多余信息.(也称为多余度或剩余度).定义信息效率:H (X)=_-H (X) m 定义冗余度:Y= i -n= i - 4 H (X)m其中：H (X)为信源实际熵，Hm(X)信源最大熵。oo习题 2 信源与信息熵习题 2-12.1 一个马尔可夫信源有3个符号%u2,u3，转移概率为： p(u
6、1|u1)=1/ 2， pp (u3IU)= 0 ,p(u1|u2)=1/3 ，p(u2|u2)=0 ， p(u3|u2)=2/3 ， p(uu2|u1)=1/2 | u 3 ) = 1/ 3 ，p(u2|u3)=2/3p (u3|u3)= 0，画出状态图并求出各符号稳态概率。/设状态ul,解：WP = Wu2，u3稳定后的概率分别为Wl，W2、W3111-W1 + - W 2 + - W 3 = W121 32 331-2-W1 + - W 3 = W 22 1 332-W 2 = W 33 23W1 + W 2 + W 3 = 1， 得.1 + W 2 + W 3 = 1，得:10W.=1
7、259W=2256W3=325计算可得：习题 2-22.2由符号集0,1组成的二阶马尔可夫链，其转移概率为：P(0100) =0.8, p(0111) =0.2,p(1|00)=0.2， p(1|11)=0.8， p(0|01)=0.5， p(0|10) =0. 5， p(1|01)=0.5， p(1|10)=0.5。画出状态图，并计算各状态的稳态概率。解： 因是二阶马尔可夫信源,此信源任何时刻发出的符号只与前两个符号有关,而与更前面 的符号无关。如原来状态为00,则此时刻只可能发出符号0或1,下一时刻只能转移到00,01 状态,由于处p (0100) = p(00100) = 0.8于00状
8、态发符号0的概率为0.8,处在00状态时发符号1的概率为0.2,转移到01状态,p (0101) = “(10101) = 0.5p (0111) = p(10l11) = 0.2p(0l10) = p(00l10) = 0.5p(1100) = p(01l 00) = 0.2p (1101) = p(11l01) = 0.5p (1111) = p(11l11) = 0.8p(1l10) = p(01l10) = 0.5/于是可以列出转移概率矩阵:0.80.200 000.50.5p =0.50.500、000.20.8丿设各状态 00，01，10，11 的稳态分布概率为 W1,W2,W3,
9、W4 有Wp = w由它W = 1iI i=10.8W 1 + 0.5W 3 = W10.2W 1 + 0.5W 3 = W 2 得(0.5W2 + 0.2W4 = W30.5W 2 + 0.8W 4 = W 4W1 + W 2 + W 3 + W 4 = 1计算得到彳厂14w 2 =-2 7W 3 =-3 7W 4 =4 14习题 2-3同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求(1) “3和 5同时出现”这事件的自信息；(2) “两个 1 同时出现”这事件的自信息；(3) 两个点数的各种组合(无序)对的熵和平均信息量；(4) 两个点数之和(即 2, 3, , 12构成的子
10、集)的熵；(5) 两个点数中至少有一个是 1的自信息量。 解：(1)1111x ) = 一 X 一 + 一 X 一 =6 6 6 6118I(x ) = - log p (x ) = - log 丄=4.170i i 18bit(2)p( x ) =i11x 一6 6136I(x ) = -log p(x ) = -logii丄=5.17036bit111213141516212223242526313233343536414243444546515253545556616263646566(3) 两个点数的排列如下：共有 21 种组合：1 1 1其中 11, 22, 33, 44, 55,
11、66 的概率是；x；=: 6 6361 1 1 其他15个组合的概率是26 6 18H(X)p(x )log p(x )二iii( 1 1 1 1 ) 6 x log +15 x log J 36361818丿=4.337 bit / symbol23456789101112=V11115151111 3618129366369迈1836 J(4)参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下XP(X)H(X)=p(x )log p(x )ii(5)ir21.1 丄211丄 211丄 2-1 丄 255 丄-1)=一 2 xlo g + 2 xlog 丄 2x log 丄 2 x
12、 - log + 2 xlo g + lo g J36361818121299363666 丿=3.274 bit / symbol p (x ) = x x 11 = 11i 6 636I (x ) = 一 log p (x ) = 一 log11 = 1.710 bit i36习题 2-52.5 居住某地区的女孩子有 25%是大学生,在女大学生中有 75%是身高 160 厘米以上的,而 女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩 是大学生”的消息,问获得多少信息量？解：/ 设随机变量X代表女孩子学历Xx1 (是大学生)x2 (不是大学生)P(x)0.250.75
