《信息论复习》由会员分享，可在线阅读，更多相关《信息论复习（13页珍藏版）》请在金锄头文库上搜索。
1、例4 设离散无记忆信源P( X )x 二 03/8x 二 121/4x = 231/4尽，其发出的信息为例题例1简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少? 解：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为H = log m。max 2例 2 什么是平均自信息(信息熵)?什么是平均互信息?解：平均自信息为H(X)p(x )log p(x )iii 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。p(x | y ) 平均互信息为 I(X;Y) = Mp(xy )log i ji j i jp(x )i ji表示从Y获得的关于每个X的平均信息
2、量，也表示发X前后Y的平均不确定性减少的量, 还表示通信前后整个系统不确定性减少的量。例3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而 女孩子中身高160 厘米以上的占总数的一半。假如我们得知“身高 160厘米以上的某女孩是 大学生”的消息，问获得多少信息量?解：设随机变量X代表女孩子学历Xx“(是大学生)x2 (不是大学生)P(X)0.250.75设随机变量Y代表女孩子身高Yy (身高160cm)y2 (身高160cm)P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的，即：p(y /x ) = 0.75 bit 11 身高160厘米
3、以上的某女孩是大学生的信息量即：I (xj yi)= log p (xj y) = logp( y )1P(叩P(空叩=-log025竺5 = 1.415 bit0.5(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少?(2) 此消息中平均每符号携带的信息量是多少?解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：3141 A 25此消息的信息量是：I = logp = 87.811 bit例5二元无记忆信源，有P(0)二0.25, p(1)二0.75求：(1) 某一信源序列由1
4、00个二元符号组成，其中有m个“ 1”，求其自信息量?(2) 求 100 个符号构成的信源序列的熵。解：1) p(a)二 P(0)100-m x p(1)m = 0.25100-m X 0.75mI (a) = log p (a) = 200 m log 3222)H(X100) = 100H(X) = 81.128 bit/序列 此消息中平均每符号携带的信息量是：I/n二87.811/45二1.951 bit例 6 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3 和 5 同时出现”这事件的自信息；(2) “两个 1 同时出现”这事件的自信息；(3) 两个点数的各种组
5、合(无序)对的熵和平均信息量；(4) 两个点数之和(即 2, 3, , 12 构成的子集)的熵；(5) 两个点数中至少有一个是 1 的自信息量。1 1 1 11p (x ) X + X -解：仃) i 6 6 6 6 18I (x ) - log p (x ) - log 4.170 bit ii18(2)11p (x ) X i 66136I(x)i-logp(x )-logi136 5.170 bit(3) 两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有 21 种组合：
6、1 1 1其中11, 22, 33, 44, 55, 66的概率是匚X：:6 6361 1 1 其他15个组合的概率是2XwX2:6 6 18H(X) = p(x )log p(x )-ii( 1 1 1 1 )6 x一log +15 x一 log一 4.337 bit / symbol (36361818丿_ X 234567891011121V11115151111 _ P( X)_.3618迈9366369迈36 一可以得出两个点数求和的概率分布如下：i(4) 参考上面的两个点数的排列,H(X) -Y p(x )log p(x )iii1 1 丄 21 1 丄 21 1 丄 2J1 +
7、25 5 丄 J1)(363618181212993636 66 丿 3.274 bit / sym bolp(x)i1 x11 1136I (x ) - log p(x ) - log1.710 bitii36例 7 黑白气象传真图的消息只有黑色和白色两种,求：1）黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X的数学 模型。假设图上黑白消息出现前后没有关联，求熵；2）假设黑白消息出现前后有关联，其依赖关系为：P（白/白）=0.9，P（黑/白） = 0.1，P（白/黑）=0.2，P（黑/黑）=0.8，求其熵 H （X）；2a =黑 a =白解：1）信源模型为10
8、320 7H(X) = 一 p(a )log p(a ) = 0.881 bit/符号i 2 ii=12)由 F(ai)仝 p(aj)p(a- 1 aj)i =1，2得p(白) = 2/3,p(黑)=1/3 j=1p (a ) + p (a ) = 1 12则 H (X)= 一衣 $ p(a)p(a | a )log p(a I a ) = 0.5533 bit/符号2 ij i2j ii=1 j =1例8 一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按p(0) = 0.4,p(1) = 0.6发出符号，求H(X2),H(X I XX )和平均符号熵3 121lim H (X X
9、X )N ts N1 2N解: H(X2) = 2H(X) = 1.942bit/2 个符号H(X I XX ) = H(X ) = 0.971 bit/符号312311limH(X X X ) = limNH(X) = H(X) = 0.971 bit/符号Nts N 1 2 NNts N例9设信源） =0X5 0；5通过一干扰信道，接收符号为Y =切，y2，信道的2/3 1/3传递矩阵为i/32/J，求（1）信源 X 的信息熵；（2）信道疑义度H（X/Y）和噪声熵H（Y/X）；（3）接收到信息 Y 后获得的平均互信息量。解：（ 1）H(X) = 一 p(x )log p(x ) = -0.
10、75log 0.75 - 0.25log 0.25 = 0.811 bit/符号 i2 i22i=1H(Y I X)=-盘 2 p(x)p(y I x )log p(y I x ) i j i 2 j i i=1 j=1-lg2 + 3 X-lg- + -X-lg- + - X 2lg2) X log 10 = 0.918 bit/符号 33435343534353 电符P(yi) = P(Xi)P(yiI Xi P(X2)P(yiI X2)=3 2 - -X + X = 0.58334 34 3P(y2) = P(X1)P(y21 X1 P(X2)P(y2I x ) = 3 X - + 丄
11、X 2 = 0.416724 343H(Y) = f p(y )log P(y ) = -0.5833log 0.5833-0.4167log 0.4167 = 0.98 i2 i22i=1符号bit/H(X 丨 Y) = H (X) - H (Y) + H (Y 丨 X) = 0.749 bit/符号(3)I(X; Y) = H(X) - H(X 丨 Y) = 0.062 bit/符号例 10 二元对称信道如图。1) 若 p(0) = 0.75, p(1) = 0.25，求H(X)和 I(X;Y)；2) 求该信道的信道容量和最佳输入分布。解: 1) H(X) = 0.8113 bit/符号I
12、 (X; Y) = 0.0616 bit/符号2) C = 0.082 bit/符号，最佳输入概率分布为等概率分布。2 1331 2例11设二元对称信道的传递矩阵为L33(1) 若 P(0) = 3/4, P(1) = 1/4，求 H(X), H(X/Y), H(Y/X)和 I(X;Y)；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解：1)H(X)=工p(x ) = -(3 xlog 3 +1 xlog 丄)=0.811 bit/symbol i 42 442 4H(Y / X ) =p(x )p(y / x )log p(y / x )ij ij iijx log 10232
13、231111112 =-(_ x lg + x lg + X lg + X 4 334 334 3343= 0.918 bit/symbol3211p(y ) = P(x y ) + p(x y ) = p(x )p(y / x ) + p(x )p(y / x ) = 0.58331 1 12 111121243433112P(y ) = P(x y ) + p(x y ) = p(x )p(y /x ) + p(x )p(y /x ) = 乂； + 二乂三=0.4167H(Y)=工p(y ) = -(0.5833xlog 0.5833 + 0.4167xlog 0.4167) = 0.980 bit/symbol222 1 22 21212224343jI(X;Y) = H(X) - H(X /Y) = H(Y) - H(Y/ X)H(X /Y) = H(X) -H(Y) + H(Y/X) = 0.811 0.980 + 0.918 = 0.749 bit/symbolI(X; Y) = H(X) - H(X / Y) = 0.811 - 0.749 = 0.062 bit / sym bol2)C 二 max I (X; Y)二 log
