《信息与编码第三章曹雪虹习题答案》由会员分享，可在线阅读，更多相关《信息与编码第三章曹雪虹习题答案（7页珍藏版）》请在金锄头文库上搜索。
1、3.1 设二元对称信道的传递矩阵为 3 2 3 1 3 1 3 2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) symbol bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p
2、y p symbol bit x y p x y p x p X Y H symbol bit x p X H j j i j i j i j i i i / 062 . 0 749 . 0 811 . 0 ) / ( ) ( ) ; ( / 749 . 0 918 . 0 980 . 0 811 . 0 ) / ( ) ( ) ( ) / ( ) / ( ) ( ) / ( ) ( ) ; ( / 980 . 0 ) 4167 . 0 log 4167 . 0 5833 . 0 log 5833 . 0 ( ) ( ) ( 4167 . 0 3 2 4 1 3 1 4 3 ) / ( ) (
3、 ) / ( ) ( ) ( ) ( ) ( 5833 . 0 3 1 4 1 3 2 4 3 ) / ( ) ( ) / ( ) ( ) ( ) ( ) ( / 918 . 0 10 log ) 3 2 lg 3 2 4 1 3 1 lg 3 1 4 1 3 1 lg 3 1 4 3 3 2 lg 3 2 4 3 ( ) / ( log ) / ( ) ( ) / ( / 811 . 0 ) 4 1 log 4 1 4 3 log 4 3 ( ) ( ) ( 2 2 2 2 2 1 2 1 2 2 2 1 2 2 1 2 1 1 1 1 2 1 1 1 2 2 2 2) 2 2 2 1 1
4、2 2 max ( ; ) log log 2 ( lg lg ) log 10 0.082 / 3 3 3 3 mi C I X Y m H bit symbol 其最佳输入分布为 1 ( ) 2 i p x 3-2 某信源发送端有 2 个符号， ，i1，2； ，每秒发出一个符号。接受端有 3 i x ( ) i p x a 种符号 ，j 1，2，3，转移概率矩阵为 。 i y 1/ 2 1/ 2 0 1/ 2 1/ 4 1/ 4 P （1） 计算接受端的平均不确定度； （2） 计算由于噪声产生的不确定度 ； ( | ) H Y X （3） 计算信道容量。 解： 1/ 2 1/ 2 0 1/
5、 2 1/ 4 1/ 4 P 联合概率 ( , ) i j p x y X Y 1 y 2 y 3 y 1 x / 2 a / 2 a 0 2 x (1 ) / 2 a (1 ) / 4 a (1 ) / 4 a 则 Y 的概率分布为 Y 1 y 2 y 3 y 1/ 2 (1 ) / 4 a (1 ) / 4 a （1） 1 1+ 4 1 4 ( ) log 2 log log 2 4 1 4 1 a a H Y a a 2 1 1 16 1 log 2 log log 2 4 1 4 1 a a a a 2 1 1 1 1 1 log 2 log16 log log 2 4 4 1 4 1
6、 a a a a 2 3 1 1 1 log 2 log log 2 4 1 4 1 a a a a 取 2 为底 2 2 2 3 1 1 1 ( ) ( log log ) 2 4 1 4 1 a a H Y bit a a （2） 1 1 1 1 1 1 1 1 ( | ) log log log log log 2 2 2 2 2 2 4 4 4 4 a a a a a H Y X 3(1 ) log 2 log 2 2 a a 3 log 2 2 a 取 2 为底 3 ( | ) 2 a H Y X bit 2 ( ) ( ) ( ) 1 1 1 max ( ; ) max ( ) (
7、 | ) max log 2 log log 2 4 1 4 1 i i i p x p x p x a a a c I X Y H Y H Y X a a 取 e 为底 2 1 1 1 ( ln 2 ln ln ) 2 4 1 4 1 a a a a a a 2 1 1 2 1 1 1 1 ln 2 ln ( ) 2 4 1 4 1 4 1 1 a a a a a a a 2 2 1 1 1 2 ln 2 ln 2 2(1 ) 4 1 4 1 a a a a a a 1 1 1 ln 2 ln 2 4 1 a a = 0 1 1 1 4 a a 3 5 a 9 25 1 3 1 1 1 3
8、1 log 2 log log 2 5 4 1 4 5 4 c 3 1 25 3 1 log 2 log log 10 4 16 20 4 3 1 5 3 log 2 log log 2 10 2 4 10 1 5 log 2 4 3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个 错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容 量。 解： 由题意可知该二元信道的转移概率矩阵为： 为一个BSC 信道 0.99 0.01 0.01 0.99 P 所以由BSC 信道的信道容量计算公式得到： 2 1 1 log ( ) log 2 log
9、 0.92 / 1 1000 920 / sec i i i t C s H P p bit sign p C C C bit t 3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当 =0 和 1/2 时的信 e 道容量 C 的大小。 解: 信道矩阵 P= ,此信道为非奇异矩阵,又 r=s,可利用方程组求解 e 1 e 0 e e 1 0 0 0 1 = (i=1,2,3) 3 1 ( | ) j i j j P b a b = 3 1 ( | )log ( | ) j i j i j P b a P b a = 1 2 3 2 3 0 (1 ) (1 )log(1 ) log (1
10、) log (1 )log(1 ) b e b eb e e e e eb e b e e e e = - + = - - + + - = + - - 解得 1 0 b = X 0 Y 0 1 1 1 2 2 1e 1e e e 2 3 (1 )log(1 ) log b b e e e e = = - - + 所以 C=log =log2 0 +22 (1- )log(1- )+ 2 j j b e e log e e =log1+2 1-H( ) =log1+2 e (1 ) (1 ) e e - - e e 2 3 1 1 (1 ) 1 ( ) 2 (1 ) 3 2 1 1 ( ) 2
11、2 1 2(1 ) 1 2 (1 ) ( ) 2 1 2(1 ) ( ) 2 ( ) C C H C C P b P b P b P b e e e e e b e e b b e e e e e e - - - - - - - = = = = + - + - = = + - = = 而 (j=1,2,3) 3 1 ( ) ( ) ( | ) j i j i i P b P a P b a = = 得 1 1 2 2 3 3 2 3 ( ) ( ) ( ) ( )(1 ) ( ) ( ) ( ) ( )(1 ) P b P a P b P a P a P b P a P a e e e e =
12、 = - + = + - 所以 P(a 1 )=P(b 1 )= (1 ) 1 1 2(1 ) e e e e - + - 2 3 2 3 (1 ) (1 ) ( ) ( ) ( ) ( ) 1 2(1 ) P a P a P b P b e e e e e e e e - - = = = = + - 当 =0 时,此信道为一一对应信道,得 eC=log3, 1 2 3 1 ( ) ( ) ( ) 3 P a P a P a = = = 当 =1/2 时,得 C=log2, , e 1 1 ( ) 2 P a = 2 3 1 ( ) ( ) 4 P a P a = = 3.5 求下列二个信道的
13、信道容量，并加以比较 （1） （2） 2 2 p p p p 2 0 0 2 p p p p 其中 p+ =1 p 解： （1）此信道是准对称信道，信道矩阵中 Y 可划分成三个互不相交的子集 由于集列所组 成的矩阵 , 而这两个子矩阵满足对称性，因此可直接利用准 p p p p 2 2 对称信道的信道容量公式进行计算。 C1=logr-H(p1 p2 p3)- Mk k N k log 2 1 其中r=2, N1=M1=1-2N2= M2=4 所以 2 C1=log2-H( ,p-,2)-(1-2 )log(1-2 )-2 log4 p =log2+( )log( )+(p-)log(p-)+2log2-(1-2)log(1-2)-2log4 p p =log2-2log2-(1-2)log(1-2)+( )log( )+(p-)log(p-) p p =(1-2)log2/(1-2)+( )log( )+(p- )log(p- ) p p 输入等概率分布时达到信道容量。 （2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信 道的信道容量公式进行计算，此信道矩阵中 Y 可划分成两个互不相交的子集，由 子集列所组成的矩
