《第八章 限失真信源编码》由会员分享，可在线阅读，更多相关《第八章 限失真信源编码（4页珍藏版）》请在金锄头文库上搜索。
1、第八章 限失真信源编码 _ Copyright EE Lab508 第八章 限失真信源编码 8.1设信源_的概率分布P(_):p(?1), p(?2), ,p(?r) ,失真度为d (?i, ?j)0,其中 (i=1,2,r;j=1,2,s).试证明: Dmin?p(ai)mind(ai,bj) i?1jr并写出取得Dmin的试验信道的传输概率选取的原则,其中 mind(ai,bj)?minp(b1/ai),p(b2/ai),?,p(bS/ai) jj(证明详见:p468-p470) 8.2设信源_的概率分布P(_):p(?1), p(?2), ,p(?r) ,失真度为d(?i, ?j)0,其
2、中 (i=1,2,r;j=1,2,s).试证明: Dma_?min?p(ai)d(ai,bj) ji?1r并写出取得Dma_的试验信道传递概率的选取原则. (证明详见:p477-p478) 8.5设二元信源_的信源空间为: 0 1 ?_ _?P:? 1-?P(_) ? 令1/2,设信道输出符号集Y:0,1,并选定汉明失真度.试求: (1) Dmin,R(Dmin); (2) Dma_,R(Dma_); (3) 信源_在汉明失真度下的信息率失真函数R(D),并画出R(D)的曲线; (4) 计算R(1/8). 解： (1)最小允许失真度：Dmin?p(ai)?minjd(ai,bj)?p(0)?0
3、?p(1)?00i?12则满足保真度D?Dmin?0的信道矩阵 0 10?10? P?1?01?p(bj/ai)?0或p(bj/ai)?1(i?1,2),故此时H(_/Y)?0?R(Dmin)?R(0)?min?I(_;Y)?min?H(_)?H(_/Y)?H(_)?H(?)?2?(2)Dma_?Dmin?min?p(ai)d(ai,bj)?min?p(0)d(0,0)?p(1)d(1,0);p(0)d(0,1)?p(1)d(1,1)?jj?i?1? ?minp(1);p(0)?p(1)?j?此时I(_;Y)?0?R(Dma_)?R(?)?0?H.F. _ Copyright EE Lab50
4、8 (3)离散信源在汉明失真度下,R(D)?H(_)?H(D)?Dlog(r?1)?对此信源R(D)?H(_)?H(D)?H(?)?H(D)?H(?)?H(D) 0?D?即R(D)? D?0 由上，可得R(D)曲线如下: R(D) H() D 0 (4)R(1/8)=H()-H(1/8)= H()-0.5436 bit/symble 8.6一个四进展等概信源 Dma_= 0 1 2 3 ?U ?U?P:?1111 P(U) ?4444?接收符号集V:0,1,2,3,其失真矩阵为: ?0?1D?1?1101111011?1? 1?0?(1) Dmin,R(Dmin); (2) Dma_,R(Dm
5、a_); (3) 试求R(D), 并画出R(D)的曲线(去4到5个点). 解: (1)设输出符号集Y:b1,b2最小允许失真度：Dmin?p(ui)?minjd(ui,bj)?p(0)?0?p(1)?0?p(2)?0?p(3)?00i?14则满足保真度D?Dmin?0的信道矩阵?1000?0100?P?0010?0001?p(bj/ui)?0或p(bj/ui)?1(i?1,2,3,4),故此时H(U/Y)?01111?R(Dmin)?R(0)?min?I(U;Y)?min?H(U)?H(U/Y)?H(U)?H(,)?2bit/symble4444?H.F. _ Copyright EE Lab
6、508 ?4?3333?3(2)Dma_?Dmin?min?p(ui)d(ui,bj)?min?,?jj?4444?4?i?1?此时U、Y相互独立,故I(_;Y)?0?R(Dma_)?R(?)?0(3)离散信源在汉明失真度下,R(D)?H(_)?H(D)?Dlog(r?1)?对此信源R(D)?H(U)?H(D)?Dlog3?2?H(D)?Dlog33?2?H(D)?Dlog3 0?D?4即R(D)?3?0 D?4?可计算得:D?0,R(0)?2bit/symble;11 D?,R()?1.258bit/symble;8811 D?,R()?0.792bit/symble;4411 D?,R()
7、?0.208bit/symble;2233 D?,R()?0bit/symble44?可得R(D)曲线如下: 2 1.258 0.792 0.208 0 8.7某二进制信源: R(D) (bit/bymble) D 1/8 1/4 1/2 3/4 0 1 ?U ?U?P:?11 P(U) ?22?其失真矩阵为: 0 10?0a? D?1?a0?(1) 试求Dmin,R(Dmin); (2) 试求Dma_,R(Dma_); (3) 试求R(D); ?H.F. _ Copyright EE Lab508 (1)设输出符号集Y;b1,b2最小允许失真度：Dmin?p(ui)?minjd(ui,bj)
8、?p(0)?0?p(1)?00i?12则满足保真度D?Dmin?0的信道矩阵?10? P?01?p(bj/ui)?0或p(bj/ui)?1(i?1,2),故此时H(U/Y)?0?R(Dmin)?R(0)?min?I(U;Y)?min?H(U)?H(U/Y)?H(U)?log2?1bit/symble?2?(2)Dma_?Dmin?min?p(ui)d(ui,bj)?min?p(0)d(0,0)?p(1)d(1,0);p(0)d(0,1)?p(1)d(1,1)?jj?i?1?a ?mina?p(1);a?p(0)?j2a此时U、Y相互独立,I(U;Y)?0?R(Dma_)?R()?02(3)平均
9、失真度D?p(ui)p(bj/ui)d(ui,bj)?a?p(ai)p(bj/ai)i?1j?1i?j22?pei?p(bj/ui)?D?a?p(ui)pei?aPe,当失真度满足保真度准则时,D?D?aPei?ji?jDD由费诺不等式:H(U/Y)?H(Pe)?Pelog(r?1)?H()?log(r?1)aaDDI(U;Y)?H(U)?H(U/Y)?H(U)?H()?log(r?1)aaDD?在D定义域中选取适当值可得R(D)?minI(U;Y)?H(U)?H()?log(r?1)ddDD?对此信源R(D)?H(U)?H()?1?H()aaDa?1?H() 0?D?d2即R(D)?a?0
10、D?2? 8.8对于离散无记忆信源U,其失真矩阵D中,如每行至少有一个元素为零,并每列最多只有一个元素为零,试证明R(D)=H(U). 8.9试证明对于离散无记忆信源,有RN(D)=NR(D),其中N为任意正整数,DDmin. 8.10某二元信源_的信源空间为: a1 a2 ?_ _?P:? P(_) ? 1-?其中?0d?D? d0?H.F. _ Copyright EE Lab508 (1) 试求Dmin,R(Dmin); (2) 试求Dma_,R(Dma_); (3) 试求R(D); (4) 写出取得R(D)的试验信道的各传输概率; (5) 当d=1时,写出与试验信道相对应得反向试验信道
11、的信道矩阵. 解: (1)最小允许失真度：Dmin?p(ai)?minjd(ai,bj)?p(0)?0?p(1)?00i?12则满足保真度D?Dmin?0的信道矩阵?10? P?01?p(bj/ai)?0或p(bj/ai)?1(i?1,2),故此时H(_/Y)?0?R(Dmin)?R(0)?min?I(_;Y)?min?H(_)?H(_/Y)?H(_)?H(?)?2?(2)Dma_?Dmin?min?p(ai)d(ai,bj)?min?p(0)d(0,0)?p(1)d(1,0);p(0)d(0,1)?p(1)d(1,1)?jj?i?1? ?mind?p(1);d?p(0)?d?p(1)?d?j
12、?此时_、Y相互独立,I(_;Y)?0?R(Dma_)?R(?)?0(3)平均失真度D?p(ai)p(bj/ai)d(ai,bj)?d?p(ai)p(bj/ai)i?1j?1i?j22?pei?p(bj/ai)?D?d?p(ai)pei?dPe,当失真度满足保真度准则时,D?D?dPei?ji?jDD由费诺不等式:H(_/Y)?H(Pe)?Pelog(r?1)?H()?log(r?1)ddDDI(_;Y)?H(_)?H(_/Y)?H(_)?H()?log(r?1)ddDD?在D定义域中选取适当值可得R(D)?minI(_;Y)?H(_)?H()?log(r?1)ddD?对此信源R(D)?H(?)?H()dD?H(?)?H() 0?D?d?即R(D)?d? D?d?0 ?H.F.
