信息论与编码第二章

资源描述

《信息论与编码第二章》由会员分享，可在线阅读，更多相关《信息论与编码第二章（4页珍藏版）》请在金锄头文库上搜索。

1、第 1 页共 4 页离散有记忆信源的序列熵对于有记忆信源，就不像无记忆信源那样简单，他必须引入条件熵的概念，而且只能在某些特殊情况下才能得一些有价值的理论。对于有两个符号组成的联合信源，有下列结论：12121212(X ,X )(X )(X |X )(X )(X |X );HHHHH112221(X )(X |X ),(X )(X |X )HHHH。式表明信源的联合熵（即前后两个符号同时发生的不确定度）等于12(,)XX信源发出前一个符号的信息熵加上前一个符号已知时信源发出下一个符号的条1X1X2X件熵。当前后符号无依存关系时，有下列推论;1212121212(,)()(),(|)()

2、,(|)();H XXH XH XH XXH XH XXH X对于一般的有记忆信源如文字、数据等，它们输出的不是单个或两个符号，而是由有限个符号组成的序列，这些输出符号之间存在着相互依存的关系。可依照上述结论来分析序列的熵值。若信源输出一个 L 长序列，则信源的序列熵为12L121121()(,X )()(|)(|,)LLH XH XXH XH XXH XXXXLLL（2-3-2）记作 11()()(|)L Ll l LH XH XH XX平均每个符号的熵为（2-3-3）1()()L LHXH XL当信源退化为无记忆时，有1()()Ll lH XH X若又满足平稳性，则有()()H X

3、LH X这一结论与离散无记忆信源结论是完全一致的。可见，无记忆信源是上述有记忆信源的一个特例。例 2-12 已知离散有记忆信源中各符号的概率空间为 41 94 3611aPX321aa第 2 页共 4 页现信源发出二重符号序列消息，这两个符号的概率关系性用条件概率( ,)ija a表示，并由表 2-6 给出。可以求出信源的序列熵和平均符号熵。(|)iip a a表 2-6 条件概率表示两个符号的关联性jaia1a 2a 3a1a9/112/1102a1/83/41/83a02/97/9条件熵3321 11(X |X )-( ,)log (|)0.872/ijji ijHp a ap aab

4、it符号单信号信源熵311 1(X(X( )log ( )1.543/ii iHHp ap abit ）符号发二重符号序列的熵12121(,)(X(|)1.5430.8722.415/H XXHH XXbit）+序列平均符号熵2 21(X(X1.21/2HHbit）符号比较上述结果可得，即二重序列的符号熵值较单符号熵变小了，21(X(X)HH）也就是不确定度减小了，这是由符号之间存在的关联性（相关性）造成的。考虑离散平稳信源，其联合概率具有时间推移不变性，即12121212(,)(,) LLiiiLihihihLP Xx XxXxP Xx XxXxLL此时有下列结论：结论 1 是 L 的单

6、X ,)LLH XXXL1 1211(X)(|,X ,)(|)LL LLLLHLH XXXH XX L结论 3 是 L 的单调非增函数。(X)LH因为 12L(X)=(,X )LLHH XX L12L-1121(,X)(|,X ,)LLH XXH XXXLL1 1(1)(X)+(|)L LLLHH XX 运用结论 2 得（2-3-5）1(X)(X)LLHH该式说明随着 L 的增大，增加的熵值越来越小（有结论 1 得），这导1(|)L LH XX致平均符号熵随着 L 的增大而减小，即11(X)(X)(X)LLLHHHLL结论 4 当时L （2-3-6）def 121(X)(X)=(|,X ,

7、)limlimLLL LLHHH XXX L第 4 页共 4 页式中，称为极限熵，又称极限信息量。(X)H先证明式。根据上述结论 1 有12L-11211211(X)(,X)(|,X ,)(|,X ,)L kLLL kL kHH XXH XXXH XXXLk LLLL12L-11211(,X)(|,X ,)LLH XXH XXXLkLL121121(|(,X ,)(|(,X ,)LLLLH XXXH XXXLLL12L-11111(,X)(|,)LLkH XXH XXXLkLkLL取足够大的，固定 L，则前一项可忽略，而后一项系数接近于 1，得()k k （2-3-7）11(X)(|,)limL kLL kHH XXX L结论 2 和式（2-3-7）表明，条件熵的值是在和11(|,)LLH XXXL(X)LH之间，令，则应等于（假设极限存在），故得(X)L kHL (X)LH(X)L kH11(X)=(|,)limlimLLL kLHH XXX L

展开阅读全文