信息论基础总复习

《信息论基础总复习》由会员分享，可在线阅读，更多相关《信息论基础总复习（10页珍藏版）》请在金锄头文库上搜索。

1、2018/9/18,1, 信 息 理 论 基 础 复习,公式,2018/9/18,2, 信 息 理 论 基 础 复习,公式,2018/9/18,3, 信 息 理 论 基 础 复习,公式,I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY),维拉图,2018/9/18,4, 信 息 理 论 基 础 复习,离散信道容量公式,具有一一对应关系的无损无噪声信道 logr 具有扩展性的无损失信道(有噪无损信道) logr 具有归并性的无噪声信道（有损无噪信道） logs 强对称离散信道的信道容量C=logr-H()-log(r-1) 对称信道的信道容量 特例： 二

2、元对称信道容量 C=1-H() N次扩展信道的信道容量 CN=NC,信源与信道的匹配,准对称信道的信道容量,2018/9/18,5,如果信道矩阵Q的列可划分成若干个互不相交的子集Bk，即由Bk为列组成的矩阵Qk是对称矩阵，则称信道矩阵Q所对应的信道为准对称信道。其中r是输入符号集的个数, (p1, p2, ps)为准对称信道矩阵中的行元素。设矩阵可划分成n个互不相交的子集。Nk是第k个子矩阵Qk中行元素之和，Mk是第k个子矩阵Qk中列元素之和。,2018/9/18,6, 信 息 理 论 基 础 复习,一般离散信道的信道容量,一般离散信道的平均互信息I(X;Y)达到极大值（即等于信道容量）的充要

3、条件是输入概率分布pi满足这时C就是所求的信道容量。,2018/9/18,7, 信 息 理 论 基 础 复习,无失真数据压缩极限值（无论等长和变长编码）无失真信源编码连续信源熵与信道容量 、熵功率,Huffman算法和费诺算法,2018/9/18,8, 信 息 理 论 基 础 复习,信息率失真函数R(D),及确定达到Dmin和Dmax的实验信道。,2018/9/18,9, 信 息 理 论 基 础 复习,单位问题 I(xi):比特 H(X):比特/信源符号,互信息量I(X;Y): 比特 信道容量C: 比特/秒 平均码长L:信道码符号/信源符号，如果有N次扩展，L=LN/N（信道码符号/信源符号）

4、。速率： 编码前：信源符号速率R1=信源符号/秒 信源传信率 R2=R1*H(X)（比特/秒） 编码后：信源信息率R3=L*logr(比特/信源符号) Rt=R1*R3（比特/秒）信道码符号速率R4=H(X)/L （比特/信道码符号） Rt=Ct 才能无失真传输。,2018/9/18,10, 信 息 理 论 基 础 复习,集中答疑时间和地点 5月8日 上午 9:00-17:00 SY902 考试时间：5月10日 上午10:00-12:00地点：SX106，SX107 未提交小组作业论文的同学请尽快提交，截止时间5月8日24:00。 不定选择（10%）、填空（10%）、判断（10%）计算题（70%）。 一定要带计算器，答案写卷子上。 考试时一定要严格要求自己，杜绝作弊。 预祝大家取得好成绩！,