《《信息论理论基础》补修复习资料》由会员分享，可在线阅读，更多相关《《信息论理论基础》补修复习资料（4页珍藏版）》请在金锄头文库上搜索。
1、信息论理论基础补修复习资料一、判断题(每小题 2 分, 共计 20 分)1. 当随机变量 和 相互独立时，条件熵 等于信源熵 .（ XY)|(YXH)(XH）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（ ） 3.一般情况下，用变长编码得到的平均码长比定长编码大得多.（ ）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.（ ）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ）6. 连续信源和离散信源的熵都具有非负性.（ ）7. 信源的消息通过信道传输后的误差或失真越大，信
2、宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.（ ）8. 汉明码是一种线性分组码.（ ）9. 率失真函数的最小值是 .（ ）010.必然事件和不可能事件的自信息量都是 .（ ）0答案:1、；2、 ；3、 ；4、 ；5、；6、；7、；8、 ；9、；10、.二、填空题（每小题 5 分, 共计 30 分）1、码的检、纠错能力取决于 . 答案: 码字的最小距离（ ）.mind2、信源编码的目的是 ；信道编码的目的是 . 答案:（减少）冗余，提高编码效率; 提高信息传递的可靠性.3、把信息组原封不动地搬到码字前 位的 码就叫做 .k),(n答案: 系统码.4、香农信息论中的三大极限定理是
3、、 、 .答案: 无失真信源编码定理，信道编码定理，限失真信源编码定理 .5、设信道的输入与输出随机序列分别为 和 ，则 成立XY),(),(YXNII的条件 . 答案: 信道和信源都是无记忆 .6、某二元信源 ，其失真矩阵 ，则该信源的01()/2XP0aD= . 答案: .maxDa三、解答题（四小题共计 50 分） 1、（12 分）某信源发送端有 2 种符号 , ；接收端有 3 种符号ix)21(axp(1，转移概率矩阵为 .iy)3,2(j /04/P（1） 计算接收端的平均不确定度 ；()HY（2） 计算由于噪声产生的不确定度 ；|X（3） 计算信道容量以及最佳入口分布.解： 1/2
4、04/P联合概率 (,)ijpxyX Y 1y2y3y1/a/02x()()4a(1)/则 的概率分布为YY 1y2y3y/()/()/（1） 1+44()log2llogaaH21621llll244aa；23ogog1取 2 为底； 22()ll)44HYbitaa（2） 11|oglogllog44aX ；3(1)l232取 2 为底， ； (|)aHYbit（3）.2()() ()11max;ax(|maxlog2llog44i i ipp p aCIXX 取 为底，令e211lnlln24a 2111lnln()244aaa2()= 0； 即 ，可得 . ll1a1a35所以 925
5、33oglog2544C121llogl04604； lll1010最佳入口分布为： . )3,(2、（12 分）一阶马尔可夫信源的状态转移图如右图所示，信源 的符号集为X.,（1）求信源平稳后的概率分布；（2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵 并与 进行比较.)(XH解：根据状态转移图，列出转移概率距阵1/2/1pPp（1）令状态 平稳后的概率分布为 ，0, 321,W则得到 计算得到 .31iiWP12312123()pW 1313W（2）由齐次遍历可得.2()(|)(,)(1logl32ii pHXHp（3） 符号, 由最大熵定理可
6、知 存在极大值：,log31.58/bt )HX.()()(1)logl2(1)pp p 2(1)2(1)又 ，所以 ；00,p0121-pp/21-p/p/2/p/2/1-p图 23 当 p=2/3 时 ；12()p0p2/3 时 log02()HXp2/3p1 时 ()1p所以当 p=2/3 时 存在极大值,且 符号, max()1.58/HXbit所以 .,()X3、（13 分）设码符号为 ，信源空间为2,10，)(sPS 05.05.487643 sss试构造一种三元紧致码.解: 构造三元紧致码(三元霍夫曼码)要使短码得到充利用就必须让信源符号个数满足 .q1)r信源 的三元霍夫曼码如下：S得信源符号 s1 s2 s3 s4 s5 s6 s7 s8三元紧致码 1 00 02 20 21 22 010 011.
