《武汉理工 信息理论与编码 计算题复习材料》由会员分享，可在线阅读，更多相关《武汉理工 信息理论与编码 计算题复习材料（16页珍藏版）》请在金锄头文库上搜索。
1、12.7 离散无记忆信源的扩展2.3 每帧电视图像可看成是由 个独立变化的像素组成的，每个像素又取 128 个不同的亮度5103电平，并设亮度电平是等概出现的。问每帧图像含有多少信息量？现假设有一个广播员，在约 10000 个汉字中选 1000 个字来口述这一电视图像， （1）试问广播员描述此图像所广播的信息量是多少？（2）假设汉字字汇是等概分布的，并且彼此无依赖，试问若要恰当地描述此帧图像，广播员在口述中至少需要多少个汉字？答案：王虹解：设电视图像每个像素取 128 个不同的亮度点平，并设电平等概率出现，每个像素的亮度信源为 12812,()()8iiiXaaPPL得每个像素亮度含有的信息量
2、为： ()log7H比 特 像 素一帧中像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆 次扩展信源。得每帧图像含N有的信息量为6()()2.10NX比 特 每 帧广播口述时，广播员是从 10 000 个汉字字汇中选取的，假设汉字字汇是等概率分布的，则汉字字汇信源是1,2, 1(),10()qjijYbPbPqL得该汉字字汇中每个汉字含有的信息量2log03.9H比 特 字广播员口述电视图像是从此汉字字汇信源中独立地选取 1000 个字来描述。所以，广播员描述此帧图像所广播的信息量为442()()1log1.0NY比 特 千 字若广播员仍从此汉字字汇信源 中独立地选取汉字来描述电视图
3、像，每次口述一个汉字含有信息量是,每帧电视图像含有的信息量是 ,则广播员口述此图像至少需用的汉字数等于()H()NHX65()2.10.818039NXY字 字2.5 一副充分洗乱的牌（含 52 张） ，试问：（1）任一特定排列所给出的不确定性是多少？（2）随机抽取 13 张牌，13 张牌的点数互不相同时的不确定性是多少？解：（1）一副充分洗乱的扑克牌，共有 52 张，这 52 张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为67528.01P因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。设事件 A 为任一特定排列，则其发生概率为68.4可得，任一特定排列所给出
4、的信息量为2比特 22logl5.8IAP哈特6791（1） 设事件 B 为从中抽取 13 张牌，所给出的点数都不同。扑克牌 52 张中抽取 13 张，不考虑其排列顺序，共有 种可能的组合。而扑克牌中每一种点数有352C4 种不同的花色。而每一种花色都有 13 张不同的点数。13 张牌中所有的点数都不相同（不考虑其顺序）就是每种点数的花色不同，所以可能出现的状态数为 。因为牌都是充分洗乱的，所以在这 种组合141352C中所有的点数都不相同的事件都是等概率发生的。所以13 45249.0568PBC则事件 B 发生所得到的信息量为比特1325logl.I C哈特9762.6 平均互信息及其性质
5、2.6 设随机变量 和 的联合概率空间为12,0,Xx12,0,Yy1 2()()()()838YyxxyP 定义一个新随机变量 （普通乘积） 。Z（1）计算熵 、 、 、 、 以及 ；()H()Z)HX()Z()HXY（2）计算条件熵 、|X、 、 、 、 、 、 以及(|)Y| |Y|(|)Z；（3）计算互信息量 、 、 、 、 以及(;)I(;)I(;)I(;|)I;|I；(;|)IXZ解 （1） 130,0,82pxypxy1log1iiiHXPx130,0,082pyypxy1xbit/symbollog1jjjYy的概率分布如下ZX07()8zP1271()logl)0.54/8k
6、KHZpbitsymol3由 得()()pxzzx10,0(0)2px(1) 3,()()01)(,0)81(,)11,zzpxxpyxpyzpzx3(logllog.46/288ikikHXZ btsym由对称性可得 ).406/Ybtsym()(,()1pxyzpzxz由 又 要 么 等 于 ， 要 么 等 于 10,)(0,)(0,)8pxypxy(1(0,) 3,)1(,1)(,)(0(,)01,)(,)(,0)8(zyzpxypxzpzxyypxypxyzp(1,)1,0)(0,)1(1(,)(,)8xzpxyypxy2)log()331loglll.81/88ijkijkijkHX
7、YZxzzbtsymol （2）H p p =-XYijjiyx2ji symbolit/81.lg3llogl H =H -H/ sybitY/81.0.1H =H -H lXH =H -HZm62.54.6.H =H -H/ soit/H =H -HY ylb8.0.1H =H -H YH =H -HX/sitZ/45.6.H =H -HZ olXH =H -H ymb081.(3)4symolbitYXHYXI /189.0./: ZZ362.1sylitI /457./:ob06.81.0YXYX .2.5 联合熵和条件熵2.10 任意三个离散随机变量 、 和 ，求证：Z(1) ()(
8、)(|)(;|)HYZHYIX证明：（1） 方法一：利用定义证明。左边= X,= ijiijiZY zyxpzyxplog右边= XYIH|;|,= ijijZYiijZYX xypzxzxpzyx |loglogijiijZYp|l= ijiiiijZYX xzpyxyzxpzyx |log= jiijiiiij yp|l= ijiijiiijZYX xpxzpzyzxpzyx |log= ijiijiiij yp |l= ijiiiiijZYX xpzxypzxzyx |log= ijijp得证方法二：利用性质证明。因为XYHYXHYXI |；所以ZZ|；5可得XZYHZYXH|,|,I|
9、；2.10 （2） 任意三个离散随机变量 、 和 ，求证：XYZ。()()()(HXYZH(2)要证明不等式 成立，等价证明下式成立：XH,0根据熵函数的定义 rjiiriji XYZrjiXYZrirj rjiirji ijirXYZrjirijirji iXYZrjiriXYZrji jijijiji zyxpzxpyHHe zyxpzxpye xpyzzyxpxzxzypxzyxp yzy 等 号 成 立 的 条 件 为所 以 ,01log|log 1logll loglogpp,得证 2.11 连续随即变量的熵和平均互信息量2.12 设连续随即变量 X 的概率密度函数为 其 他 axb
10、xf 0=)(2（1）求 X 的熵；（2）求 的熵；)0(+=AY（3）求 的熵。解：（1）6(babeaInxdebfbxdffxhaxaalog32log9=)9logl log2)(=l)(og)()(3 330020_-因为1)(_0dxfa所以23=ab故 aeaxhlog+3log2=log3)(_-若)0(_1Axy则=_yd所以 aexhlog+3log2)(_1_-若 _2=y则1_dx所以 aexhylog+23log=)(_2_-73.4 信道的疑义度、散布度和平均互信息3.2 设离散无记忆信源 通过离散无记忆信道 传送信息，设信源的概率分布和信道X|,YXP的线图分别为
11、4.0621aPX1a2a1b2b0.80.9试求：（1）信源 的符号 和 分别含有的自信息；12（2）从输出符号 所获得的关于输入符号 的信息量；(,)jb(1,)ia（3）信源 和信道输出 的熵；XY（4）信道疑义度 和噪声熵 ；|H(|)X（5）从信道输出 中获得的平均互信息量。解：(1) /符号 1()log0.736Iabit/符号2124(2) ZYYP= .80.60.5.4891121(;)()IabIb= /符号.9430.6bit2= /符号.58.3112(;)()IIa= /符号0.943.786bit222(;)()IabIb= /符号5809(3) /符号.6.41
12、30.971HZbit/符号().58Y(4)、(5)/符号1(.,2)8.230.7219abit/符号2()09.13946/符号.67406.zbit/符号;().7.8IYHYz又根据 ;()ZZ();I8= /符号0.971.380.592bit3.3 设有一批电阻，按阻值分：70%是 2 ，30%是 5 ；按功率分：64%是 1/8 ，其余是 1/4kkW。现已知 2 阻值的电阻中 80%是 1/8 。问通过测量阻值可以平均得到的关于瓦数的信息量是多WkW少？解：设阻值信源为 ，Z10.7.30.73P设功率信源为 Y184.6.6.1a2a1b2b00.954共 70% .61K
13、84W0.85K14W/符号()(0.,2).719HYabit2415logl5= 1.96.5= /符号0.83087bit/符号()7.2.360.5HYZit/符号.41492(;)().7.63IHYZ= /符号0.8bit3.5 求下列二个信道的信道容量及其最佳的输入概率分布。1a2a12b346161a2a1b2b0.98.0.98解：图 3.8 中两信道的信道矩阵为91136P其满足对称性，所以这两信道是对称离散信道。由对称离散信道的信道容量公式得比特/符号111log4,0.873636CH最佳输入分布（即达到信道容量的输入分布）是输入为等概率分布。现计算这二元对称信道能传输
14、的最大的信息传输速率。这信道是二元对称信道，信道传递矩阵0.982.P所以其信道容量（即最大信息传输率）比特/符号1()()0.856CHp3.6 求下列两个信道的信道容量和最佳输入分布，并加以比较。其中 。1p2() 202p解：(1)方法一：从信道矩阵(1)可知，其行中各行元素不同，因此不是对称信道。正因为各行元素相等，所以我们假设输入分布为等概率分布，即12()Pa在输入等概率分布下，计算得， 满足123()()bP123()()1Pbb然后计算=1(;)IxaY311(|)(|)logjjj baP= 2()l()loglog(2)(1)2pp =(12)logll()p又 =;IxaY3221(|)|ljjj Pba= 2()log()loglog1()()22pp 10=
