《武汉理工 信息理论与编码 计算题复习材料》由会员分享,可在线阅读,更多相关《武汉理工 信息理论与编码 计算题复习材料(16页珍藏版)》请在金锄头文库上搜索。
1、12.7 离散无记忆信源的扩展2.3 每帧电视图像可看成是由 个独立变化的像素组成的,每个像素又取 128 个不同的亮度5103电平,并设亮度电平是等概出现的。问每帧图像含有多少信息量?现假设有一个广播员,在约 10000 个汉字中选 1000 个字来口述这一电视图像, (1)试问广播员描述此图像所广播的信息量是多少?(2)假设汉字字汇是等概分布的,并且彼此无依赖,试问若要恰当地描述此帧图像,广播员在口述中至少需要多少个汉字?答案:王虹解:设电视图像每个像素取 128 个不同的亮度点平,并设电平等概率出现,每个像素的亮度信源为 12812,()()8iiiXaaPPL得每个像素亮度含有的信息量
2、为: ()log7H比 特 像 素一帧中像素均是独立变化的,则每帧图像信源就是离散亮度信源的无记忆 次扩展信源。得每帧图像含N有的信息量为6()()2.10NX比 特 每 帧广播口述时,广播员是从 10 000 个汉字字汇中选取的,假设汉字字汇是等概率分布的,则汉字字汇信源是1,2, 1(),10()qjijYbPbPqL得该汉字字汇中每个汉字含有的信息量2log03.9H比 特 字广播员口述电视图像是从此汉字字汇信源中独立地选取 1000 个字来描述。所以,广播员描述此帧图像所广播的信息量为442()()1log1.0NY比 特 千 字若广播员仍从此汉字字汇信源 中独立地选取汉字来描述电视图
3、像,每次口述一个汉字含有信息量是,每帧电视图像含有的信息量是 ,则广播员口述此图像至少需用的汉字数等于()H()NHX65()2.10.818039NXY字 字2.5 一副充分洗乱的牌(含 52 张) ,试问:(1)任一特定排列所给出的不确定性是多少?(2)随机抽取 13 张牌,13 张牌的点数互不相同时的不确定性是多少?解:(1)一副充分洗乱的扑克牌,共有 52 张,这 52 张牌可以按不同的一定顺序排列,可能有的不同排列状态数就是全排列种数,为67528.01P因为扑克牌充分洗乱,所以任一特定排列出现的概率是相等的。设事件 A 为任一特定排列,则其发生概率为68.4可得,任一特定排列所给出
4、的信息量为2比特 22logl5.8IAP哈特6791(1) 设事件 B 为从中抽取 13 张牌,所给出的点数都不同。扑克牌 52 张中抽取 13 张,不考虑其排列顺序,共有 种可能的组合。而扑克牌中每一种点数有352C4 种不同的花色。而每一种花色都有 13 张不同的点数。13 张牌中所有的点数都不相同(不考虑其顺序)就是每种点数的花色不同,所以可能出现的状态数为 。因为牌都是充分洗乱的,所以在这 种组合141352C中所有的点数都不相同的事件都是等概率发生的。所以13 45249.0568PBC则事件 B 发生所得到的信息量为比特1325logl.I C哈特9762.6 平均互信息及其性质
5、2.6 设随机变量 和 的联合概率空间为12,0,Xx12,0,Yy1 2()()()()838YyxxyP 定义一个新随机变量 (普通乘积) 。Z(1)计算熵 、 、 、 、 以及 ;()H()Z)HX()Z()HXY(2)计算条件熵 、|X、 、 、 、 、 、 以及(|)Y| |Y|(|)Z;(3)计算互信息量 、 、 、 、 以及(;)I(;)I(;)I(;|)I;|I;(;|)IXZ解 (1) 130,0,82pxypxy1log1iiiHXPx130,0,082pyypxy1xbit/symbollog1jjjYy的概率分布如下ZX07()8zP1271()logl)0.54/8k
6、KHZpbitsymol3由 得()()pxzzx10,0(0)2px(1) 3,()()01)(,0)81(,)11,zzpxxpyxpyzpzx3(logllog.46/288ikikHXZ btsym由对称性可得 ).406/Ybtsym()(,()1pxyzpzxz由 又 要 么 等 于 , 要 么 等 于 10,)(0,)(0,)8pxypxy(1(0,) 3,)1(,1)(,)(0(,)01,)(,)(,0)8(zyzpxypxzpzxyypxypxyzp(1,)1,0)(0,)1(1(,)(,)8xzpxyypxy2)log()331loglll.81/88ijkijkijkHX
7、YZxzzbtsymol (2)H p p =-XYijjiyx2ji symbolit/81.lg3llogl H =H -H/ sybitY/81.0.1H =H -H lXH =H -HZm62.54.6.H =H -H/ soit/H =H -HY ylb8.0.1H =H -H YH =H -HX/sitZ/45.6.H =H -HZ olXH =H -H ymb081.(3)4symolbitYXHYXI /189.0./: ZZ362.1sylitI /457./:ob06.81.0YXYX .2.5 联合熵和条件熵2.10 任意三个离散随机变量 、 和 ,求证:Z(1) ()(
8、)(|)(;|)HYZHYIX证明:(1) 方法一:利用定义证明。左边= X,= ijiijiZY zyxpzyxplog右边= XYIH|;|,= ijijZYiijZYX xypzxzxpzyx |loglogijiijZYp|l= ijiiiijZYX xzpyxyzxpzyx |log= jiijiiiij yp|l= ijiijiiijZYX xpxzpzyzxpzyx |log= ijiijiiij yp |l= ijiiiiijZYX xpzxypzxzyx |log= ijijp得证方法二:利用性质证明。因为XYHYXHYXI |;所以ZZ|;5可得XZYHZYXH|,|,I|
9、;2.10 (2) 任意三个离散随机变量 、 和 ,求证:XYZ。()()()(HXYZH(2)要证明不等式 成立,等价证明下式成立:XH,0根据熵函数的定义 rjiiriji XYZrjiXYZrirj rjiirji ijirXYZrjirijirji iXYZrjiriXYZrji jijijiji zyxpzxpyHHe zyxpzxpye xpyzzyxpxzxzypxzyxp yzy 等 号 成 立 的 条 件 为所 以 ,01log|log 1logll loglogpp,得证 2.11 连续随即变量的熵和平均互信息量2.12 设连续随即变量 X 的概率密度函数为 其 他 axb
10、xf 0=)(2(1)求 X 的熵;(2)求 的熵;)0(+=AY(3)求 的熵。解:(1)6(babeaInxdebfbxdffxhaxaalog32log9=)9logl log2)(=l)(og)()(3 330020_-因为1)(_0dxfa所以23=ab故 aeaxhlog+3log2=log3)(_-若)0(_1Axy则=_yd所以 aexhlog+3log2)(_1_-若 _2=y则1_dx所以 aexhylog+23log=)(_2_-73.4 信道的疑义度、散布度和平均互信息3.2 设离散无记忆信源 通过离散无记忆信道 传送信息,设信源的概率分布和信道X|,YXP的线图分别为
11、4.0621aPX1a2a1b2b0.80.9试求:(1)信源 的符号 和 分别含有的自信息;12(2)从输出符号 所获得的关于输入符号 的信息量;(,)jb(1,)ia(3)信源 和信道输出 的熵;XY(4)信道疑义度 和噪声熵 ;|H(|)X(5)从信道输出 中获得的平均互信息量。解:(1) /符号 1()log0.736Iabit/符号2124(2) ZYYP= .80.60.5.4891121(;)()IabIb= /符号.9430.6bit2= /符号.58.3112(;)()IIa= /符号0.943.786bit222(;)()IabIb= /符号5809(3) /符号.6.41
12、30.971HZbit/符号().58Y(4)、(5)/符号1(.,2)8.230.7219abit/符号2()09.13946/符号.67406.zbit/符号;().7.8IYHYz又根据 ;()ZZ();I8= /符号0.971.380.592bit3.3 设有一批电阻,按阻值分:70%是 2 ,30%是 5 ;按功率分:64%是 1/8 ,其余是 1/4kkW。现已知 2 阻值的电阻中 80%是 1/8 。问通过测量阻值可以平均得到的关于瓦数的信息量是多WkW少?解:设阻值信源为 ,Z10.7.30.73P设功率信源为 Y184.6.6.1a2a1b2b00.954共 70% .61K
13、84W0.85K14W/符号()(0.,2).719HYabit2415logl5= 1.96.5= /符号0.83087bit/符号()7.2.360.5HYZit/符号.41492(;)().7.63IHYZ= /符号0.8bit3.5 求下列二个信道的信道容量及其最佳的输入概率分布。1a2a12b346161a2a1b2b0.98.0.98解:图 3.8 中两信道的信道矩阵为91136P其满足对称性,所以这两信道是对称离散信道。由对称离散信道的信道容量公式得比特/符号111log4,0.873636CH最佳输入分布(即达到信道容量的输入分布)是输入为等概率分布。现计算这二元对称信道能传输
14、的最大的信息传输速率。这信道是二元对称信道,信道传递矩阵0.982.P所以其信道容量(即最大信息传输率)比特/符号1()()0.856CHp3.6 求下列两个信道的信道容量和最佳输入分布,并加以比较。其中 。1p2() 202p解:(1)方法一:从信道矩阵(1)可知,其行中各行元素不同,因此不是对称信道。正因为各行元素相等,所以我们假设输入分布为等概率分布,即12()Pa在输入等概率分布下,计算得, 满足123()()bP123()()1Pbb然后计算=1(;)IxaY311(|)(|)logjjj baP= 2()l()loglog(2)(1)2pp =(12)logll()p又 =;IxaY3221(|)|ljjj Pba= 2()log()loglog1()()22pp 10=