《信息论基础试卷及详细答案》由会员分享，可在线阅读，更多相关《信息论基础试卷及详细答案（11页珍藏版）》请在金锄头文库上搜索。
1、信息论基础模拟试题命题者：08级命题委员会小组高级顾问:韩海清填空题1 某随机变量集合有n个符号,其最大矯为logn（26面）2.个线性分组码C=000000,llllll,该分组码的纠错个数为_2_（136面）（提示:观察两个字符串不同数字的个数，设为n,贝I纠错个数为匚打，在本题中26,所2以答案为2）3.I（X；Y）,H（Y）,H（YIX）之间的关系为l（X；Y）=H（Y）-H（YIX）,H（X）,H（XIY）之间的关系为H（XIY）H（X）(V)(123面)（26,27面）（123、2设试验信道输入符号心,角,概率分别为1/3,1/3,1/3,失真矩阵为213,?21,则2ran=1，
2、-max=5/3。（V）（186面）3若（xy,z）为马氏链，则（乙Y,X）也是马氏链。（/）（60面）4分组码的最小距离就是其最小重量的非零码字的重量。（x）（135面，应该是线性分组码）5为有效抵抗加性高斯噪声干扰，信道输入应该是高斯分布。（V）（164面）6信道疑义度始终为正。（x）（138面，应该是非负，可以为0）7信道输入和输出之间的平均互信息是下凸函数。（x）（29面，应该是上凸函数）8信息处理过程中矯是不会增加的。（）（26面）9典型序列信源符号出现的概率近似等于其频率。（V）（86面）10.若信道的输入与输出分别为X,Y,输入符号的数目为r,那么信道疑义度满足H（XIY）HO存
3、在无失真信源编码o（V）（7,还有几个类似的，如Rgo存在平均失真）三.计算题1给定离散无记忆信源的数学模型为a】a、1/21/451/4,求其二次扩展源的爛左（护）。（40面）解虫（才）=2H（X）=2-|log|-（-log|）x2=3比特/扩展符号2设直流平衡序列的滑动数字为g当23时写出其连接矩阵并计算其容量。（219面）S10、解:当23时，连接矩阵为2=1o11设2的最大特征值为人唤，则其容量为C(3)=log2九ax=logos石倉y=log?41=0.5比特/符号3个二维独立高斯信源(龙;上)，其中鸟,上均值都为零，方差分别为2和4,采用均方失真测度，求该信源的R(D)函数。(
4、201面)解:如果才;，丕都使用，有B=2D/2和B52,得D2R(D)=llogl+llog=llog4D4D1D如果仅使用才一有B=2D-2和2vB54,得2vD53R(D)=丄10一-一=丄10J42刀-22Y刀-1所求R(D)函数：(l/2)log2V2Z?,0-l),23由2入=2+4,得久八31/6)1/21/34已知信道的转移概率矩阵为1/61/21/3,现有两种判决规则:(1/31/61/2丿(=A)=i规则n：gC”=A)=ai4=2)=色,规则B：，=3)=2设输入等概率，求信道的疑义度和两种译码规则下信道疑义度的上界。(139面)解:由于信道为强对称信道，所以当信道输入等
5、概率时，输出也等概率，H(X)=H(Y)。又因为H(X)H(XIY)=H(Y)H(YIX),所以信道疑义度：H(XIV)=H(VIX)=H(112.13,1/6)=-log-log丄-丄log-=-4-丄lo3(bit)2 2336632所以厶=2/3,信道疑义度上界为:H(2/3)+2/3xlog2=log23(bit)5设X和Y时分别具有均值叫f方差aAa/的两个独立的高斯随机变量集合，且u=（jr+/）/V2,v=（jr-7）/71,试求h（uv）（7o面）解:依据题意有X、22返udetTT_V22丿所以h(UV)=h(XV)+log=log(26,71(7r)+logl=log(2O
6、,1(7r)6设有一个二维独立并联高斯信道，两个子信道的噪声的方差分别为2=122=10,输入信号的总能量为=6,求信道容量C和达到容量时的能量分配E、Ey若其他条件不变,将输入信号的总能量改为=15,结果又是多少呢F（165面）解:依题意得：纟+1=方禺+10=，该方程组无非负数解，为此，应有方差大的子信道分配的能量为0召+2=6所以（召+1_占二頁=6,=7乡=0C=|-log(l+)=ilog7Zr丄ZrE、_Ed总能量改为j时有廿+%“有正数解召=12,%=30=丄log（l+12）+log（l+）=log-2z丿2z1072匕107写出错误率为p的二元对称信道的转移概率矩阵，并计算其
7、二次扩展信道的转移概率矩阵和容量。（121面）解:该信道的转移概率矩阵为卩一卩P1-刀二次扩展信道的转移概率矩阵为”1-府门(1-劝门(1一劝门(1-劝(1-莎门(1-7)Pd2门(1-7)7(1-7)门(1一劝门(1一7)由于错误率为p的二元对称信道的容量C=bH(p),所以信道的二次扩展信道容量为/=20=22矶刃比特/符号8信道的转移概率矩阵为1-61-31-61-61-31-31-31-6zfIX,求信道容量和达到容量时的输出概率(112面)解:设输出概率分别为,该信道为准对称信道，当输入等概率时达到信道容量可计算输出概率为罔G+斗彳专(討)斗心(卅),心所以信道容量为l+llogl+
8、llogl+llogl)+4336644x2+x2=-ilog.3(比特/符号)6 2四.解答题1一个二阶马氏链,符号集A=0.1，转移概率为p(OIOO)=p(lII1)=0.8,p(lIOO)=p(Oll1)=0.2,p(OIOl)=p(0ll0)=p(ll01)=p(l110)=0.5(1) 确定所对应的马氏源的状态，写出状态转移矩阵；(2) 若信源初始状态分布为平稳分布,求8次扩展源的矯；(3) 求信源的符号矯；(4) 求信源效率；(5) 求信源剩余度o(49,52,54面)解：(1)马氏源状态为才=%=00,吗=01,嗎=10,嗎=11状态转移矩阵为0.80.200000.50.5P
9、=0.50.500I000.20.81(2) 根据P冋计算h=久人虫詢h：4 =闵=-0.81og0.8-0.21og0.2=0.722f0.800.2000.500.5由(叭兀辺3兀4)0.50.500000.20.8爲=苕=-0.5logO.5一0.5log0.5=1=(兀兀2兀3兀4)及兀1+兀2+兀3+兀4状态平稳分布为:T外34】=【5/141/71/75/14对应状态平稳分布的矯为H(穴)=-2x(5/14)xlog(5/14)-2x(l/7)xlog(l/7)=1.863bit所以8次扩展源的矯为H(才;占禺)=H(S)+(&2)Wf勿5 1=1.863+6(-0.81og0.8
10、-0.2log0.2)x2+y(-0.5log0.5-0.5log0.5)x2=6.669比特/符号(3) 根据前面，得马氏信源癇为忆(刖珂疔力=A(_o.81og0.8-0.21og0.21)x2+i(-0.51og0.5-0.51og0.54)x2147=0.801比特/符号LT(4) 信源效率=0.801/102=0.801Hq一信源剩余度y=l-=0.1992设一个等时长有约束系统的标号如图所示，其中0,1符号等时长，0令-二7|=0,得r12-二一1=0解得2(1+亦)所以信道容量为C=log2(l+75)/2=0.694比特/符号(2)由于0.6940.75,故不存在这样的编码器3
11、某地区的女孩中25%是大学生，在大学生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占总数的一半。假如已得知“身高1.6m以上的某女孩是大学生”的消息，问获得了多少信息量P(34面)解:设A为“女孩是大学生”的事件;B为“女孩身高1.6m以上”的事件，贝IP(A)=0.25,p(B)=0.5,p(BIA)=075“身高1.6m以上的某女孩是大学生“的概率为p(fllB),由已知条件可得p(AIB)=也=以4以冈间=50.75475PP0.5因此所获得信息量：l(AIB)=-logp(AIB)=-log20.375=1.42bit4一信源S的符号集404444，概率分别为05,0.2
12、5,0.125,0.0625,0.0625(1) 对该信源进行二元哈夫曼编码；(2) 计算平均码长，编码码率，编码效率，信息传输速率，编码剩余度。(95面)解:(1)哈夫曼编码过程如下：0.50.250.12500.06250.062510.1250.50.25信源符号ala2a3a4a5码宇10100000100011(2)信源的矯H(S)=-ilogi-logi-logi-log-log22448816161616=15/8=1.875比特/符号平均码长/=1+0.5+0.25+0.125=1.875码元/信源符号编码码率R=Ilogr=l.875xIog2=l.875编码效率=2=100%R信息传输速率人=空里=1比特/信源符号编码剩余度7=l-z?=05.个二元信源,符号集gO,l,概率为p(O)=p,p(l)=2=l-p,其中“1、2；试验信道输出符号集B=O,1,失真测度函数为汉明失真，求班D)函数。(194面)解：(1)设A=()=(),fi=10卩、1/(1+刃、1z1一e(2)由匕.=丝,得=(l+eJ)av
