《北邮信息论实验》由会员分享，可在线阅读，更多相关《北邮信息论实验（5页珍藏版）》请在金锄头文库上搜索。
1、北京邮电大学信息论实验第五次实验一、 实验内容实验输入信源：二元序列0,1，概率分别为0.2和0.8给定参数： ，分别为0.04和0.3计算N0注：红色的参数可变仿真验证：产生长度为N的序列，NN0判断典型序列：计算非典型序列占总序列的比例，绘制这个比例随N变化的情况。改变概率分布，讨论概率分布对典型序列的影响。二、 实验原理1、 典型序列和非典型序列对于一个离散无记忆信源，任意给定0，0，使得长度NN0的序列都可以分为两组，其中一组 称之为典型序列，另一组出现的概率和小于。2、 典型序列的概率估计当足够小时，每个典型序列的概率p(x)接近2-NH(X)，其偏差不大于2N；此时序列的长度需要很
2、大。估计典型序列的个数：3、 渐进均分特性当取值很小时（N要求很大），对于典型序列：这意味着当N足够大时，（1） 典型序列接近等概率2-NH(X)，数目近似于2NH(X)（2） 非典型序列出现的概率接近为零（3） ，以概率收敛三、 实验步骤1、 实验流程其中，p为0、1序列的初始分布概率，N为模拟的信源序列长度。2、 关键代码分析（1） 求自信息方差var1=p(1)*(log2(p(1)2)+p(2)*(log2(p(2)2)-(-p(2)*log2(p(2)-p(1)*log2(p(1)2;这个式子利用的是如下公式：Var=Elog2px2-H(X)2式子中p(1),p(2)代表0和1的概
3、率。（2） 判断是否是非典型序列abs(length(find(SIGNAL(i,:)=1)/N-p(2)=ksi这行代码是利用了如下公式进行判断：先统计出元素1的下表，再统计其个数，计算频率后于原概率作比较即可判断是否是非典型序列。四、 实验结果（1） 概率分布为0.2、0.8时 理论计算结果概率分布N00.2、0.81777778这个结果表明，当0、1序列服从概率（0.2、0.8）的分布时，信源序列长度要达到177.7778才可以达到要求，非典型序列出现的概率小于0.04。 仿真结果从图中我们可以看出，当序列长度上升时，非典型序列出现的概率逐渐变小，当达到177附近时，非典型序列出现的概率
4、已经趋向于0，符合题目所给的要求，验证了信源序列的分组定理。（2） 改变概率分布时我们取了以下五组概率拟合符合0和符号1（0.1、0.9；0.2、0.8；0.3、0.7；0.4、0.6；0.5、0.5），使用与上一个实验完全相同的方法仿真，得到了下面的曲线。曲线中，横坐标为N的大小，纵坐标为非典型序列出现的概率。从图中，我们可以看出随着概率趋向于等概分布，序列长度N的增加越容易使得非典型序列的概率下降，即曲线的趋近于0的点会更加靠左。这是由于，由于No大小与自信息的方差成正比，当趋向于等概分布时，自信息的方差逐渐变小，这使得No变小。五、 实验中遇到的问题 本次实验中，遇到的最大的问题就是，在上一个版本的题目中，要求随机选择两个具体典型序列，在典型序列中所占的比例，绘制这个比例随N变化的情况。这个题目是没有办法做的，因为N0的理论值已经是177，而典型序列出现的概率为2-NH(X)，这是一个非常小的数，大概需要上亿次的仿真运算，才可以得到一个较为稳定的解。在找到司中威老师反映这个问题后，老师将题目这一问取消了。六、 实验感想 经过本次实验，我进一步认识了信息论基础一书中对于定长码编码中 “信源分组定理的理解”。认识到我们对信源做定长码编码，由于需要很长的信源码长才能编码，这对于编码器和缓冲器都是很大的挑战。通过对典型序列的仿真，我更加清晰的认识到了变长码编码的优越性。
