信息论与编码(20170917032442)

《信息论与编码(20170917032442)》由会员分享，可在线阅读，更多相关《信息论与编码(20170917032442)（10页珍藏版）》请在金锄头文库上搜索。

1、信息论与编码复习提纲第 1 章 绪论1、信息的概念，通俗、广义、狭义的概念2、信息、消息、信号3、通信系统模型4、通信系统的技术指标，有效性、可靠性第 2 章 信源与信息熵1、信源的分类2、信源的数学模型3、马尔克夫信源4、离散信源的自信息、信息熵5、条件熵和联合熵6、互信息及其性质7、条件熵之间的关系，维拉图8、信息熵的性质9、信息熵的计算，各种概率的计算、各种熵的计算（例2-9, p.21）10、连续信源的熵，绝对熵和相对熵11、 最大熵定理 ，峰值功率受限、平均功率受限12、离散序列信源的熵，平均符号熵、条件熵、极限熵13、信源冗余度及产生的原因第 3 章 信道与信道容量1、信道模型，转

2、移矩阵、2、信道种类： BSC、DMC 、离散时间无记忆信道、波形信道3、信道容量的定义4、几种特殊信道的信道容量、BSC 信道 C曲线5、离散序列信道及其容量（BSC 二次扩展信道）6、连续信道及其容量，Shannon 公式7、信源与信道的匹配，信道冗余度第 4 章 信息率失真函数1、失真函数、失真矩阵、平均失真2、信息率失真函数，定义、物理意义，保真度准则3、信息率失真函数的性质，信息率失真函数曲线4、信息率失真函数与信道容量的比较5、某些特殊情况下R(D) 的表示式第 5 章 信源编码1、信源编码的基本概念（主要任务、基本途径）2、码的基本概念、分类3、唯一可译码的含义，充要条件4、码树

3、图及即时码的判别5、定长编码定理，编码信息率，编码效率6、变长编码定理（Shannon第一定理），编码剩余度，紧致码7、Shannon 编码，自信息与码长的联系8、Fano 编码，与码树图的联系、是否是紧致码9、Huffman 编码，计算平均码长、信息传输率、编码效率（例5-7, p.96）10、 Shannon 第三定理（限失真编码定理）及逆定理11、游程编码，基本原理、特性、主要应用12、算术编码，基本思想第 6 章 信道编码1、差错，差错符号，差错比特，差错图样类型2、纠错码分类，差错控制系统分类3、随机编码， Shannon 第二定理（信道编码定理），差错概率、译码规则、平均差错概率4

4、、可靠性函数曲线5、差错控制途径、措施，噪声均化、交错（交织）6、码距与纠、检错能力7、最优译码、最大似然译码、最小汉明距离译码8、线性分组码，基本概念，码重9、生成矩阵和校验矩阵，系统形式（例6-2, p.137）10、伴随式与标准阵列译码11、循环码及其特征，几种常用循环码12、卷积码，基本概念、编码原理、编码器结构、卷积码描述方法、Viterbi 译码第 7 章 加密编码1、加密编码中的基本概念2、安全性，保密性，真实性3、对称（单密钥）体制与非对称（双密钥）体制1. 信息论研究的目的是提高信息系统的_可靠性 _，_有效性_，_安全性 _，以便达到系统的最优化。2. 信宿收到 yj 后推

5、测信源发出xi 的概率 p(xi / yj )被称为 _后验概率 _。3. 信源所发符号序列的概率分布与时间的起点无关，这种信源称为_离散平稳信源 _. 4. 从信源的统计特性看， 如 X的取值各时刻相互独立， 称为 _无记忆_信源。离散无记忆信源输出n 个不同的信息符号当且仅当各个符号出现 _概率相等 _时熵最大。5.编码分为信源编码和信道编码两种，信源编码以提高_有效性_性能为目的，信道编码以提高_可靠性 _性能为目的。6. 对于某个含有7 个消息的信源，其熵的最大值为_log27_，对应为 _均匀 _分布。 7. 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6 ，则“3和 5 同时

6、出现“这事件的自信息量为 _4.17bit_ ， “ 两个 1 同时出现”这事件的自信息量为 _5.17bit_, 两个点数的各种组 合（无序对）的熵和平均信息量为_4.337bit_, 两个点数之和的熵为 _3.274bit_, 两个点数中至少有一个是1 的自信息量为_1.7105bit_. 8. 有一个可旋转的圆盘，盘面上被均匀地分成38 份，用 1,2, , ,38数字标示， 期中有 2份涂绿色， 18 份涂红色， 18份涂黑色， 圆盘停转后，盘面上指针指向某一数字和颜色。若仅对颜色感兴趣则， 平均不确定度为 _1.24bit_ ，若对颜色和数字都感兴趣，则不确定度为 _5.25bit_

7、 。如果颜色已知， 则条件熵为 _4.01bit_. 9. 在一个袋中放有5 个黑球， 10 个白球，以摸一个球为一次实验，摸出的球不再放进去，则一次实验包含的不确定度_0.92bit_,第一次实验 X摸出的球是黑球，第二次实验Y给出的不确定度为_0.86bit_,第一次实验 X摸出的是白球，第二次实验 Y给出的 不确定度为 _0.94bit_ 。10. 居住某地区的女孩子有25% 是大学生，在女大学生中有75% 是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。 假如我们得知“身高160 厘米以上的某女孩是大学生”的消息，则获得的信息量是 _1.415bit_ 11. 打字

8、机可以输出M个等可能的字母，由此该打字机可能产生长度为 N的序列 MN个，且均等可能出现。因此H（X1 ，X2,XN）=_logMN_,每个字符熵率为H =_logM_. 12. 采样定理指出，如信号的有效带宽为B，采样频率为fs ，则当_fs=2B 时，样值序列能够保留原连续信号全部信息量。13. 有一类信源，输出的符号序列中符号之间的依赖关系是有限的，即任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关， 这种信源被称为 _马尔可夫信源 _. 14. 当对信号进行多级处理时，每处理一次，就有可能损失一部分信息，也就是说数据处理会把信号变成更有用的形式，但是

9、绝不会创造出新的信息。这就是_信息不增原理 _。15. 信源 X和信宿 Y的信息熵分别是H(X)和 H(Y)，则 H(X,Y)是他们 的_联合熵 _,H(X|Y) 是_噪声熵 _,I(X,Y)是_互信息量_, 其 中 I(X,Y) 可 以用H(X|Y) 与 H(X) 或 H(Y) 表示 成 _ I(X,Y)=H(X)-H(X,Y)_。 16. 当信道给定时，平均互信息量I(X;Y) 是信源概率分布q(x) 的_上凸函数 _型函数。17. 最大熵定理说明，当信源中各事件的出现概率趋于均匀时，信源 的_平均不确定度 _最大，只要信源中某一事件的发生占有较大的确定性时，必然引起整个信源的平均不确定性

10、的_下降_ 18. 信道传输信息的速率： 与_物理信道本身的特性 _、_ 载荷信息的信号形式_和_信源输出信号的统计特性_有关。19. 香农信道公式为 _C=Blog(1+S/N)_，从香农公式中可以得出结论，信道有效带宽越宽, 信道容量 _越大 _，信噪比越 _大_,信道容量越大，在保持信道容量不变的情况下，可以用_增加信号带宽 _，_增大发射功率 _的办法进行通信。 20. 香农公式说明：当信道容量一定时，_增大_信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过_提高信噪功率比 _ 来补偿。 21. 在通信系统中可以采用_增大信道容量 _ , _减小码率 _ ,和增大

11、信道容量来减少差错概率，其中我们可以采用_增大功率_ ，_降低噪声 _ ，_扩展带宽 _来增大信道容量。22._信源 _编码正是通过减少或消除信源的冗余度来提高通信效率。23. 对于定长编码，若平均码长 _小于 _信源的熵值，则唯一可译码不存在，在译码时必然要引起失真。24. 每接收一个完整的码字的码符号序列，就能立即把它译成相应的信源符号， 而无需借助后续的码进行判断，这种码称为 _即时码_ 25. 假设信源有 q 个符号，它的N 次扩张共用 qN 个符号。基本的传输符号集有r 个符号，平均码长L，若要求编码器编得的定长码是唯一可译码，则必须满足_L=Q/N*logr_26. 差错控制的方式

12、分为三类有_重传反馈方式 _，_前向纠错方式_，混合纠错方式 _. 某二元（ n，k）线性分组码的全部许用码 字为： 00000 ， 01011， 10110， 11101 则该码的码长 n=_5_ ，信息位长度 k=_2_ 。27. （n， k）线性分组码，要检测e 个错误，则码的最小距离 d=_e+1_， 要 纠 正t个 错 误 ， 码 的 最 小 距 离d=_2t+1_. 28. 某一（ n,k ）线性分组码，若最小距离是4，则当它做检错码是 它能检查出 _3_位错误，作纠错码时能纠正 _1_位错误，既做纠错码也做检错码时能检查出_2_位错误，纠正_1_位错误。29. (n,k) 线性码

13、能纠t 个错误的充要条件是码的最小距离为_21 12min mind ttd或 _. 30.(7,3)线性码， G= 1001100 ,接收矢量 Y=0011101,已知该码期中一位码元出错，则正确的译码值是_. 1.可以用克劳夫特不等式作为唯一可译码存在的判据。（）2.线性码一定包含全零码。（）3.算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。（）4.某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（）5.离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。（）6.限平均功率最大熵

14、定理指出对于相关矩阵一定的随机矢量X，当它是正态分布时具有最大熵。（）7.循环码的码集中的任何一个码字的循环移位仍是码字。（）8.信道容量是信道中能够传输的最小信息量。（）9.香农信源编码方法在进行编码时不需要预先计算每个码字的长度。（）10. 在已知收码R 的条件下找出可能性最大的发码iC作为译码估计值，这种译码方法叫做最佳译码。（）1.必然事件和不可能事件的自信息量都是0 。错2.自信息量是)(ixp的单调递减函数。对3.单符号离散信源的自信息和信源熵都具有非负性。对 4.单符号离散信源的自信息和信源熵都是一个确定值。错 5.单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的

15、。 对 6.自信息量、条件自信息量和联合自信息量之间有如下关系：)/()()/()()(jijijijiyxIyIxyIxIyxI对7.自信息量、条件自信息量和互信息量之间有如下关系：)/()()/()();(ijjjiijixyIyIyxIxIyxI对8.当随即变量 X和 Y相互独立时，条件熵等于信源熵。对 9.当随即变量 X和 Y相互独立时， I （X；Y）=H （X） 。错 10. 信源熵具有严格的下凸性。错 11. 平均互信息量 I（X；Y） 对于信源概率分布p （xi ） 和条件概率分布 p （yj/xi） 都具有凸函数性。对 12. m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相 同。错 13. 利用状态极限概率和状态一步转移概率来求m 阶马尔可夫信源的极限熵。 对 14. N维统计独立均匀分布连续信源的熵是N维区域体积的对数。对 15. 一维高斯分布的连续信源，其信源熵只与其均值和方差有关。错 16