《2014itandcoding复习(reduced)》由会员分享，可在线阅读，更多相关《2014itandcoding复习(reduced)（18页珍藏版）》请在金锄头文库上搜索。
1、1,1. 选择题，5题，10分； 2. 填空题，10空，20分； 3. 判断题，10题，10分； 4. 简答题，2题，10分； 5. 计算题，5题，50分。 最终的成绩构成： 70%期末试卷， 30%平时成绩。 注意：做题时不要忘记单位，考试带上计算器 答疑时间： 地点：物理实验大楼北311房间,信息论与编码的考试说明,2,主要内容 1. 信息的基本概念(Chap1、2) 2. 结合信息的基本概念讨论通信中的三类问题： 有效性的问题，信源编码的内容(Chap4、5) 可靠性的问题，信道编码的内容(Chap3、6) 保密性的问题，加密编码的内容(Chap7),信息论与编码的复习与回顾,3,信息的
2、基本概念,1. 信息：事物运动的状态以及状态变化的方式。信息有别于消息以及信号。 2. 香农采用统计概率的方法度量信息，将信息(狭义信息/香农信息)定义为不确定性的减少量(或者消除量)，而事物不确定性的度量为：-logP。,4,信息的基本概念,3. 离散信源的情况： 互信息、自信息、条件自信息、联合自信息； 平均互信息、平均自信息； 熵(平均不确定性)、条件熵、联合熵等等。 这些概念相互之间的关系、自信息与平均自信息的区 别(前者是随机量)、平均自信息与信源熵的区别、熵 的性质（比如：非负性、极值性）等等。 信息不增性原理。 4. 连续信源的情况： 连续信源熵的定义； 连续信源熵的性质：相对熵
3、、非绝对熵，不表征信源的平均不确定度。 最大熵定理。,5,信息的基本概念,5. 离散序列的情况： 离散无记忆信源的序列熵：特定序列的自信息与该类序列的平均自信息之间的差异。 离散有记忆信源的序列熵： 平稳有记忆信源序列 平均每符号熵随着序列长度L的增大而减小。 马尔可夫链：符号转移概率、状态转移矩阵，状态转移图(香农线图)，遍历性(不论起始状态是什么，马氏链可以达到最后稳定，即所有状态的概率分布均不变，这被称作遍历性)，稳态概率的计算，遍历性成立的条件(稳态概率具有唯一性之外，状态转移图具有不可约性与非周期性)，极限熵的计算。,6,信息的基本概念,马尔可夫链的分析方法： 根据符号的条件概率矩阵
4、或者状态转移概率矩阵画出马尔可夫信源状态转移图； 根据状态转移图判断能否达到稳定（是否满足不可约性和非周期性）； 求出平稳分布W； 求出 H(X/si)；,7,信息的基本概念,6. 冗余度：表示给定信源在实际发出消息时所包含的多余信息，也称余度或剩余度。 两方面的来源：信源符号间的相关性、信源符号分布的不均匀性，当等概率分布时信源熵最大。 相关的概念：信息效率。,8,有效性的问题,信源编码的目的：经济有效地表示信源的输出，去掉冗余性由于信源符号概率分布上的不均匀以及前后符号存在相关性所导致。 1. 无失真信源编码：,9,唯一可译码存在的充分与必要条件：各码字的长度Ki 应符合克劳夫特不等式。注
5、意：克劳夫特不等式只是用来说明唯一可译码是否存在，并不能作为唯一可译码的判据。 无失真定长编码定理、无失真定长编码并非不存在译码差错。 变长编码方法的出发点、无失真变长编码定理。 香农编码方法、费诺编码方法、哈夫曼编码方法以及对应编码效率的计算。注意：进行哈夫曼编码时，为得到码方差最小的码，应使合并的信源符号位于缩减信源序列尽可能高的位置上，以减少再次合并的次数，充分利用短码。,有效性的问题,10,有效性的问题,2. 限失真信源编码： 平均失真和信息率失真函数 R(D) ； 率失真函数R(D)的性质； 限失真信源编码定理； 了解常用的信源编码方法。,11,有效性的问题,平均失真和信息率失真函数
6、： 平均失真是非负实数d(x , y)的数学期望，失真矩阵； D允许试验信道， 信息率失真函数R(D)的物理意义：对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许压缩到的最小值为R(D) 。反之，若要使信息率小于R(D)，平均失真一定会超过失真限度D。,12,有效性的问题,R(D)的性质： 定义域(Dmin, Dmax)的确定，各自所对应的率失真函数R(D)，输出符号的概率，编码方法或者转移概率矩阵； 信息率失真R(D)曲线的形态； 率失真函数R(D)与信道容量的对比 限失真信源编码定理(第三极限定理) 了解常用信源编码方法：能够区分无失真编码与有失真编码、分组编码与非分组编码。,
7、13,可靠性的问题,1. 信道容量的定义： bits/symbol或者bits/channel use，或者Ct=C /T bits/s。 2. 根据定义计算二元单符号信道的容量。 3. 特殊情况下的单符号离散信道容量的计算：对称DMC信道(输入、输出对称，特例BSC信道)，准对称DMC信道(输入对称、输出不对称）尤其是删除信道的情况。通过将转移矩阵划分为子矩阵计算信道容量的方法本考试不要求。 4. AWGN信道的容量计算公式(香农信道容量计算公式)，dB的换算以及该公式的物理含义。 5. 信道的两种差错类型：随机差错、突发差错；提高通信可靠性的途径 6. 信道编、译码的作用：寻求实现通信系统
8、与信道统计特性相匹配的方法。,14,7. 信道编码定理（第二极限定理） 8. 线性分组码 线性分组码的生成矩阵与校验矩阵 伴随式与标准阵列译码表 码距、纠错能力 循环码,15,线性分组码,线性分组码基本概念 码元、码字、码集 码重 线性分组码的封闭性：码字的组合仍然是码 字。线性分组码一定包含全零码。,16,生成矩阵和校验矩阵,生成矩阵G：C mG 校验矩阵H：CHT 0，对于某一接收序列R，可以根据RHT是否为0来确定R是否为有效的码字。 系统形式：G Ik|P，H PT|In-k 差错图案E = R - C，伴随式S RHT EHT 标准阵列译码表,17,码距与纠、检错能力,(1) 码的总
9、体性能取决于码距的分布特性(重量谱)，而纠、检错能力取决于其中的最小者dmin ，dmin = min w (C i ) 。利用了线性分组码的封闭性质：码字的组合仍然是码字。 (2) 检、纠错能力： 可检dmin 1个差错 可纠t = INT(dmin 1)/2个差错,18,循环码,循环码可用多项式表示： C(x) = m(x)g(x) 生成多项式： xn+1 g(x)h(x)，该多项式仅对循环码适用；根据多项式xn+1的分解确定生成多项式。 校验多项式：C(x)h(x) = 0 mod (xn + 1) 得到系统循环码的步骤： C(x) = xn-k m(x) + r (x)， r (x) = xn-k m(x) mod g(x) 其中g(x) x n-k + gn-k-1 x n-k-1+ g1 x +1 根据生成多项式确定系统形式的生成矩阵。,
