《信息论复习 20131206.》由会员分享，可在线阅读，更多相关《信息论复习 20131206.（23页珍藏版）》请在金锄头文库上搜索。
1、物理与信息工程学院 郭里婷* 1 信息论与编码 复习 福州大学物理与信息工程学院 郭里婷 物理与信息工程学院 郭里婷* 2 u课程内容： u绪论 u信源和信息熵 u信道和信道容量 u信息率失真函数 u信源编码定理和方法 u信道编码定理和方法 物理与信息工程学院 郭里婷* 3 1.认真复习上课的内容 2.对所举的例子、布置的作业都应理解 3.注意各物理量的物理意义、单位和计算 4.注意每一章节的基本概念和术语 5.矩阵的意义、大小、填入规则、多项式的阶数等 6.闭卷。卷面70，作业、出勤等表现30 7.题型： 填空题（约1520）和计算题（约85 80） 8.答疑的时间和地点：? 复习和考试注意
2、事项 物理与信息工程学院 郭里婷* 4 第六章 信道编码定理和方法 第1节 有扰离散信道编码定理（重点） 一、差错类型、纠错码的模型和分类、差错控制系统分类 信息码组、校验码元、码字、码集、码 FEC、ARQ、HFC 二、常用术语 差错图样、汉明距离、码重、矢量空间和码空间 三、随机编码的平均误码率上边界 四、信道编码定理 物理与信息工程学院 郭里婷* 5 第六章 信道编码定理和方法 第2节 纠错编码的基本思想（重点） 一、降低平均误码率的上边界的基本方法 二、纠错译码过程和译码准则 最大后验概率译码和最大似然概率译码的准则、特点和关系 三、BSC信道的最大似然译码最小汉明距离译码 物理与信息
3、工程学院 郭里婷* 6 第六章 信道编码定理和方法 第3节 线性分组码(n,k) （重点） 一、生成矩阵G 与基底的关系；大小；特性（特别注意：矩阵每一行都是码字,并灵活应用）； 已知G，如何得到码集和编码电路 四、校验矩阵H（大小；特性；和G的关系；许用码字c和H的关系） 五、系统线性分组码的生成矩阵和校验矩阵：两者的关系 六、伴随式的定义和作用，伴随式、接收码字、差错图样三者的关系 七、纠错译码的三个步骤。 已知一个接收码字，如何进行纠错译码，获得正确的码字。 八、标准阵列译码 标准阵列的构造规则，构造过程，利用该阵列的纠错译码方法 九、分组码的最小码距和检纠错能力的关系。 最小码距的求法
4、，检纠错能力的求法 十、完备码（汉明限，完备码的定义、汉明码的定义和构造） 物理与信息工程学院 郭里婷* 7 第六章 信道编码定理和方法 第4节 循环码(n,k) （重点） 一、特性 二、码多项式和移位后的多项式。 三、生成多项式应该满足的条件和非系统码的生成方法 四、校验多项式和校验方法（两种） 五、已知生成多项式，如何求校验多项式。或者已知校验多项式，求生成多项式 六、系统循环码的生成 1、系统循环码的生成矩阵的求法 2、系统循环码的生成方法（两种） 六、系统循环码的编码电路（除法器特性和工作过程 ） 七、注意：各种多项式的关系，阶次 物理与信息工程学院 郭里婷* 8 第六章 信道编码定理
5、和方法 第5节 卷积码(n,k,L) 一、定义和模型示意图 （重点） 二、生成子矩阵和当前码字，码字序列的生成 （重点） 三、转移函数矩阵（重点） 1、各种矩阵的填入规则，每种矩阵的大小 物理与信息工程学院 郭里婷* 9 第五章 信源编码定理和方法 第1节 编码的作用和定义 一、信源编码的作用和途径（重点） 二、信息论的主要内容（重点） 三、编码的定义和类型（重点） （一）编码的模型和定义 信源符号、信源序列；码元、码字、码的区别 平均码长、信息率、平均符号熵、编码效率的物理意义、单位、计算 （二）编码类型 各种码的定义、判别方法（特别是惟一可译码、即时码的判别） 注意：Kraft不等式的使用
6、 （三）码分类小结和码树 如何利用码树判别即时码 物理与信息工程学院 郭里婷* 10 第五章 信源编码定理和方法 第2节无记忆信源的无失真编码（重点） 一、定长编码及编码定理 （一）L的确定 L和编码效率、译码差错率的关系 （二）无记忆信源定长编码定理 二、变长编码定理 三、常见的变长编码方法（二进制编码） （一）香农码（二）费诺码（三）哈夫曼码 编码方法（对单符号和对符号序列） 编码效率的计算 比较（不同变长编码法比较、与定长编码比较、同一种编码单符号和符号序 列比较） 码长方差的计算 物理与信息工程学院 郭里婷* 11 第五章 信源编码定理和方法 第3节 限失真信源编码 一、限失真信源编码
7、定理 与变长无失真信源编码定理的联系和区别 二、限失真编码方法模型 物理与信息工程学院 郭里婷* 12 第四章 信息率失真函数 第1节 平均失真和信息率失真函数 一、与失真有关的几个概念（重点） 失真函数、失真矩阵（各元素的填入规则）、平均失真、失真限度 平均失真和失真限度的区别 计算失真处理前后，信源信息量的变化 二、信息率失真函数R(D) （重点） 定义 理解什么是最佳的失真编码器 与信道容量的异同点 四、信息率失真函数的性质（重点） 3个性质 值域和定义域的计算，特别是Dmax的计算 物理与信息工程学院 郭里婷* 13 第三章 信道和信道容量 第1节信道的分类和描述 一、离散信道描述：转
8、移概率（矩阵）或信道线图 （一）离散无记忆信道（DMC） （重点） 定义、由单符号信道转移概率计算扩展信道转移概率的方法 （二）信道转移矩阵P的特性（重点） 矩阵各元素的填入规则，矩阵的特性 物理与信息工程学院 郭里婷* 14 第三章 信道和信道容量 第2节 离散单符号信道的信道容量（重点） 一、几个概念的定义、物理意义和单位 （一）信息传输率R （二）信息传输速率Rt （三）信道容量C （四）单位时间的信道容量Ct 理解什么是最佳的信源分布 与信息率失真函数的异同点 二、几种特殊信道的转移矩阵的特点及其信道容量的计算方法 （一）无噪无损信道（二）无噪有损信道（三）有噪无损信道 三、对称DMC
9、信道的信道容量的计算 （一）对称DMC信道的定义 （二）对称信道容量的计算公式 物理与信息工程学院 郭里婷* 15 第三章 信道和信道容量 第2节离散单符号信道的信道容量（重点） 四、准对称DMC信道的信道容量的计算 （一）准对称DMC信道的定义 （二）信道容量的范围 （三）信道容量的计算方法 法一：求极值法、法二：子矩阵法 物理与信息工程学院 郭里婷* 16 第三章 信道和信道容量 第3节 离散序列信道及容量（重点） 一、离散序列信道平均互信息量的特性 二、离散序列信道信道容量CL的特性和单位 三、扩展信道信道容量的计算方法 第4节 复合信道及容量（重点） 一、串联信道 信道容量的计算方法
10、二、独立并联信道 信道容量的计算方法 物理与信息工程学院 郭里婷* 17 第三章 信道和信道容量 第5节 连续信道及容量 一、连续单符号加性信道及其容量 能理解“非高斯信道比高斯信道的信道容量大”的原因 二、限时限频限功率加性高斯白噪声模拟信道及其容量（重点） （一）单位时间信道容量的计算 注意：单位、各个物理量的互相计算 （二）香农公式的讨论 第6节信道冗余度 理解并计算信道冗余度 物理与信息工程学院 郭里婷* 18 第二章 信源和信息熵 第1节 信源的描述和分类 一、信源的分类（了解） 二、有记忆信源的特点和描述 （一）符号序列有记忆的离散信源（重点） （二）m阶马尔可夫信源（符号序列有记
11、忆信源的特例）（重点） 三、m阶马尔可夫信源（马尔可夫链） （重点） （一）符号和符号集、状态和状态集的概念 （二）香农线图 （三）符号条件概率、（状态）转移概率、稳态状态概率、稳态符号概率的 计算 （四）极限熵的计算 物理与信息工程学院 郭里婷* 19 第二章 信源和信息熵 第2节单符号无记忆离散信源的熵和互信息量（重点） 一、符号自信息量和互信息量 （一）自信息量（二）条件自信息量（三）联合信息量（四）互信息量 定义、单位、计算、物理意义（解决应用题和计算题）、性质 二、信源平均信息量（熵）和平均互信息量 （一）熵（二）条件熵（三）联合熵（共熵）（四）平均互信息量 定义、单位、计算、物理意
12、义（解决应用题和计算题）、性质 特别是：平均互信息量的性质 三、各种熵的关系 四、各种熵在通信系统中的物理意义 噪声熵、疑义度、系统中传送的信息量 物理与信息工程学院 郭里婷* 20 第二章 信源和信息熵 第3节离散序列信源的熵（重点） 一、离散序列信源的描述 二、离散序列信源熵的计算和单位 （一）序列熵 （二）离散无记忆信源序列熵 （三）离散有记忆信源序列熵 三、平均符号熵的计算和单位 四、信源序列熵的性质 五、m阶马尔可夫信源的极限熵计算 物理与信息工程学院 郭里婷* 21 第二章 信源和信息熵 第4节连续信源的熵和互信息量 一、幅度连续的单个符号信源熵 （一）幅度连续信源的相对熵（差熵、微分熵）的计算（重点） （二）幅度连续信源的熵与相对熵的比较（重点） 二、最大熵定理（重点） （一）离散信源的最大熵定理 （二）连续信源的最大熵定理 物理与信息工程学院 郭里婷* 22 第二章 信源和信息熵 第5节冗余度（重点） 一、信源冗余度 二、冗余度的来源 三、信息效率和冗余度的定义和计算 四、信源压缩的本质 物理与信息工程学院 郭里婷* 23 第一章 绪论 一、 通信系统的目标（理解） 二、 信息的定义和特性（重点） （一）定义 （二）特性 （三）信息、消息和信号区别与联系 三、通信系统的模型（重点）
