《信息论与编码教学大纲》由会员分享，可在线阅读，更多相关《信息论与编码教学大纲（5页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码教学大纲电子信息工程专业（本科）课程编号：（）课程名称：信息论与编码 参考学时：52 其中实验或上机学时：0说明部分1课程性质本课程是电子信息类专业的技术基础课2课程教学的目的及意义人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。特别是迈入21世纪高度信息化时代，信息的重要性更是不言而喻。信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而信息论和编码课程为电子信息工程学科的基础课，同时也可作为信息科学其它相关学科的选修课，掌握它，可以指导理论研究和工程应用。本课程注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力
2、求物理概念清晰、数学结构严谨和完整、逐步深入展开。通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码和信息保密编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。3教学内容及教学要求该课程是电子信息工程、信息安全工程专业的专业课。是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般
3、规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。教学基本要求：了解通信系统各部分的主要组成以及作用、香农的三大编码定理；掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。4. 教学重点、难点教学重点：信息以及失真的测度、信道及信道容量
4、、无失真信源编码方法以及有噪信道编码方法。教学难点：典型序列以及由此推导出的香农三大编码定理及其逆定理。5. 教学方法及教学手段课堂讲学为主，习题讲解为辅。6. 教学学材及主要参考书1. 傅祖芸编著，信息论基础理论与应用，北京：电子工业出版社，2001年2. 姜丹，信息论与编码，合肥，中国科学技术大学出版社， 2001年3. 曹雪虹，张宗橙，信息论与编码，北京，清华大学出版社，2004年7. 其它考核形式：考试（笔试），教学环境：课堂本课程应开设在概率论与随机过程等数学学科信号与系统之后，是数字图像处理的基础课程。总学时数课程总学时数： 52 其中，课堂讲授： 46 作业：6 二、正文部分第一
5、章：绪论 一、教学要求了解信息论研究对象、目的、发展简史与现状；了解通信系统的模型以及通信系统各部分的主要组成以及作用二、教学内容第一节 信息的概念知识要点：信息的概念及自信息第二节 信息论研究的对象、目的和内容知识要点：信息论研究的对象、目的和内容第三节：信息论发展简史知识要点：信息论发展简史三、本章学时数2学时第二章：离散信源及其测度 一、教学要求了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系。掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。二、教学内容第一节 信源的数学模型及分类知识要点：信源的数学模型，离散无记忆信源及其扩展信源。
6、第二节 信息熵及其基本性质知识要点：自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。第三节 离散平稳信源知识要点：离散平稳信源定义，联合熵，条件熵以及极限熵。第四节 马尔可夫信源知识要点：马尔可夫信源定义，马尔可夫信源熵第四节 信息剩余度知识要点：信息剩余度以及自然语言熵三、本章学时数8学时第三章：离散信道及其信道容量 一、教学要求了解一般信道容量计算。掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。二、教学内容第一节 信道数学模型及分类知识要点：信道数学模型及不同的分类，信道矩阵。第二节 平均互信息及特点知识要点：信道疑义度，互信息和平均互信息及其特性，平
7、均条件互信息。第三节 信道容量及一般计算方法知识要点：离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。第四节 离散无记忆扩展信道及其容量知识要点：离散无记忆扩展信道及其容量，信源与信道的匹配。三、本章学时数6学时第四章：无失真信源编码 一、教学要求了解其它一些无失真信源编码方法。理解渐近等分割性及典型序列，算术编码方法及具体实现方案；掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。二、教学内容第一节 等长码及等长信源编码定理知识要点：编码器的概念，码的定义，等长码及等长信源编码定理，典型序列及其性质，编码效率。第二节
8、变长码及变长信源编码定理知识要点：唯一可译码定义及其判断方法，即时码的树图法构造，Kraft不等式，紧致码，变长信源编码定理。第三节 编码方法知识要点：香农编码，费诺编码，香农费诺埃利斯编码，哈夫曼编码，游程编码，算术编码和其它一些编码方法。三、本章学时数10学时第五章：有噪信道编码一、教学要求了解检错码与纠错码的方法。理解渐近等分割性及典型序列。掌握的重点内容有：有噪离散信道的编码定理，差错控制与信道编译码的基本原理，线性分组码，卷积码，网格编码调制与级联码简介。二、教学内容第一节 错误概率与译码规则和编码方法知识要点：最小错误概率译码准则，最大似然译码准则，最小距离译码准则及其之间相互关系
9、，平均译码错误概率，错误概率与译码规则和编码方法关系，信道编码的编、译基本准则。第二节 有噪信道编码定理知识要点：有噪信道编码定理及其逆定理，信源信道编码定理。第三节 纠错码知识要点：纠错码分类，分组码的最小距离与检、纠错能力，分组码的码率，线性分组码的特性，生成矩阵和一致监督矩阵及其关系，线性分组码的编、译码方法，汉明码，卷积码及其构造方法。三、本章学时数10学时第六章：波形信源和波形信道一、教学要求了解连续信源和波形信源的信息测度，连续信道和波形信道的分类，连续信源熵的变换，连续信道和波形信道的信道容量的计算方法。掌握连续信源和波形信源的信息测度。 二、教学内容第一节 连续信源和波形信源的
10、信息测度知识要点：连续信源的差熵、波形信源的差熵和两种特殊信源的差熵。第二节 连续信道和波形信道的分类知识要点：按噪声统计特性分类，按噪声对信号的作用和功能分类。第三节 连续信道和波形信道的信息传输率知识要点：单符号连续信道的平均交互信息，连续信道的平均交互信息的特性。第四节 连续信道和波形信道的信道容量知识要点：单符号高斯加性信道的信道容量，单符号非高斯加性信道的信道容量，多维无记忆高斯加性信道的信道容量。三、本章学时数8学时第七章：限失真信源编码一、教学要求了解保真度准则下的信源编码定理掌握失真度与平均失真度，信息率失真函数与特性，R(D)函数的参数表述及其计算。二、教学内容第一节 失真度与平均失真度知识要点：失真度与平均失真度，D失真许可试验信道。第二节 信息率失真函数与特性知识要点：信息率失真函数R(D)的定义，离散信源的R(D)函数，高斯连续信源的R(D)函数，R(D)的定义域和单调性等性质。 第三节 信息率失真函数的参量表述与计算知识要点：信息率失真函数的计算第四节 保真度准则下的信源编码定理知识要点：失真限典型序列，失真信源编码定理和编码逆定理，有失真信源编码定理的实用意义。三、本章学时数8学时执笔人： 胡学友 教研室：XXX 系主任审核签名：XXX
