《信息论与编码西南民族大学》由会员分享，可在线阅读，更多相关《信息论与编码西南民族大学（26页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码 教师： 向强手机：13699062690E_mail: xqiang_西南民族大学电信学院 SWUN1主要参考文献信息理论与编码 姜丹、钱玉美编著 中国科技大学出版社 1992版信息论基础理论与应用 傅祖芸编著 电子工业出版社 2001年版信息论与编码方法西南交通大学勒蕃教授著信息论与编码陈运、周亮、陈新编著 电子工业出版社2需具备的相关数学知识：需具备的相关数学知识：概率与统计理论矩阵理论需了解的相关通信方面知识：需了解的相关通信方面知识：通信原理3第一章第一章 引言引言第一节第一节 信息的一般含义信息的一般含义1.信息的重要性：当代文明的“三大支柱” 信息科学、材料科学、能源
2、科学2.信息的认识1928年美国数学家哈特莱（Hartley）在贝尔系统电话杂志发表题为“信息传输”的论文，认为“信息是选择的自由度”。41948年，美国数学家香农（C.E.Shannon）在贝尔系统电话杂志发表题为“通信的数学理论”的长篇论文，认为“信息就是一种消息”。美国数学家、控制论的主要奠基人维纳(Winner)在1950年出版的控制论与社会一书中认为“信息是人与外界相互作用的过程中所交换的内容的名称。以上对信息的认识都不够准确，具有局限性。信息的含义： 1. “信息”是作为通信的消息来理解的5信宿信道信源图1.1 通信的简化模型6 2. 信息是作为运算内容而明确起来的计算机某种过程输
3、入信息输出信息补充信息图1.2 计算机的运算或控制机理 3. 信息是作为人类感知的来源存在的71.信息论的建立 作为人类活动中最为普遍的现象之一，人们希望信息的传递与交换能够又多、又快、又好、又经济，希望对信息进行定量分析 。1924年奈奎斯特在着手进行影响电报传递速度时，就察觉到信息传输速度与频带宽度有关系。第二节第二节 信息论的基本思路信息论的基本思路 81928年，哈特莱用概率的观点来分析信息传输问题，他指出，如果用D 个不同符号构成字，每个字数包括N个符号时，共可以组成个不同的字，则信息的数量。1948年，仙农发表了一篇通信的数学理论，标志着信息论的正式诞生。第一次提出了信息量的定义，
4、并在离散信道的信息传输容量的研究方面做出了卓越的贡献维纳提出的统计理论、滤波理论成为信息论的一个重要分支。92.狭义信息论（香农信息论）狭义信息论（香农信息论）1948年 C.E.Shannon 香农（信息论奠基人）信息论奠基人）发表了题为发表了题为“通信的数学理论通信的数学理论”的论文。的论文。运用通信技术与概率论、随机过程、数理统计的方法系统讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论：阐明通信系统传递的对象就是信息对信息给予科学的定量描述提出了信息熵的概念101. 形式化假说“消息”与“信息”消息：以文字、语言、图象、图表等形式，对客观物质运动状态、人的思维状态的表述。形式、
5、语义、语用通信的功能：表述精确信息“通信的消息”形式112. 非决定论观点通信的原因： 对方不知道 本人有疑问“不知道”、“有疑问” 知识上的“不确定性”通信对象的一般特性统计特性数学工具概率论与数理统计3. 不确定性信息：数量上等于通信前后“不确定性”的 消除量（减少量）。12“不确定性”“不确定性不确定性”是概率的某一函数是概率的某一函数 f(p(x)“狭义信息量狭义信息量”（I(x) “不确定性不确定性”的消除量）也一定可以的消除量）也一定可以用概率的某一形式表示：用概率的某一形式表示： I(x)=f(p(x)“多种结果的可能性”用概率来度量13第三节第三节 信息论研究的对象、目的和内容
6、信息论研究的对象、目的和内容1. 通信系统的一般模型通信系统的一般模型信源编码器信道译码器信源噪声源图1.3 通信系统模型信号信号+干扰干扰14由于互联网的建立和发展，对安全和保密的要求信 源信源编码信道编码信 道信道译码信源译码信 宿加密编码加密译码噪声源图1.4 信息传输系统模型15实际上数字信息传输系统或存储系统的模型P3-图13及其各部分的作用和特点（P3P5有各个部分的解释）162. 信息论的研究目的（1）可靠性（2）有效性（3）保密性3. 信息论的研究内容（1）狭义信息论：主要研究信息的测度、信道容量以及信源和信道编码理论等问题。17香农信息论压缩理论有失真信源编码无失真信源编码率
7、失真理论压缩编码等长编码定理变长编码定理最优码构成Huffman码Fano码传输理论有噪声信道编码理论码构成纠错码代数编码卷积码网络信道网络信息理论网络最佳码保密理论保密系统的信息理论保密码图1.5 香农信息论的科学体系18（2）一般信息论：主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。（3）广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。194.信息论与编码理论的关系 信息论的发展和
8、编码理论的发展始终是相互依赖、相互促进的，实际上，在信息技术的各个环节-提取，采集，发送，传递，接收，检测，量度，变换，存储，显示和处理中，都有不同形式和不同用途的编码方法。20第四节第四节 模拟信号的数字化以及数字信号的类型模拟信号的数字化以及数字信号的类型1.模拟信号：模拟信号：模拟信号：模拟信号：又称连续信号，其特点是信又称连续信号，其特点是信号电压（电流）的取值是连续的时间函号电压（电流）的取值是连续的时间函数。如话音信号，摄像管发出的图象信数。如话音信号，摄像管发出的图象信号等，不适合于在数字式计算机系统中号等，不适合于在数字式计算机系统中进行处理和存储。进行处理和存储。2.数字信号
9、：数字信号：数字信号：数字信号： 只能有有限个离散上的取值，如电报符号只能有有限个离散上的取值，如电报符号和遥控指令。和遥控指令。模拟信号转化数字化的方法：脉冲编码调制模拟信号转化数字化的方法：脉冲编码调制pcmpcm, ,增量调制增量调制mm，差分脉码调制差分脉码调制cmcm等。等。213.模拟信号数字化的基本原理及步骤：模拟信号数字化的基本原理及步骤：以应用很广的以应用很广的PCM方式为例：方式为例：P5图图1-4（包括抽样、量化和编码三个过程）（包括抽样、量化和编码三个过程）奈奎斯特抽样定理：当抽样周期奈奎斯特抽样定理：当抽样周期ts=1/2w时，抽样的样值脉冲序列包含有连续信时，抽样的
10、样值脉冲序列包含有连续信号号f（t）的全部信息，的全部信息，Ts-奈奎斯特抽奈奎斯特抽样间隔。样间隔。例：例：CCITT规定，语音信号包括保护频规定，语音信号包括保护频带在内共带在内共4000HZ，所以语音抽样频率定所以语音抽样频率定为为8000HZ 。如：彩色电视机信号带宽如：彩色电视机信号带宽6MHZ，采样频率为采样频率为13.3MHZ224、数字信号的类型（P8图1-5， P9图1-6）1）不回零（NRZ）信号lL型：1=高电平，0=低电平lM型：1=间隔开始处有跃变，0=无跃变lS型：1=无跃变，0=间隔开始处有跃变特点：容易实现，带宽利用好，M和S型是差分码；有直流成分，无同步能力。
11、2）回零（RZ）信号1=间隔的前一半有脉冲；0=无脉冲特点：信号简单，易于实现；存在直流成分，对带宽要求高。233)双相信号lL型（Manchester码）：1=间隔中点有从高电平向低电平的跃变，0=间隔中点有从低电平向高电平的跃变。lM型：1=间隔中点有跃变，0=间隔中点无跃变；此外，间隔开始处总有跃变。lS型：1=间隔中点无跃变，0=间隔中点有跃变；此外，间隔开始处总有跃变。l差分曼彻斯特型： 1=间隔开始处无跃变， 0=间隔开始处有跃变；此外，间隔中点处总有跃变特点：无直流成分，有利于差错检测244)延迟调制信号5)双极性回零信号6)多电平信号波形5.信息传输速率l每秒钟传递的信息量码元数目，单位为比特/秒。如：带宽为6MHZ？电视信号，抽样频率为13.3MHZ，每个量化样值按9bit编码，则编成二进制码的传输速率为： 13.3*9=119.7Mbit/s256、码元传输速率 每秒钟传送的码元数目，单位为波特。若某信息系统每秒钟传送50个四电平码元，则该系统的码元传输速率为50B，由于它每一个码元对应于二进制的两位，也就是每一个码元含有2bit的信息量，则其信息传输速率为50*2=100bit/s7、数字信号的调制： 幅度、频率、相位调制26
