信息论基础2015_02

《信息论基础2015_02》由会员分享，可在线阅读，更多相关《信息论基础2015_02（90页珍藏版）》请在金锄头文库上搜索。

1、信息科学基础信息科学基础 张云飞 计算数学教研室计算数学教研室 Tel: 86402428 第一章 信息科学与信息技术概论 1.0 课程的定位课程的定位 1.1 信息及其特征信息及其特征 1.2 信息科学、信息技术与信息产业信息科学、信息技术与信息产业 1.3 信息论的产生、发展与应用信息论的产生、发展与应用 1.4 课程内容简介与符号说明课程内容简介与符号说明 1.2 信息论、信息技术、信息产业 与信息消费 信息论、信息技术、信息产业 与信息消费 1.2.1 信息论的研究内容、目的与意义信息论的研究内容、目的与意义 1.2.2 信息技术与信息产业信息技术与信息产业 1.2.3 信息消费信息消

2、费 信息技术 信息论 信息加工 信息传递 信息存储 基础理论 信息技术 信息论 信息加工 信息传递 信息存储 基础理论 信息产业 基础理论到产业 信息产业 基础理论到产业 1.理论基础偏重于原理方面.理论基础偏重于原理方面 (1) 通信系统概率统计模型及各要素的描述；通信系统概率统计模型及各要素的描述； (2) 通信系统中度量关系，研究信源产生的信息规模 （信号体积），信道中允许通过的信息（信道容量）， 编译码造成的信息变化； 通信系统中度量关系，研究信源产生的信息规模 （信号体积），信道中允许通过的信息（信道容量）， 编译码造成的信息变化； (3) 有失真与无失真信源的编码方案，不同限制条

3、件下信道的编码方案. 有失真与无失真信源的编码方案，不同限制条 件下信道的编码方案. 上述问题工程背景明确，是通信中的原理性问题， 可化作数学问题研究. 上述问题工程背景明确，是通信中的原理性问题， 可化作数学问题研究. 2.在工程基础方面的问题.在工程基础方面的问题 (1) 信号一般为脉冲信号. 实际通信系统中，脉冲 信号不能直接发射，实际发射的信号是高频振荡波， 脉冲信号是这些高频振荡波的包络. 接收到的信号也是高频振荡波，需要把高频振荡波 判定还原成脉冲信号. 脉冲信号变成高频振荡波发射，高频振荡波还原成 脉冲信号的过程称为调制解调. 调制解调理论即解决信号发射与接收的处理. 信号一般为

4、脉冲信号. 实际通信系统中，脉冲 信号不能直接发射，实际发射的信号是高频振荡波， 脉冲信号是这些高频振荡波的包络. 接收到的信号也是高频振荡波，需要把高频振荡波 判定还原成脉冲信号. 脉冲信号变成高频振荡波发射，高频振荡波还原成 脉冲信号的过程称为调制解调. 调制解调理论即解决信号发射与接收的处理. (2) 高频振荡波分为长、中、短波及超短波与微波；高频振荡波分为长、中、短波及超短波与微波； 按物理特征分声波、电磁波与光波；按物理特征分声波、电磁波与光波； 按传递介质分有线、无线、电缆与光纤等. 按传递介质分有线、无线、电缆与光纤等. 短波可由空间电离层反射而实现远程通信，短波可由空间电离层反

5、射而实现远程通信， 微波需要微波中继站进行中继传送，微波需要微波中继站进行中继传送， 卫星通信是一种特殊的微波中继.卫星通信是一种特殊的微波中继. 调制解调须同时考虑波型、波段与介质等问题，由 此引出不同类型条件下的通信问题. 调制解调须同时考虑波型、波段与介质等问题，由 此引出不同类型条件下的通信问题. (3) 通信系统的发射与接收设备，通信线路，投入 巨大，一般采用多路通信方式，其技术关键在于自动 区分与识别不同用户的信号. 通信系统的发射与接收设备，通信线路，投入 巨大，一般采用多路通信方式，其技术关键在于自动 区分与识别不同用户的信号. 区分与识别采用频分、时分与码分等技术. 区分与识

6、别采用频分、时分与码分等技术. 频分技术，在同样的波段内（如微波），还可对波 段进行细分，使不同用户使用不同的波段，并在调制 解调过程中自动给以区分. 频分技术，在同样的波段内（如微波），还可对波 段进行细分，使不同用户使用不同的波段，并在调制 解调过程中自动给以区分. 许多工程技术的理论基础问题与数学关系十分密切， 如正交变换理论、快速傅里叶变换、滤波与控制问题 等一系列信号处理问题. 许多工程技术的理论基础问题与数学关系十分密切， 如正交变换理论、快速傅里叶变换、滤波与控制问题 等一系列信号处理问题. 信号结构与算 法知识产权 技术标准化 理论研究成果 成熟的产业化 大批量生产 与市场销售

7、 信号结构与算 法知识产权 技术标准化 理论研究成果 成熟的产业化 大批量生产 与市场销售 专利专利 调制 编码 数据压 缩编码 加密 算法 码结构 与算法 专利 国际 标准 调制 编码 数据压 缩编码 加密 算法 码结构 与算法 专利 国际 标准 20世纪科学技术和信 息科学发展重要特征 专利数量 制定产品标准 技术先进企业 产业龙头企业 技术标准 世纪科学技术和信 息科学发展重要特征 专利数量 制定产品标准 技术先进企业 产业龙头企业 技术标准 理论研究专利理论研究专利 3.信息技术 典型问题及其特征 信号结构与算法不涉及硬件设备 硬件设备技术 发射、接收、信 道等设备与技术 信息技术原理

8、到产品中软、硬件全部技术 .信息技术 典型问题及其特征 信号结构与算法不涉及硬件设备 硬件设备技术 发射、接收、信 道等设备与技术 信息技术原理到产品中软、硬件全部技术 软技术基础理论软技术基础理论 4.信息产业.信息产业 信息产业信息技术产品的生产、制造，产品的销 售与售后服务，产品的使用服务. 信息产业信息技术产品的生产、制造，产品的销 售与售后服务，产品的使用服务. 如普通电话,包括电话机的生产与服务部门. 如普通电话,包括电话机的生产与服务部门. 信息产业涉及技术人员，及制造、营业、管理、服 务等问题，从业人员广泛，资金与资源的投入大大高 于信息技术与理论研究的投入. 信息产业涉及技术

9、人员，及制造、营业、管理、服 务等问题，从业人员广泛，资金与资源的投入大大高 于信息技术与理论研究的投入. 微信微信 腾讯腾讯2011年年1月月21日推出经网络快速发送语音短信、 视频、图片和文字，支持多人群聊手机软件。 用户间由微信进行形式上更加丰富的类似于短信、 彩信等方式的联系。微信软件本身完全免费，微信 时产生的上网流量费由网络运营商收取。 日推出经网络快速发送语音短信、 视频、图片和文字，支持多人群聊手机软件。 用户间由微信进行形式上更加丰富的类似于短信、 彩信等方式的联系。微信软件本身完全免费，微信 时产生的上网流量费由网络运营商收取。 2012年年3月底，用户破月底，用户破1亿；

10、亿；2012年年9月月17日，用户 破 日，用户 破2亿；亿；2013年年1月月15日，用户达日，用户达3亿；亿；2013年年11月注 册用户突破 月注 册用户突破6亿，是亚洲地区最大用户群体的亿，是亚洲地区最大用户群体的移动即 时通讯软件 移动即 时通讯软件。 1.3 信息论的产生、发展与应用信息论的产生、发展与应用 信息论或香农信息论信息科学信息论或香农信息论信息科学 起源起源20世纪世纪40年代末年代末 人类文明与科学技术 进步的标志与见证 信息论与信息科 学的发展与变化 人类文明与科学技术 进步的标志与见证 信息论与信息科 学的发展与变化 1.3 信息论的产生与发展信息论的产生与发展

11、1.3.1 信息论的早期酝酿信息论的早期酝酿 1.3.2 香农香农(Shannon)信息论的建立与发展信息论的建立与发展 1.3.1 信息论的早期酝酿 语言 文字 人类文明 书信 图画 音乐舞蹈峰火台 人类可以设计、 构造与利用信息 利用信息 人类进化与 文 明 发 展 信息的产 生与应用 消息树 信息传递 语言 文字 人类文明 书信 图画 音乐舞蹈峰火台 人类可以设计、 构造与利用信息 利用信息 人类进化与 文 明 发 展 信息的产 生与应用 消息树 信息传递 1838年，摩尔斯有线电报；年，摩尔斯有线电报； 1876年，贝尔有线电话；年，贝尔有线电话； 1898年，无线电报技术；年，无线电

12、报技术； 1906年，真空电子管出现并首先用于通信；年，真空电子管出现并首先用于通信； 1918年，无线广播；年，无线广播； 1938年，开始电视广播；年，开始电视广播； 1940年，研制出雷达并用于微波通信系统；年，研制出雷达并用于微波通信系统； 1946年，第一台电子管计算机诞生；年，第一台电子管计算机诞生； 1948年，香农信息概念；年，香农信息概念； 1948年，发明晶体管；年，发明晶体管； 1956年，第一根越洋（大西洋）海缆建成；年，第一根越洋（大西洋）海缆建成； 1958年，第一颗通信卫星上天；年，第一颗通信卫星上天； 1961年，集成电路极大影响通信技术发展；年，集成电路极大影

13、响通信技术发展； 1962年，同步通信卫星上天，年，同步通信卫星上天，1965年国际通信卫星 商业运行， 年国际通信卫星 商业运行，70年代广泛商应；年代广泛商应； 1960年，激光器问世，年，激光器问世，1977年底一个光纤通信系统 投入使用 年底一个光纤通信系统 投入使用. 20世纪初到世纪初到20世纪中，信息论早期酝酿.世纪中，信息论早期酝酿. 为提高通信的质量与效率，改进通信系统. 如采用 通信手段（如有线、无线通信等），改进发射与接收 设备，选择波段与提高信噪比等. 为提高通信的质量与效率，改进通信系统. 如采用 通信手段（如有线、无线通信等），改进发射与接收 设备，选择波段与提高信

14、噪比等. 发现数学理论与工具的使用十分重要，许多问题甚 至是根本原理性的. 发现数学理论与工具的使用十分重要，许多问题甚 至是根本原理性的. 19世纪到世纪到20世纪世纪40年代，形成信息论的一些基本问 题，一系列重要的通信原则开始确定. 年代，形成信息论的一些基本问 题，一系列重要的通信原则开始确定. 1. .3. .1 信息论的早期酝酿信息论的早期酝酿 1.早期编码问题.早期编码问题 2.早期通信中所发现的问题.早期通信中所发现的问题 3.香农熵的产生.香农熵的产生 1. 早期编码. 早期编码 汉字汉字 Morse码码 Bodo码 点、划、空中文电报码 数字 码 点、划、空中文电报码 数字

15、 2. 存在问题. 存在问题 通信量增多 距离加大 信息转送量加大 信号强度衰减 噪声干扰增加 通信质量下降 通信系统瘫痪 通信量增多 距离加大 信息转送量加大 信号强度衰减 噪声干扰增加 通信质量下降 通信系统瘫痪 (1) 发现影响信道通信容量的主要因素发现影响信道通信容量的主要因素 频带宽度 作用 信号强度 频带宽度 作用 信号强度 (2) 通信的数量与质量存在相互制约关系 发射信号频带宽度 噪音强度（或功率） 信噪比 通信的数量与质量存在相互制约关系 发射信号频带宽度 噪音强度（或功率） 信噪比= 数量与质量的制约关系称为有效性与可靠性数量与质量的制约关系称为有效性与可靠性 (3) 数量

16、与质量的相互制约抗干扰码数量与质量的相互制约抗干扰码 增加码长的冗余度 抗干扰性 检错性 纠错码增加码长的冗余度 抗干扰性 检错性 纠错码 信息传递的速率与带宽成正比信息传递的速率与带宽成正比 H. Nyquist L. Hartley 信息的度量与信号的概率分布、对数函数有关信息的度量与信号的概率分布、对数函数有关 3. 香农熵的产生 香农熵 . 香农熵的产生 香农熵 N. .Wiener E. .Fisher Shannon 1. .3. .2 香农香农(Shannon)信息论的建立与发展信息论的建立与发展 1948年香农论文电子通信计算机 知识与信息爆炸 知识与信息的数据量指数速度增长 年香农论文电子通信计算机 知识与信息爆炸 知识与信息的数据量指数速度增长 信息技术产品民用化信息技术产品民用化 信息论信息论理论基础理论基础思想先导思想先导关键技术关键技术 信息技术 信息论 信息与编码 信号处理 信息技术 信息论 信息与编码 信号处理 快速通信 多媒体 网络技术 快速