《信息论与其他学科的关系和应用》由会员分享，可在线阅读，更多相关《信息论与其他学科的关系和应用（25页珍藏版）》请在金锄头文库上搜索。
1、信息论与其他学科的关系和应用主要内容信息论与热力学信息论与光学信息论与生物医学 熵的起源熵的起源 热力学中的熵热力学中的熵 信息论中的熵信息论中的熵 二者之间的关系二者之间的关系 对于二者关系的争论：对于二者关系的争论： “ “麦克斯韦妖麦克斯韦妖” ”问题问题 1 1）描述）描述 2 2）解决）解决 back back 熵的起源Entropy Entropy 希腊字母希腊字母 原意：转变原意：转变来源于热力学来源于热力学最早由法国物理学家克劳修斯（最早由法国物理学家克劳修斯（K.ClausiusK.Clausius）在）在热力推动说中提出热力推动说中提出经典热力学中，物理系统熵的变化计算：经
2、典热力学中，物理系统熵的变化计算： 热力学中的熵热力学熵是系统紊乱程度的测量热力学熵是一个物理系统的无组织程度的度量，是系统无序状态的描述，使状态无序性的表现。热力学第二定律指出：一个系统在孤立的封闭状态下，总是自发的由有序状态，走向无序状态，使熵增加。例如：墨水的扩散，一个被隔板分开的两部分气体的混合等。信息论中的熵信息论中的熵也可以看作紊乱程度的度量有秩序的信源其熵最小，无秩序的随机信源其熵最大。信息熵是动态的。当信息通过系统传输到收信者后，信源的熵要改变。二者之间的关系热力学熵的不减原理和信息熵不增原理信息熵和热力学熵的数学表达式是一致的，二者只差一个负号。二者有内在的度量关系热力学熵的
3、不减原理：在任何系统的演化中，系统的总熵是永远不会减少的。信息熵的不增原理：信息熵只会减少，不可能增加。尤其信息经过传输和处理熵只会减少。 back 信息熵是消除不定度所需要的度量，而热力学熵是系统混乱程度的度量。要使混乱的系统有序化就需要有信息，而信息的丢失就表示系统混乱程度的增加。一个系统有序程度增高，则熵就减少，所获取的信息就越多，反之，一个系统无序程度增高，则熵增大，所丢失的信息越多。 back在在N N个等概率状态的物理系统中，输入能量个等概率状态的物理系统中，输入能量QQ，对应的热熵的变化为：对应的热熵的变化为： 其中：其中： 则：则：1 1（比特）（比特）kln2(J/K)kln
4、2(J/K) 要获得一比特的信息，相应要消耗的能量约为要获得一比特的信息，相应要消耗的能量约为0.957x(10-23)(J/K)0.957x(10-23)(J/K)。可见，信息的获取必须借。可见，信息的获取必须借助于一定的物质过程，并伴随着消耗一定的能助于一定的物质过程，并伴随着消耗一定的能量。量。 back back 麦克思韦妖的描述： 著名的物理学家麦克思韦于著名的物理学家麦克思韦于19711971年提出了第二类年提出了第二类永动机模型，既永动机模型，既“ “麦克思韦妖麦克思韦妖” ”。 back back 解决容器是封闭的孤立系统，TaTbT，麦克思韦妖是出于温度为T的封闭体系中。平衡
5、体内是绝对黑体，处于绝对黑体中的妖魔是不可能看清任何东西的。所以，麦克思韦妖无法分辨分子运动的速度 back简介光学信息论光学信息量光量子信道的信道容量最大熵光学图像恢复 back 光是支撑人类生命的一种主要能源，也是光是支撑人类生命的一种主要能源，也是提供人类信息的主要信息源。由于光的存在，人提供人类信息的主要信息源。由于光的存在，人眼才能获取大量的信息。光所提供的信息内容及眼才能获取大量的信息。光所提供的信息内容及其丰富，涉及极抽象的艺术到极深奥的科学。其丰富，涉及极抽象的艺术到极深奥的科学。 光学是人们获取信息的最基本和有效的手段光学是人们获取信息的最基本和有效的手段之一，光信道是人们存
6、储和传递信息的有效手段之一，光信道是人们存储和传递信息的有效手段之一。之一。 光学和信息论的结合形成了一门独立的学科光学和信息论的结合形成了一门独立的学科- -光学信息论。光学信息论。 back back光学信息论 这门学科主要研究: 1.光学成像的图像或物体的信息如何度量; 2.信息量经各种光学系统如何传递; 3.如何衡量最后到达像平面的信息量; 4.不同光学系统或光学方法传递光学信息量 的最大限度和效能; (1955年意大利科学家G.Toraldo Di rancia首先将信息论引入光学领域.)光学信息量一个光场传递信息量的表达式一个光场传递信息量的表达式: : 分别表示分别表示: :时间
7、时间, ,空间空间, ,颜颜 色自由度色自由度. . 是主是主 要的要的. .对于其对于其, , 是最是最 主要的一个实参量主要的一个实参量. . 是一个光学系统中很重要的物理量是一个光学系统中很重要的物理量, ,为数量上准为数量上准确评价个光学系统提供了依据确评价个光学系统提供了依据. . back back 光量子信道的信道容量 从信息论的角度可以认为信道是信号和噪声叠加从信息论的角度可以认为信道是信号和噪声叠加的信道的信道. . 可见可见, ,当频率很高时当频率很高时, ,信道容量的极限是信道容量的极限是C C光量子光量子, ,只有只有当噪比很低时当噪比很低时, ,光量子的信道的极限值才
8、等于香农信光量子的信道的极限值才等于香农信道容量公式的极限值道容量公式的极限值. back. back最大熵光学图像恢复1. 1. 光学物和像的概率解释光学物和像的概率解释光学物和像的概率解释光学物和像的概率解释 物面上的光强度分布等于物物面上的光强度分布等于物物面上的光强度分布等于物物面上的光强度分布等于物面上发出光子的概率分布面上发出光子的概率分布面上发出光子的概率分布面上发出光子的概率分布. . 2.2.最大熵光学图像恢复最大熵光学图像恢复最大熵光学图像恢复最大熵光学图像恢复 若能从获得的像数据中估计若能从获得的像数据中估计若能从获得的像数据中估计若能从获得的像数据中估计出物面上发出光子
9、的概率分出物面上发出光子的概率分出物面上发出光子的概率分出物面上发出光子的概率分布布布布, ,就等于知道了物面的光就等于知道了物面的光就等于知道了物面的光就等于知道了物面的光强度分布强度分布强度分布强度分布. .采用的是最大似采用的是最大似采用的是最大似采用的是最大似然分布方法然分布方法然分布方法然分布方法. .在光学中求最在光学中求最在光学中求最在光学中求最大似然分布等于计算最大熵大似然分布等于计算最大熵大似然分布等于计算最大熵大似然分布等于计算最大熵时的概率分布时的概率分布时的概率分布时的概率分布( (又称为最大又称为最大又称为最大又称为最大熵光学图像恢复方法熵光学图像恢复方法熵光学图像恢
10、复方法熵光学图像恢复方法). ). 求解熵最大的两个约束条件是求解熵最大的两个约束条件是求解熵最大的两个约束条件是求解熵最大的两个约束条件是: :从所探测得到的像数据从所探测得到的像数据,根据约束条件根据约束条件式式,求出达到最大熵的概率分布求出达到最大熵的概率分布Pi,来来重构物的光强度分布重构物的光强度分布.这就是最大熵光这就是最大熵光学图像恢复方法学图像恢复方法 信息论与生物医学两个方面的应用: 1.指导探索DNA的结构 2.应用与医学中的信息分析探索DNA的结构 DNA DNA的关键在于核柑酸的关键在于核柑酸, ,不同不同的核柑酸又不同的碱基的核柑酸又不同的碱基. .由碱基控制由碱基控
11、制氨基酸合成蛋白质氨基酸合成蛋白质. .但是碱基只有但是碱基只有4 4种种, ,而氨基酸有而氨基酸有2020种种. .如何控制呢如何控制呢? ? 如果碱基等概则如果碱基等概则: : 至少要进行三重扩展才可以使碱至少要进行三重扩展才可以使碱基的信息熵大于氨基酸集合的信息基的信息熵大于氨基酸集合的信息熵熵. .人们从信息论的观点提出了核柑人们从信息论的观点提出了核柑酸的三联体的概念酸的三联体的概念. .即有三个核柑酸即有三个核柑酸( (即三个碱基即三个碱基) )编码组成一个遗传密码编码组成一个遗传密码. .而科学实验结果证明了这种想法是而科学实验结果证明了这种想法是正确的正确的. . 可见信息论的指导作用可见信息论的指导作用. . 应用与医学中的信息分析 任何系统都相应有一个描述它稳定的多样性核任何系统都相应有一个描述它稳定的多样性核组织性的信息熵值组织性的信息熵值. .信息熵能对机体中系统状态作出信息熵能对机体中系统状态作出定量描述定量描述, ,在医学研究中具有重要地位在医学研究中具有重要地位. . END
