《基于信息论的关于热力学熵和信息熵的讨论与浅析》由会员分享，可在线阅读，更多相关《基于信息论的关于热力学熵和信息熵的讨论与浅析（18页珍藏版）》请在金锄头文库上搜索。
1、唐计 21151624 于航基于信息基于信息论( Theory Of Information )的关于的关于热力学力学熵和信息和信息熵的的讨论与浅析与浅析（高大上的题目2021/6/161熵的概念是由德国德国物理学家克克劳修斯修斯于1865年所提出。化学及热力学中所指的熵，是一种测量在动力学力学方面不能做功的能量总数。熵亦被用于计算一个系统中的失序失序现象。熵是一个描述系统状态的函数，但是经常用熵的参考值和变化量进行分析比较。热力学力学熵 Entropy 利用积分求熵值2021/6/162热力学熵的宏宏观形式：它的定义是，用来描述能量做功的能力能力，熵越大越大能量做功的能力就越弱越弱。由于我们
2、只定义了熵的变化量，因此对一个系统的单一状态来说，宏观的熵没有没有绝对值。我们实际应用的是以“标准状态”为基准的相相对值（标准摩尔熵）。 熵的微观形式，著名的玻玻尔兹曼原理曼原理：S = kln，其中的是玻尔兹曼常数，量纲为 J/K，由于后面对数项不具量纲，所以玻尔兹曼 熵的量纲也是J/K ，这是证明它和宏观形式等价的前提前提。 这也形成了熵最广为人知的理解：熵是系是系统混乱度混乱度（无序程度）的量度（无序程度）的量度。参考文献：知乎熵的两种形式的两种形式 2021/6/1632021/6/164简单介介绍 A Brief Introduction克劳德香农Claude Shannon克克劳劳
3、德德香香农农在1948年的这一篇论文中，提出了“信息信息熵熵”的概念，并且以后信息信息论论也被作为一门单独的学科。著名文献（著名文献（1948）：）：A Mathematical Theory of Communication2021/6/165信息信息熵的来历和热力学力学熵完全不同。把它也叫做“熵”完全是因为香香农老爷子当年提出这个概念时参考了热力学力学熵，并且它的表达式和热力学力学熵的微观形式非常相似（但和宏观描述看不出任何任何相似性）的缘故。后来也有人提出了信息信息熵的其他表述形式，为了方便，下文以最早也最重要的香香农熵为准。-参考文献：知乎信息信息熵 Information Entro
4、py2021/6/1662021/6/167他先后阐述了： 有无噪音噪音的离散系统下（ DISCRETE NOISELESS SYSTEMS & THE DISCRETE CHANNEL WITH NOISE ）“信息的传输”“信息熵的计算”“相关的讨论”解释了：信息熵、信源编码、信道编码、信道容量、信息失真率理论、信号检测和估计等概念。（比较专业）奠定了信息信息论的基础。在在这篇文献中：篇文献中：2021/6/168这篇文献所推篇文献所推导的一个公式的一个公式K就是一个系数，log以2为底随机变量S的取值(s1,s2.sn)，发生的概率是(p1,p2.pn)，和玻尔兹曼熵表达式形式基本一样，
5、只有常数上的差别。结果的量纲为比特（比特（bit）。意意义义？ 指观察者对某一事件（结果）的未知程度未知程度。2021/6/169吴吴军汉语信息信息熵和和语言模型的复言模型的复杂度度里说，只考虑字频的话英文是4.46比特/字符的信息熵，汉字是9.6比特/字符，直观上很容易理解，英文字母只有26个，所以描述一个字母所需要的信息表示不多，而中文字却很多，就需要更多的信息量才能表示。引用文献：CSDN blog汉语信息信息熵和英和英语有区有区别？2021/6/1610这书写的很好，吴吴军军博士当年写谷歌谷歌板报的功底可见一斑。2021/6/1611吴吴军博士李开复：精通技术，并能够用清晰的语言公之于
6、众两个19世纪曾经叱咤风云的巨头，一个虎落平阳，一个老骥伏枥关键时刻的抉择：当互联网来临2021/6/16122021/6/1613甲乙丙三个实力相当的运动员要进行一次比赛，老王老王是比赛的裁判和记分员，他必须观察并如实记录三位选手的名次。所以对于他来说，比赛结果有A33=6种，由于运动员实力相当，每种结果出现的可能性一样，所以结果的熵是log26。老李老李是比赛场地的管理员，他完全不关心谁胜谁负，而只想等到比赛结束下班回家，那么比赛对他的熵是多少呢？答案是零零，因为他只关心比赛有没有结束，而比赛只要一开始就注定会结束，这个结果是唯一确定的。所以老李根本不用观察比赛，只要坐着等就可以了。不同的
7、观察者，由于目的和观测能力的差异，同一个事件的熵也可能是不同的。参考文献：知乎举个栗子个栗子 Example2021/6/1614我们再回头看老王的记分板，他用三组二进制数记录比赛结果。老王的儿子小王（程序员）认为：由于比赛只有三位选手，只要其中两位选手的名次确定第三位选手的名次也就确定了。因此第三组二进制数完全是没有必要的（我们也称它为冗余冗余），如001表示甲乙丙的结果，010表示甲丙乙的结果这样老王每次就只需要三位二进制数（3比特）就可以记录原本要6比特才能表示的信息了。无无损压缩是可能的。是可能的。这也是清晰度差不多的视频文件有的格式卡成狗卡成狗有的格式却十分流十分流畅的原因。参考文献：知乎 More 更多更多2021/6/1615总之，熵就是系统内无序程度，热力学熵就是热力学系统分子的无序程度，信息熵就是在信息传输系统内不同信息（相对于有效信息）的无序程度。信息论也是由此概念而进一步阐释出来，从而突破了香农老爷子的狭义理论，不断的向前发展。参考文献：原创2021/6/1616Thank You All 2021/6/1617 结结束束语语若有不当之处，请指正，谢谢！若有不当之处，请指正，谢谢！
