《广义信息熵的推广与应用》由会员分享，可在线阅读，更多相关《广义信息熵的推广与应用（12页珍藏版）》请在金锄头文库上搜索。
1、青岛农业大学本科生课程论文论文题目广义信息熵的推广与应用学生专业班级信息与计算科学09级02班学生姓名（学号）(20094052)指导教师吴慧完成时间2012年6月28日2012 年 6 月 28 日课程论文任务书学生姓名 指导教师吴慧论文题目论文内容： 本文先介绍了 Shannon 信息熵的定义，并对其进行了一 定的分析，介绍了它的一些基本性质。其次，说明 Shannon熵的局 限性，以此引出了广义信息熵。然后对常用的Renyi熵、Tsallis熵 进行讨论，说明它们与Shannon熵的联系。最后介绍了广义熵在实 际生活中的应用。资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写
2、作规范，具备学术性、科学性和一定的创造性。文字要流畅、语言要 准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点 和见解。涉及到他人的观点、统计数据或计算公式等要标明出处，结 论要写的概括简短。发出任务书日期 2012-6-5完成论文日期2012-6-19教研室意见（签字）广义信息熵的推广与应用信息与计算科学指导教师 吴慧摘要：本文先介绍了 Shannon 熵，由 Shannon 熵推广到一般的广义信息熵，使其适用范围 更广。然后在Shannon熵的基础上介绍了两种最常用的广义信息熵：Renyi熵和Tsallis 熵，说明了这两种广义信息熵的简单性质，以及与 Shannon 熵的联系
3、和性质上的差异。最 后介绍了广义熵在实际生活中的应用。关键词：Shannon熵；广义信息熵；应用The promotion and application of the generalized informationentropyStudent majoring in Information and Computing Science ZhuMengTutor WuHuiAbstract：At the beginning of this article it introduced the Shannon entropy.Then, it described the two most commo
4、nly used generalized information entropy: Renyi entropy and Tsallis entropy on the basis of the Shannon entropy.What is more,this article not only described the simple nature of the generalized information entropy but also described their contact with the Shannon entropy as well as the different nat
5、ure between them.Finally, it introduced the application of the generalized entropy in real life.Keywords: Shannon entropy; generalized information entropy; application引言：熵是信息论中的一个重要概念，对它的研究有十分重要的意义。进入 20世纪中叶，人们发现熵还可以用来描述信息，这就是信息熵。1948年，在贝尔 电报电话公司工作的应用数学家Shannon （香农，声农）发表了通讯的数学理 论一文，成为信息论诞生的标志。目前，用得最
6、多的熵函数是Shannon熵。 Shannon 熵的概念的提出对通信技术的发展具有深远的影响，但是它的应用仅限 于通信等一些很局限的领域而且香农熵的概念在连续随机变量下失去意义。为了 弥补Shannon熵的缺陷，统计学家对熵的定义作了很多推广，形成了广义信息熵。 其中重要的是A.N.Kolmogorov在1958年引入的熵。熵不但解决了连续随机变 量下香农熵定义推广时的困难，而且导致率失真理论的建立。此外，A.Renyi在 1961年时认为香农熵只是在编码问题中才是唯一可取的形式，在其他情况下其他 信息度量同样可用甚至更好。Renyi具体提出所谓的a阶熵，香农熵可以看成是 a阶熵的一种极限形式
7、因而被包括在a阶熵的概念之内。自Renyi后J.Havrda在 1967年提出p熵，S.Arimoto在1971年提出丫熵，S.Guiasu提出了加权熵， B.D.Sharma和D.P.Mittal于 1975年提出a 阶p 次熵，C.Ferreri于 1980年引入次 熵。这些熵在模糊集理论中有着重要的应用。本文从Shannon熵出发，讨论了 主要讨论了Renyi熵和Tsallis熵这两种广义信息熵的性质及其应用。1 Shannon 熵及其性质信息论所关心的是随机变量的不确定性。显然，随机变量的不确定程度越高， 我们从实验中可能获取的信息也就越多。我们知道随机变量的不确定性与其概率 分布有关
8、，直观看来，随机变量的不确定程度并不一样。如随机变量X , Y , Z，T 的概率分布分别为：/ aa 、(bb )（cc、12，12，12， P(T = a) = 10.02 0.98J 0.40.6J0.5 0.5 丿显然在这几个分布中，不确定性从小到大依次为：T，X，Y，Z。对随机变量T ，它是一个常量型随机变量，不确定性为零，相应的概率分布称为退化分布。Z 的不确定性最大，它服从等概率分布。w w w w 那么，若W11 12 13 14，则随机变量W的不确定性比Z还要高。 4444 丿x . x也就是说，X 1 丄，即随机变量X服从等概率分布时的不确定性最0且q工1为一参数。易知当q 1时，H (r )和H (r)即为H (r),RTs因此，这两种熵比 Shannon 熵更具有普适性7。3 广义信息熵在科学研究与实践中的应用广义信息熵比Shannon熵更具有普适性，这些广义熵的概念及理论在其相关 领域的科研与实践中发挥着特别重要的作用，运用信息熵概念及理论去揭开生命 遗传物质DNA遗传密码，便是典型的一例，这是大家所熟知的。在现代农业系统的研究中，利用广义信息熵，相应
