《信息论与编码基础 (7)》由会员分享，可在线阅读，更多相关《信息论与编码基础 (7)（16页珍藏版）》请在金锄头文库上搜索。
1、思考与探究思考与探究熵的性质对称性对称性确确定定性性非负性非负性独立界独立界可加性可加性极极值值性性扩展性扩展性熵 的 性 质 2目 录CONTENTS扩 展 性一极 值 性二熵的独立界三一、扩展性3熵的性质极小概率事件极小概率事件对信源信源熵的影响可忽略不的影响可忽略不计。信源取值增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。从整体考虑时，因为这些概率极小的事件几乎不会出现，所以它在熵的计算中占的比重很小，致使总的信息熵值维持不变。极小概率事件，提供的信息量是极大的。极小概率事件，提供的信息量是极大的。二、极值性4熵的性质詹森不等式二、极值性5熵的性质詹森不等式二、极值性6熵
2、的性质例1 二元信源的信息熵二、极值性7熵的性质比较概率分布(p1,pi,pj,pm)的熵与概率分布（p1,(pi+pj)/2,(pi+pj)/2,pm）的熵的大小？（A）等于（C）大于（B）不确定（D）小于三、熵的独立界8熵的性质定理条件作用使熵减小，即等号成立当且仅当X与Y相互独立。三、熵的独立界9熵的性质定理条件作用使熵减小，即等号成立当且仅当X与Y相互独立。条件熵随N的增加是非递增的，即三、熵的独立界10熵的性质定理关联性是减小熵的三、熵的独立界11熵的性质熵率（极限熵）一只狗在整数点上行走，在走每一步时都有可能以概率p=0.1向反方向行走一步。设X0=0，且第一步朝正方向或者朝负方向
3、走动是等可能的。一个代表性的走动可能如下：(X0,X1,)=(0,-1,-2,-3,-4,-3,-2,-1,0,1,)(a)试求H(X1,X2,XN);(b)计算这只狗随意行走过程的熵率。狗寻觅骨头的熵率狗寻觅骨头的熵率三、熵的独立界12熵的性质设X1,X2,XN-1为取值于0，1的i.i.d.随机变量，且PrXi=1=1/2。当X1,X2,XN-1 和为奇时，XN=1，否则XN=0。假定N大于等于3。(1)求H(Xi,Xj),ij;(2)熵率？思考与探究思考与探究熵的性质洗牌使熵增加如果T是一副扑克牌的一个洗牌操作（置换），X表示这副牌的初始排列（随机的），且假定洗牌T的选取独立于X，那么有其中T(X)表示的是由洗牌T作用于初始排列X而获得的新排列。二、极值性14熵的性质 小小 结结15熵的性质本课小结：扩展性极值性独立界对称性对称性确确定定性性非负性非负性独立界独立界可加性可加性极极值值性性扩展性扩展性信息论与编码基础国防科技大学授课教师:黄 英 副教授熵 的 性 质（扩展性、极值性、独立界扩展性、极值性、独立界）
