微分熵与平均互信息微分熵与平均互信息第第8章章 微分熵与平均互信息微分熵与平均互信息Ø信息如何度量？信息如何度量？ 微分熵与平均互信息微分熵与平均互信息8.1 微分熵微分熵1、单符号连续信源、单符号连续信源定义定义信源发出的消息为单一符号，这些符号随机取值信源发出的消息为单一符号，这些符号随机取值于一个连续域于一个连续域表示表示连续型随机变量连续型随机变量X 微分熵与平均互信息微分熵与平均互信息随机变量随机变量X的取值的取值x为信源发出的消息为信源发出的消息 微分熵与平均互信息微分熵与平均互信息例例1例例2 微分熵与平均互信息微分熵与平均互信息概率密度函数概率密度函数p(x)如图所示如图所示2、熵与微分熵、熵与微分熵p(x)xbaa+(i-1)Δxa+iΔx 微分熵与平均互信息微分熵与平均互信息x落在第落在第i个区域的概率个区域的概率根据中值定理根据中值定理p(x)xbaa+(i-1)Δxa+iΔx 微分熵与平均互信息微分熵与平均互信息①①熵熵 微分熵与平均互信息微分熵与平均互信息②②微分熵微分熵消息消息x所对应概率密度函数所对应概率密度函数p(x)对数负值的数学期对数负值的数学期望，用望，用h(X)表示表示定义定义表示表示 微分熵与平均互信息微分熵与平均互信息微分熵不能作为连续信源的信息度量微分熵不能作为连续信源的信息度量定义微分熵的目的定义微分熵的目的Ø微分熵差具有信息度量的意义微分熵差具有信息度量的意义Ø连续信源的微分熵与离散信源的熵在形式上连续信源的微分熵与离散信源的熵在形式上统一统一 微分熵与平均互信息微分熵与平均互信息均匀信源的微分熵均匀信源的微分熵例例3 微分熵与平均互信息微分熵与平均互信息高斯信源的微分熵高斯信源的微分熵例例4 微分熵与平均互信息微分熵与平均互信息 微分熵与平均互信息微分熵与平均互信息①①不具有非负性不具有非负性例如，当例如，当b-a<1时，均匀分布信源的微分熵时，均匀分布信源的微分熵②② 严格上凸性严格上凸性3、微分熵的主要性质和最大微分熵定理、微分熵的主要性质和最大微分熵定理 微分熵与平均互信息微分熵与平均互信息③③平均功率受限下的最大微分熵定理平均功率受限下的最大微分熵定理连续信源一般讨论特定限制条件下的最大微分熵连续信源一般讨论特定限制条件下的最大微分熵最常用的限制条件最常用的限制条件——平均功率受限平均功率受限——均值为均值为0且方差受限且方差受限 微分熵与平均互信息微分熵与平均互信息设设p(x)是任意概率密度函数，但是任意概率密度函数，但 微分熵与平均互信息微分熵与平均互信息 微分熵与平均互信息微分熵与平均互信息 微分熵与平均互信息微分熵与平均互信息8.2 联合微分熵与条件微分熵联合微分熵与条件微分熵信源发出的消息为有限或可数的符号序列，符号信源发出的消息为有限或可数的符号序列，符号序列中任何时刻的符号都随机取值于同一个连续序列中任何时刻的符号都随机取值于同一个连续域域1、多符号连续信源、多符号连续信源定义定义表示表示连续型随机变量序列连续型随机变量序列X1X2…Xn 微分熵与平均互信息微分熵与平均互信息 微分熵与平均互信息微分熵与平均互信息例例1例例2 微分熵与平均互信息微分熵与平均互信息2、联合微分熵与条件微分熵、联合微分熵与条件微分熵联合微分熵联合微分熵——消息消息x1x2…xn所对应联合概率密度所对应联合概率密度函数函数p(x1x2…xn)对数负值的数学期望，用对数负值的数学期望，用h(X1X2…Xn)表示表示定义定义表示表示 微分熵与平均互信息微分熵与平均互信息条件微分熵条件微分熵——消息消息x1x2…xn所对应条件概率密度所对应条件概率密度函数函数p(xk/x1…xk-1)对数负值的数学期望，用对数负值的数学期望，用h(Xk/X1…Xk-1)表示表示其中其中1