平均互信息量

《平均互信息量》由会员分享，可在线阅读，更多相关《平均互信息量（33页珍藏版）》请在金锄头文库上搜索。

1、定义定义1：一、平均互信息量的定义一、平均互信息量的定义平均互信息量平均互信息量或交互熵或交互熵Y对对X的的X对Y的平均互信息：信道中流通信息量的整体测度信道中流通信息量的整体测度定义定义2：变形变形1：二、平均互信息的物理意义二、平均互信息的物理意义物理意义：物理意义：平均互信息量是收到平均互信息量是收到Y Y前、后关前、后关于于X X的不确定度减少的量，即由的不确定度减少的量，即由Y Y获得的关于获得的关于X X的平均信息量。的平均信息量。1信道疑义度信道疑义度或损失熵或损失熵 物理意义：物理意义：平均互信息量是发送平均互信息量是发送X X前、后，关于前、后，关于Y Y的平均不确定度减少的

2、量。的平均不确定度减少的量。2噪声熵噪声熵3 物理意义：物理意义：平均互信息量等于通信前、平均互信息量等于通信前、后，整个系统不确定度减少的量。后，整个系统不确定度减少的量。I(X;Y)= H（X）-H（XY） I(X;Y)= H（Y）-H（YX） I(X;Y)= H(X)+ H(Y)- H(XY ) 总结：总结：二、平均互信息的性质二、平均互信息的性质对称性对称性1非负性非负性2互信息量互信息量 可能为负值。可能为负值。但是平均互信息量不会为负值但是平均互信息量不会为负值极值性极值性132凸函数性凸函数性412例例1二元信源X接入对称信道求平均互信息I(X；Y)001100110011I(X

3、;Y)= H（Y）-H（YX）当当q q不变，即固定信道特性不变，即固定信道特性pI(X,Y)0.5当当p=0.5p=0.5 ， I(X,Y) 最大最大001100110.50.50.50.5001111001111当当p p不变，即固定信源不变，即固定信源当当q=0.5q=0.5 ， I(X,Y) =0当当q=0或或1 ， I(X,Y) 最大最大qI(X,Y)0.510I(X;Y)= H（X）-H（XY） H（XY) = H（X）- I(X;Y) I(X;Y)= H（Y）-H（YX） H（YX) = H（Y）- I(X;Y)I(X;Y)= H(X)+ H(Y)- H(XY ) H（XY）=

4、H（X）+ H（Y）-I(X;Y）例例信源X接入图示信道求在该信道上传输的平均互信息量，信道疑义度，噪声熵0.980. 80. 20. 021234567【作业】【作业】 二元等概信源二元等概信源 通通过过信信道道转转移移概概率率为为 的的信信道道传输，传输， 信信宿宿接接收收符符号号Y = y0, y1，计计算算信信源源与与信信宿宿间间的的平均互信息量平均互信息量I（X；Y），信道疑义度，噪声熵），信道疑义度，噪声熵X YX YX YX YX YH（Y）= I(X;Y)+ H（YX）H（X）= I(X;Y)+ H（XY）I(X;Y)= H（X）-H（XY） H（X）= I(X;Y)+ H（XY）I(X;Y)= H（Y）-H（YX） H（Y）= I(X;Y)+ H（YX）I(X;Y)= H(X)+ H(Y)- H(XY ) H（XY）= H（X）+ H（Y）-I(X;Y）