《 连续信源的熵连续信道的平均互信息与信道容量》由会员分享，可在线阅读，更多相关《 连续信源的熵连续信道的平均互信息与信道容量（52页珍藏版）》请在金锄头文库上搜索。
1、第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息 与信道容量教学内容和要求 理解单符号连续信源及其模型，理解其熵，掌握其 微分熵 理解单符号连续信道及其模型，掌握其平均互信息 ，理解其信道容量 掌握高斯信道的信道容量，香农公式第6章 连续信源的熵、连续信道的平均互信息与信道容量6.1 单符号连续信源的熵与微分熵1、单符号连续信源定义信源发出的消息为单一符号，这些符号随机取值于 一个连续域表示连续型随机变量X第6章 连续信源的熵、连续信道的平均互信息与信道容量随机变量X的取值x为信源发出的消息第6章 连续信源的熵、连续信道的平均互信息与信道容量例1例
2、2第6章 连续信源的熵、连续信道的平均互信息与信道容量概率密度函数p(x)如图所示2、熵与微分熵p(x)xbaa+(i-1)xa+ix第6章 连续信源的熵、连续信道的平均互信息与信道容量x落在第i个区域的概率根据中值定理p(x)xbaa+(i-1)xa+ix第6章 连续信源的熵、连续信道的平均互信息与信道容量熵第6章 连续信源的熵、连续信道的平均互信息与信道容量微分熵信源发出消息x所对应概率密度函数p(x)对数负值的 数学期望，用h(X)表示定义表示第6章 连续信源的熵、连续信道的平均互信息与信道容量微分熵不能作为连续信源的信息度量定义微分熵的目的 微分熵差具有信息度量的意义 连续信源的微分熵
3、与离散信源的熵在形式上统一第6章 连续信源的熵、连续信道的平均互信息与信道容量均匀信源的微分熵例3第6章 连续信源的熵、连续信道的平均互信息与信道容量高斯信源的微分熵例4第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量不具非负性例如，当b-a1时，均匀信源的微分熵 严格上凸3、微分熵的主要性质和最大微分熵定理微分熵h(X)对于信源概率密度函数p(X)严格上凸第6章 连续信源的熵、连续信道的平均互信息与信道容量平均功率受限下的最大微分熵定理连续信源一般讨论特定限制条件下的最大微分熵最常用的限制条件平均功率受限均值为0 且方差受限第6章 连续
4、信源的熵、连续信道的平均互信息与信道容量设p(x)是任意概率密度函数，但第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量6.2 单符号连续信道的平均互信息1、单符号连续信道定义对应于单符号连续信源和单符号连续信宿的信道表示信源连续型随机变量X 信宿连续型随机变量Y第6章 连续信源的熵、连续信道的平均互信息与信道容量随机变量X的取值x为信源发出的消息随机变量Y的取值y为信宿收到的消息Xp(y/x)Y第6章 连续信源的熵、连续信道的平均互信息与信道容量p(y/x)为信道转移概率密度函数第6章
5、 连续信源的熵、连续信道的平均互信息与信道容量2、噪声熵与噪声微分熵p(y/xi)ydcc+(j-1)yc+jyx落在第i个区域基础上信道转移概率密度函数p(y/xi) 如图所示 i=1,2, ,N第6章 连续信源的熵、连续信道的平均互信息与信道容量p(y/xi)ydcc+(j-1)yc+jyy/xi落在第j个区域的信道转移概率根据中值定理第6章 连续信源的熵、连续信道的平均互信息与信道容量噪声熵第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量噪声微分熵信道将信源发出消息x转移为信宿收到消息y所对应 信道转移概率密度函数p(y/x)对数负
6、值的数学期望 ，用h(Y/X)表示定义表示第6章 连续信源的熵、连续信道的平均互信息与信道容量3、平均互信息信宿收到消息y所对应概率密度函数p(y)对数负值 的数学期望信宿的微分熵与噪声微分熵之差， 用I(X;Y)表示定义表示第6章 连续信源的熵、连续信道的平均互信息与信道容量微分熵不能作为信息度量，平均互信息微分熵 差，具有信息度量的意义信宿每收到一条消息所含信源一条消息的平均信息第6章 连续信源的熵、连续信道的平均互信息与信道容量 以信宿为参考，利用信宿的微分熵和信道的噪声 微分熵来度量信道中传输的平均信息 以信源为参考，利用信源的微分熵和信道的损失 微分熵来度量信道中传输的平均信息第6章
7、 连续信源的熵、连续信道的平均互信息与信道容量4、平均互信息的主要性质 对称性 非负性第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量 严格凸性 信道给定时，I(X;Y)对于信源概率密度函数p(X) 严格上凸 信源给定时，I(X;Y)对于信道转移概率密度函数 p(Y/X)严格下凸第6章 连续信源的熵、连续信道的平均互信息与信道容量6.3 高斯信道的信道容量1、高斯信道加性噪声信道中噪声与信号相互独立且对信号 的作用表现为线性叠加定义第6章 连续信源的熵、连续信道的平均互信息与信道容量表示XY=X+ZZ第6章 连续信源的熵、连续信道的平均互
8、信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量2、高斯信道的噪声微分熵雅可比行列式第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量3、高斯信道的信道容量单符号连续信道给定时，I(X;Y)对于信源概率密度 函数p(X) 严格上凸总能找到一种信源概率密度 函数p(X)，使I(X;Y)达到最大定义信道给定时平均互信息I(X;Y)的最大值，用C表示表示第6章 连续信源的熵、连续信道的平均互信息与信道容量信源平均功率受限下，信宿高斯分布是否可达？第6章 连续信源的熵、连续信道的平均互信息与信道容量达到信道容量的信源概率密度函数信
9、道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量6.4 带宽有限高斯信道的信道容量香农公式1、波形信道定义对应于波形信源和波形信宿的信道表示信源连续型随机过程X(t) 信宿连续型随机过程Y(t)第6章 连续信源的熵、连续信道的平均互信息与信道容量随机过程X(t)在t时刻的取值x(t)为信源发出的消息随机过程Y(t)在t时刻的取值y(t)为信宿收到的消息第6章 连续信源的熵、连续信道的平均互信息与信道容量X(t)py(t)/x(t)Y(t)py(t)/x(t)为信道转移概率密度函数第6章 连续信源的熵、连续信道的平均互信息与信道容量2、带宽有限高斯信道定义表示第6章 连续信源的熵、连续
10、信道的平均互信息与信道容量3、带宽有限高斯信道的信道容量根据采样定理，不失真传输一条消息的最小时间 T=1/2W 0,T时间，波形信道单符号连续信道信源平均功率受限下信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量达到信道容量的信源概率密度函数第6章 连续信源的熵、连续信道的平均互信息与信道容量4、单位时间的信道容量波形信道习惯于信道单位时间内平均互信息的最大 值单位时间的信道容量定义单位时间的信道容量，用Ct表示表示第6章 连续信源的熵、连续信道的平均互信息与信道容量其中T为平均传输一条消息所需的时间单位为bit/sec(bps)第6章 连续信源的熵、连续信道的平均互信息与信道容
11、量5、香农公式T=1/2W第6章 连续信源的熵、连续信道的平均互信息与信道容量6、香农公式的意义 信道容量正比于信噪功率比，且信噪功率比小于1 时信道容量仍大于0 信道容量正比于所传输信号的带宽，但所传输信 号的带宽趋于无穷时，信道容量趋于有限值第6章 连续信源的熵、连续信道的平均互信息与信道容量 信道容量一定时，增大所传输信号的带宽，可以 降低对信噪功率比的要求，反之亦然第6章 连续信源的熵、连续信道的平均互信息与信道容量带宽有限高斯信道所传输信号的带宽W=3kHz，信 道容量Ct=1.5104bps，求信噪功率比；如果将信噪 功率比降低到-3dB，求保持同样信道容量所需的带 宽例1第6章 连续信源的熵、连续信道的平均互信息与信道容量
