《基本信息论7熵速率和信道容量》由会员分享，可在线阅读，更多相关《基本信息论7熵速率和信道容量（24页珍藏版）》请在金锄头文库上搜索。
1、2.7 熵速率和信道容量熵速率和信道容量一、信源熵速率一、信源熵速率1、离散信源的熵速率、离散信源的熵速率信源熵速率信源熵速率：信源在单位时间内输出的熵，也：信源在单位时间内输出的熵，也称信息速率或传信率称信息速率或传信率若信源每秒输出若信源每秒输出n个符号，则其熵速率：个符号，则其熵速率：2、连续信源的熵速率、连续信源的熵速率若信源输出带宽有限，最大为若信源输出带宽有限，最大为W，则采样率至则采样率至少为少为2W，则其熵速率：则其熵速率：二、信道容量的概念二、信道容量的概念1、离散信道的信道容量、离散信道的信道容量信道容量信道容量：信道对信源一切可能的概率分布而言：信道对信源一切可能的概率分
2、布而言能够传送的最大熵速率。其单位为比特能够传送的最大熵速率。其单位为比特/秒。秒。用以传送离散消息的信道，称为离散信道。用以传送离散消息的信道，称为离散信道。若离散信源有若离散信源有 N 个符号，符号间无相关性且等个符号，符号间无相关性且等概率分布，则输出熵最大：概率分布，则输出熵最大：若离散信道最多每秒传送若离散信道最多每秒传送 n 个信源符号，则最大个信源符号，则最大熵速率，也即信道容量为：熵速率，也即信道容量为：1）信道容量是信道可能传送的最大熵速率，实）信道容量是信道可能传送的最大熵速率，实际传信率可能大大低于信道容量，造成信道容量际传信率可能大大低于信道容量，造成信道容量不能充分利
3、用。不能充分利用。2）信道容量）信道容量C：比特比特/秒秒信道单位时间内最多可传输的符号数信道单位时间内最多可传输的符号数n：符号符号/秒秒3）若传信率不能满足要求，应先改造信源，充分）若传信率不能满足要求，应先改造信源，充分利用现有信道容量。利用现有信道容量。原因：信源符号间有相关性、符号非等概率分布原因：信源符号间有相关性、符号非等概率分布解决方法：信源最佳编码（匹配编码）解决方法：信源最佳编码（匹配编码）1、连续信道的信道容量、连续信道的信道容量带宽为带宽为 W，平均功率平均功率 P 受限的连续信源，其幅受限的连续信源，其幅度为高斯分布时，输出熵最大：度为高斯分布时，输出熵最大：根据采样
4、定理，每秒的采样率为根据采样定理，每秒的采样率为2W，则信道传则信道传送的最大熵速率，也即信道容量为：送的最大熵速率，也即信道容量为：若信道无噪声，则若信道无噪声，则 信源输出的熵速率信源输出的熵速率 = 信宿接收的熵速率信宿接收的熵速率 信道容量信道容量 = 信源的最大熵速率信源的最大熵速率三、离散有噪声信道中的熵速率和信道容量三、离散有噪声信道中的熵速率和信道容量若信道有噪声，则若信道有噪声，则 信源输出的熵速率信源输出的熵速率 信宿接收的熵速率信宿接收的熵速率 信道容量信道容量 = 信宿端的最大接收熵速率信宿端的最大接收熵速率接收熵速率接收熵速率信源熵：信源熵：H (X)信宿端的接收熵为
5、平均互信息量：信宿端的接收熵为平均互信息量：有噪声信道信宿端的接收熵速率有噪声信道信宿端的接收熵速率R：5/61/61/21/2y1=1 p(y1)=7/12y2=0 p(y2)=5/12p(x1)=1/4 x1=1p(x2)=3/4 x2=0X空间空间Y空间空间例例二元通信系统，信源以平均二元通信系统，信源以平均1000消息消息/秒的速率秒的速率发送消息，计算信源熵速率和信宿端接收熵速率发送消息，计算信源熵速率和信宿端接收熵速率可疑度可疑度H(X/Y)是为了克服信道中噪声干扰、使信是为了克服信道中噪声干扰、使信宿能无差错地加以识别信源发出的消息而必须额宿能无差错地加以识别信源发出的消息而必须
6、额外提供的纠正信息。外提供的纠正信息。四、可疑度的物理解释四、可疑度的物理解释信源信源发射机发射机接收机接收机校正校正理想观察者理想观察者+信道信道噪声噪声正确正确信息信息如有错误发纠错信息如有错误发纠错信息山农设想的理想化通信系统山农设想的理想化通信系统假设：二元信源假设：二元信源 等概率分布等概率分布 p(0) = p(1) = 0.5信道对称，即：信道对称，即：则将理想观察者看成一个离散信源，则将理想观察者看成一个离散信源， 其提供的附加熵：其提供的附加熵：例例二元信源，二元信源，p(0)=p(1)=0.5，每秒信源发出每秒信源发出10000个符号，信号通过有噪声对称信道，其差个符号，信
7、号通过有噪声对称信道，其差错率为错率为1%，求信宿收到的信息速率。，求信宿收到的信息速率。解：信源熵：解：信源熵：信源熵速率：信源熵速率：差错率为差错率为1%，即，即10000个符号错个符号错100个，是否信个，是否信宿端的接收熵速率为：宿端的接收熵速率为：9900比特比特/秒？秒？接收熵速率接收熵速率或或 可疑度可疑度 = 理想观察者提供的附加熵理想观察者提供的附加熵五、离散有噪信道的信道容量五、离散有噪信道的信道容量离散有噪对称信道的信道容量离散有噪对称信道的信道容量二元离散有噪对称信道的信道容量二元离散有噪对称信道的信道容量六、连续有噪信道的熵速率六、连续有噪信道的熵速率高斯白噪声加性波
8、形信道高斯白噪声加性波形信道高斯白噪声：高斯白噪声：平均值为零平均值为零幅度分布为高斯分布幅度分布为高斯分布单边功率谱均匀且其密度为单边功率谱均匀且其密度为N0自相关函数为尖锐的自相关函数为尖锐的函数函数与其它高斯白噪声的互相关系数为零与其它高斯白噪声的互相关系数为零加性：加性：设：输入信号平均功率受限为设：输入信号平均功率受限为P 信道带宽为宽度为信道带宽为宽度为W的矩形的矩形 信道中干扰噪声平均功率为信道中干扰噪声平均功率为N则则 信源信源X与噪声与噪声n的共熵的共熵= 信源熵速率信源熵速率 疑义度熵速率疑义度熵速率= 信宿端总的熵速率信宿端总的熵速率 噪声熵速率噪声熵速率七、连续有噪信道
9、的信道容量七、连续有噪信道的信道容量信道容量信道容量C（最大熵速率）最大熵速率）设设发送信号平均功率为发送信号平均功率为P，信道中噪声平均功率信道中噪声平均功率为为N，则接收信号平均功率为则接收信号平均功率为P+N。在平均功率受限的前提下，信宿端在平均功率受限的前提下，信宿端Y为高斯分布为高斯分布（即信源为高斯分布）时，（即信源为高斯分布）时， 取得最大值取得最大值:而噪声熵速率：而噪声熵速率：信道容量：（山农公式）信道容量：（山农公式）平均功率受限的高斯白噪声连续信道，其信道平均功率受限的高斯白噪声连续信道，其信道容量与信道带宽、功率信噪比有关。其值越大，容量与信道带宽、功率信噪比有关。其值越大，信道容量越大。信道容量越大。平均功率受限的高斯白噪声连续信道，只有在平均功率受限的高斯白噪声连续信道，只有在输入信号幅度为高斯分布时，传信率才能达到输入信号幅度为高斯分布时，传信率才能达到理论最大值，即信道容量。理论最大值，即信道容量。平均功率受限的高斯白噪声连续信道，高斯白平均功率受限的高斯白噪声连续信道，高斯白噪声的危害最大，因其具有最大噪声熵速率。噪声的危害最大，因其具有最大噪声熵速率。山农公式指出了理论上可以达到的信道容量与实际工程技术参数（带宽W、功率信噪比P/N）之间的关系，指出了带宽和信噪比之间可以互换，为实际有用的扩频通信打下了理论基础。
