《一章节信息论初步讲课教案》由会员分享，可在线阅读，更多相关《一章节信息论初步讲课教案（17页珍藏版）》请在金锄头文库上搜索。
1、1,第一章 信息论初步,离散信源的熵 熵的定义： 设：信源 X 能发出n个不同的消息x1, x2, , xi, , xn， 则定义熵为信源的平均信息量 H(X)： 式中，I (xi) = - log2 P(xi)(b) I (xi)表示消息 xi含有的信息量 熵H(X)可以理解为信源的平均不确定度。,2,二进制信源的熵 设：信源仅有“0”和“1”两种消息。 发送“1”的概率P(1) = ， 则 发送“0”的概率P(0) = 1 - = 信源的熵等于 若一个消息是一个码元，则熵H()的单位：比特 / 码元 H() 曲线 当 = 1/2时，此信源的熵最大；这时的两个消息是等概率出现的，其不确定度最
2、大。 当 1/2时，一个消息比另一个消息更可能出现，因此不确定度减小。 若 或 等于0，则不确定度为0。,3,n 进制信源的熵 设：信源有n种可能出现的消息，并用Pi表示第i个消息的出现概率， 则由熵的定义可以写出此信源的熵 熵的最大值： 令上式对Pk的导数等于0，求H的最大值。 由于 故当Pk变时， 可仅使Pn随之变化，并保持其他Pi为常数。 于是得到 利用求导数公式 上式变为 或,4,令 等于0，就可以求出H的最大值。 当Pk = Pn，上式等于0。由于Pk是任意一个消息的出现概率，所以有 将上式代入 得到H的最大值：,6,输入输出的联合概率矩阵P(X, Y) 将P(X)写成对角线形式：
3、并与 相乘，得到联合概率矩阵P(X, Y)： 式中， 发送 xi 收到 yj 的联合概率,7,例1：设有一个二进制信道，如图所示， 其转移矩阵为： 若信道输入的概率为 试求输出概率矩阵P(Y)和联合概率矩阵P(X, Y)。 解 输出概率矩阵: 联合概率矩阵:,8,1.3 联合熵和条件熵 设：一信道有n个可能输入和m个可能输出， 则可用输入概率P(xi)，输出概率P(yj)，转移概率P(yj/xi)和联合概率P(xi, yj)定义下列不同的熵函数： 信源的平均信息量； 熵 接收码元的平均信息量；熵 给定发送X后接收码元的 平均不确定度；条件熵 收到一个码元后发送码元 的平均不确定度；条件熵 整个
4、通信系统的平均不确 定度。联合熵 联合熵公式： 该式的证明见讲义稿！,9,连续信源的信息度量：见讲义稿！,10,2.4 有扰离散信道的信道容量 互信息量 I (X; Y) 定义：在收到发送码元后，此发送码元的平均不确定度的下降量 式中， H(X) 信源的平均不确定度； H(X / Y) 收到一个码元后发送码元的平均不确定度 上式可以改写为 性质： 信道容量C 定义：互信息量的最大值与发送端符号发送速率r的乘积 （b/s） 性质：C 仅是信道转移概率的函数； C是有扰离散信道的最高信息传输速率。,11,例2：试求下图中的无噪声离散信道的容量。 【解】 由式 及式 可知，对于无噪声信道， 当 i
5、j 时， P(xi, yj) = 0, P(xi / yj) = 0; 当 i = j 时，P(xi / yj) = 1。 因此，H(X / Y) = 0，I(X; Y) = H(X) 若信源中所有码元是等概率的，则信源的熵H(X)最大。 因此，,12,例3：试求图中二进制对称信道的容量。 其中P(x1) = ，P(x2) = 1 - 。 【解】根据信道容量的定义式， 需要求出 的最大值。 上式右端第二项为 将P(x1) = ，P(x2) = 1 - 和转移概率p, q代入上式，得出 上式可以化简为 将上式代入 得到,13,当H(Y)为最大时，上式达到最大。 H(Y)的最大值等于 1，故 按照
6、上式画出的曲线： 结束,14,2.2.2 有扰连续信息的信息传输（见讲义） 对于白色加性高斯噪声的连续信道，它能够传输的最大信息速率由下式给出： 香农-哈特莱(Shannon-Hartley)定律 式中， B 信道带宽（Hz）， S/N 信号噪声功率比。 Cc 信道传输的最大信息速率 (b / s)。 香农第二定理：给定一个容量为Cc的离散无记忆信道和一个正速率为R的信源，若 R Cc，则必定有一种编码，使信源的输出能实现无误传输。,15,容量Cc的特性 保持Cc不变，带宽B和信噪比S/N可以交换。 对于无噪声情况（S/N = ），只要带宽不为0，则容量Cc将是无穷大。 在有噪声情况下，当B 时，Cc趋向于如下极限值： 【证】令x = S/n0B，代入 得到 因为当x 0时，(1 +x)1/x e，所以上式变为,16,例：设1帧黑白电视图像由30万个像素组成，每个像素能取10个亮度电平，并且这10个亮度电平是等概率出现的。若每秒发送25帧图像，要求图像信噪比达到30 dB，试求所需传输带宽。 【解】因为每个像素以等概率取10个可能电平，所以每个像素的信息量等于 而每帧图像的信息量If 等于 因为每秒有25帧图像，故要求信息传输速率为 信道容量Cc 必须不小于此值。由于要求信噪比为30 dB，故将这些数值代入式 得出 即要求,17,2.7 小结,
