第四章第四章波形信源和波形信道波形信源和波形信道第一节 波形信源的统计特性和离散化第二节 连续信源和信源的信息测度第三节 具有最大熵的连续信源第四节 连续信道和波形信道的分类第五节 连续信道和波形信道的信息传输率第六节 连续信道和波形信道的信道容量第七节 连续信道编码定理 第一第一节波形信源的波形信源的统计特性和离散化特性和离散化实际某些信源的输出常常是时间和取值都是连续的消息例如语音信号、电视信号这样的信源成为随机波形信源，其输出消息可以用随机过程{x(t)}来表示随机过程{x(t)}可以看成由一族时间函数组成称为样本函数每个样本函数是随机过程的一个实现（1）随机波形信源中消息数是无限的2）随机波形信源可用有限维概率密度函数族以及与各维函数概率密度函数有关的统计量来描述 第一第一节波形信源的波形信源的统计特性和离散化特性和离散化就统计特性的区别来说，随机过程大致可分为平平稳随机随机过程程和非平非平稳过程程两大类。
最常见的平稳随机过程为遍历过程，它不但统计特性不随时间平移而变化，而且它的集平均以概率1等于时间平均对于随机过程来说，只要是限频的，它的每个样本函数也可作同样的取样处理每个样本函数都可以用一系列时刻上的样本值来表征因为随机过程的样本函数x(t)有无限多个，因此，取样后瞬间的样本值是一个随机变量 第一第一节波形信源的波形信源的统计特性和离散化特性和离散化这样，通过取样，随机过程就成为可数的无限维的随机序列如果随机过程又是限时的，时间间隔为T，则就成为2FT个有限维的随机序列取样之后还要对取值的离散化取样加量化才使随机过程变换成时间的取值都是离散的随机序列量化必然带来量化噪声，引起信息损失随机过程描述输出消息的信源称为随机波形信源随机波形信源用连续随机变量描述输出消息的信源称为连续信源连续信源 第二第二节波形信源和波形信源的信息波形信源和波形信源的信息测度度连续信源的差信源的差熵先看单个变量的基本连续信源的信息测度。
基本连续信源的输出是取值连续的单个随机变量可用变量的概率密度，变量间的条件概率密度和联合概率密度来描述变量的一维概率密度函数为一维概率分布函数为条件概率密度函数为联合概率密度函数为 第二第二节波形信源和波形信源的信息波形信源和波形信源的信息测度度它们之间的关系为基本连续信源的数学模型为其中R是全实数集 连续信源的差熵连续信源的信息熵第二第二节波形信源和波形信源的信息波形信源和波形信源的信息测度度这样的话：舍弃无穷大的第二项，可得：定义连续信源的熵连续信源的熵为： 第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度同理可以定义两个连续变量X、Y的联合熵和条件熵 第二第二节波形信源和波形信源的信息波形信源和波形信源的信息测度度连续信源的差熵只具有熵的部分含义和性质（1）可加性并当且仅当X 与Y 统计独立时所以可得（2）凸状性和极值性差熵h(X) 是输入概率密度函数p(x) 的П型凸函数，对于某一概率密度函数可以得到差熵的最大3）差熵可为负值 第二第二节波形信源和波形信源的信息波形信源和波形信源的信息测度度波形信源的差波形信源的差熵实际信源的输入和输出都是平稳随机过程，其{x(t)}和{y(t)}可以通过取样，分解成取值连续的无穷平稳随机序列来表示，所以平稳随机过程的熵就是无穷平稳随机序列的熵。
波形信源的差熵: 第二第二节波形信源和波形信源的信息波形信源和波形信源的信息测度度当对于限频F/限时T的平稳随机过程，它可以近似地用有限维N=2FT平稳随机矢量表示这样，一个频带和时间都为有限的连续时间过程就转化为有限维时间离散的平稳随机序列了和离散变量中一样，易于证明:且当随机序列中各变量统计独立时等式成立 第二第二节波形信源和波形信源的信息波形信源和波形信源的信息测度度两种特殊两种特殊连续信源的差信源的差熵1.均匀分布连续信源的熵值一维连续随机变量X在[a,b]区间内均匀分布时，这基本连续信源的熵为N维连续平稳信源，若其输出N维矢量其分量分别在 的区域内均匀分布，N维连续平稳信源的差熵为 第二第二节波形信源和波形信源的信息波形信源和波形信源的信息测度度无记忆连续平稳信源和无记忆离散平稳信源一样，差熵也满足限频、限时均匀分布的波形信源的熵为在波形信源中常采用单位时间内信源的差熵——熵率均匀分布的波形信源的熵率为 第二第二节波形信源和波形信源的信息波形信源和波形信源的信息测度度连续信源的熵为:可见，正态分布的连续信源的熵与数学期望m无关，只与其方差有关。
2.高斯信源的熵值基本高斯信源是指信源输出是一维随机变量X的概率密度分布是正态分布，即 高斯噪声信源的熵第二第二节波形信源和波形信源的信息波形信源和波形信源的信息测度度如果N维连续平稳信源输出的N维连续随机矢量是正态分布则称此信源为N维高斯信源高斯信源其差熵为：当各变量之间统计独立，则C为对角线矩阵，并有所以，N维无记忆高斯信源的熵即N维统计独立的正态分布随机变量的差熵为当均值m=0时，X的方差 就等于信源输出的平均功率P： 第三第三节具有最大具有最大熵的的连续信源信源通常我们最感兴趣的是两种情况：一种是信源的输出值受限；一种是信源的输出平均功率受限峰峰值功率受限条件下信源的最大功率受限条件下信源的最大值若某信源输出信号的峰值功率受限为，它等价于信源输出的连续随机变量X的取值幅度受限，限于[a,b]内取值在约束条件下信源的最大相对熵定理定理若信源输出的幅度被限定在[a,b]区域内，则当输出信号的概率密度是均匀分布时信源具有最大熵其值等于log(b-a)。
若当N维随机矢量取值受限时，也只有随机分量统计独立并均匀分布时具有最大熵 第三第三节具有最大具有最大熵的的连续信源信源平均功率受限条件下信源的最大平均功率受限条件下信源的最大值定理定理若一个连续信源输出信号的平均功率被限定为P，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大熵，其值为对于N维连续平稳信源来说，若其输出的N维随机序列的协方差矩阵C被限定，则N维随机为正态分布时信源的熵最大，N维高斯信源的熵最大，其值为这一结论说明，当连续信源输出信号的平均功率受限时，只有信号的统计特性与高斯统计特性一样时，才会有最大的熵值 第三第三节具有最大具有最大熵的的连续信源信源对于N维平稳信源也可用类似证明方法，证得当其输出的N维协方差矩阵C受限时，N维高斯信源的熵最大，最大值为随机序列中各分量之间不相关，又，则可证得N维随机序列得各分量彼此统计独立，并各自达到正态分布时熵最大，也就是N维无记忆高斯信源的熵最大，最大值为。
如果序列中各分量的均值为零，而平均功率为，则得N维无记忆高斯信源得熵最大，最大值为 第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类波形信道：信道的输入和输出都是随机过程{x(t)}和{y(t)}连续信道：用连续随机变量来描述信道的输入和输出的消息取样主要研究：噪声 系统外噪声 系统内噪声 热噪声 散粒噪声 第四第四节连续信道和波形信道的分信道和波形信道的分类按噪声按噪声统计特性分特性分类1.高斯信道信道中的噪声是高斯噪声高斯噪声是平稳遍历的随机过程，其瞬时值的概率密度函数服从高斯分布（即正态分布）一维概率密度函数为常见的是二维高斯随机变量 第四第四节连续信道和波形信道的分信道和波形信道的分类信道中的噪声是白噪声白噪声也是平稳遍历的随机过程它的功率谱密度均匀分布于整个频率区间功率谱密度为一常数其瞬时值的概率密度函数可以是任意的此处白噪声的功率是按正、负两半轴上的频谱定义的。
只采用正半轴频谱来定义，则功率谱为，常称为单边谱密度而称为双边谱密度，单位为瓦/赫(W/Hz)白噪声的相关函数是函数：2.白噪声信道 第四第四节连续信道和波形信道的分信道和波形信道的分类3.高斯白噪声信道具有高斯分布的白噪声称为高斯白噪声一般情况把既服从高斯分布而功率谱密度又是均匀的噪声称为高斯白噪声关于低频限带高斯白噪声有一个很重要的性质，即低频限带高斯白噪声经过取样函数取值后可分解成N（＝2FT）个统计独立的高斯随机变量（方差为，均值也为零）低频限带高斯白噪声可以看成是无限带宽的高斯白噪声通过一个理想低通滤波器后所得如果理想低通滤波器其带宽为F赫兹，那么它的传递函数的频率响应为 第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类考虑双边谱密度，低频限带高斯白噪声的功率谱密度为其自相关函数由功率谱密度可知在时间间隔的两个样本点之间的相关函数等于零，所以各样本值之间不相关有因为随即变量是高斯概率密度分布的，所以随机变量之间统计独立 第四第四节连续信道和波形信道的分信道和波形信道的分类4.有色噪声信道除白噪声以外的噪声称为有色噪声。
信道的噪声是有色噪声称此信道为有色噪声信道 按噪声按噪声对信号的功能分信号的功能分类1.乘性信道信道中噪声对信号的干扰作用表现为是与信号相乘的关系，则信道称为乘性信道，噪声称为乘性干扰在实际无线电通信系统中常会遇到乘性干扰2.加性信道信道中噪声对信号的干扰作用表现为与信号相加的关系，则此信号称为加性信道，此噪声称为加性噪声第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类 第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类连续信道的分信道的分类我们研究波形信道，就是要研究波形信道的信息传输问题一方面为了便于研究，另一方面因为实际波形信道的频率总是受限的,所以在有限观察时间T内，能满足限频F，限时T的条件因此，根据时间取样定理把波形信道的输入{x(t)}和输出{y(t)}的平稳随机过程信号离散化成N(=2FT)个时间离散，取值连续的平稳随即序列:和这样，波形信道就转化成多维连续信道。
第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类若多维连续信道的传递概率密度函数满足则称此信道为连续无记忆信道若连续信道在任一时刻输出的变量只与对应时刻的输入变量有关，与以前时刻的输入，输出变量无关，也与以后的输入变量无关，则此信道为无记忆连续信道连续信道任何时刻的输出变量与其他任何时刻的输入，输出变量都有关则此信道称为连续有记忆信道 第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类基本连续信道就是输入和输出都是单个连续型随机变量的信道，基本连续信道就是单符号连续信道，其输入是连续型随机变量X，X取值于[a,b]或实数域R；输出也是连续性随机变量Y，取值于或实数域R；信道的传递概率密度函数为p(y|x)，并满足因此，可用来描述单符号连续信道根据噪声的统计特性和作用，多维连续信道和单符号连续信道同样有加性信道，乘性信道和高斯信道等之区分对于加性信道，信道的传递概率密度函数就等于噪声的概率密度函数。
这也进一步说明了信道的传递概率是由于噪声所引起的 噪声n输入Y输入X第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类因此，在加性信道中，条件熵为 根据坐标变换得 所以 结论说明了条件熵 是由于信道中噪声引起的，它完全等于噪声信源的熵，所以称为噪声熵 以后主要讨论的是加性信道，噪声源主要是高斯白噪声高斯白噪声 信道+ 第五第五节连续信道和波形信道的信息信道和波形信道的信息传输率率单符号符号连续信道的平均互信息信道的平均互信息单符号连续信道的数学模型为输入信源X为输出信源Y为而信道的传递概率密度函数为 第五第五节连续信道和波形信道的信息信道和波形信道的信息传输率率对于连续信道的平均互信息来说，关系式和离散信道下平均互信息的关系式完全类似，而且保留了离散信道平均互信息的含义和性质，只是表达式中用连续信源的差熵代替了离散信源的熵。
单符号连续信道的信息传输率（比特/自由度）平均互信息为： 第五第五节连续信道和波形信道的信息信道和波形信道的信息传输率率多维连续信道的平均互信息多维连续信道的平均互信息多维连续信道的数学模型是[X，p(y|x)，Y]，其传递概率密度函数为：多维连续信道的平均互信息为： 第五第五节连续信道和波形信道的信息信道和波形信道的信息传输率率根据随机矢量X和Y的差熵和条件差熵的表达式可得：以上表达式与离散信道下平均互信息的完全类，只是表达式中概率分布函数用概率密度函数来替代，求和号用积分号来替代因此，离散扩展信道中平均互信息的性质在多维连续信道中仍成立 第五第五节连续信道和波形信道的信息信道和波形信道的信息传输率率多维连续信道的信息传输率（比特/N自由度）平均每个自由度的信息传输率（比特/自由度）波形信道的信息传输率波形信道的信息传输率波形信道输入是平稳随机过程{x(t)}，输出也是平稳随机过程{y(t)}一般情况，对于波形信道来说，都是研究其单位时间内的信息传输率 第五第五节连续信道和波形信道的信息信道和波形信道的信息传输率率1.非负性2.对称性（交互性）因为当X和Y统计独立时即p(x|y)=p(x), I(X;Y)=I(Y;X)=0就不可能从一个随机变量获得关于另一个随机变量的信息。
3.凸状性连续变量之间的平均互信息是输入连续变量X和概率密度函数p(x)的∩型凸函数；平均互信息又是连续信道传递概率密度函数p(y|x)的U型凸函数连续信道平均互信息的特性连续信道平均互信息的特性 第六第六节连续信道和波形信道的信道容量信道和波形信道的信道容量和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输率，称为信道容量它也是信道可靠传输的最大信息传输率对于不同的连续信道和波形信道，它们存在的噪声形式不同，信道的带宽以及信号的各种限制不同，所以具有不同的信道容量一般的多维连续信道多维连续信道的信道容量为:一般的波形信道波形信道的信道容量为: 第六第六节连续信道和波形信道的信道容量信道和波形信道的信道容量一般多维加性连续信道多维加性连续信道的信道容量为:加性信道的信道容量取决于噪声的统计特性和输入随机矢量所受的限制条件一般的实际信道中，无论输入信号和噪声的平均功率或能量总是有限的一般加性波形信道加性波形信道的信道容量为: 第六第六节连续信道和波形信道的信道容量信道和波形信道的信道容量单符号高斯加性信道符号高斯加性信道单符号高斯加性信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是加性高斯噪声。
设信道迭加的噪声n是均值为零，方差为的一维高斯噪声，噪声信源的熵为高斯加性信道的信道容量平均功率受限高斯信道的信道容量只有当信道的输入信号是均值为零，平均功率为高斯分布的随机变量时，信息传输率才能达到最大值 第六第六节连续信道和波形信道的信道容量信道和波形信道的信道容量单符号非高斯加性信道符号非高斯加性信道信道的输入和输出都是取值连续的一维随机变量X和Y信道的噪声Z时均值为零，平均功率为Pn的加性噪声而且输入信号X的平均功率受限为Ps这时噪声是非高斯噪声当且仅当噪声为高斯加性时，等号才成立多多维无无记忆高斯加性高斯加性连续信道信道信道输入随机序列，输出随机序列 第六第六节连续信道和波形信道的信道容量信道和波形信道的信道容量因为是加性信道，所以有Y=X+n，其中是均值为零的高斯噪声当且仅当输入随机矢量X中各分量统计独立，并且均值为零，方差为不同的高斯变量时才能达到此信道容量高斯白噪声加性波形信道高斯白噪声加性波形信道信道的输入和输出信号是随机过程{x(t)}和{y(t)}，而加入信道的噪声是加性高斯白噪声{n(t)}（其均值为零，功率谱密度为，输出信号满足{y(t)}={x(t)}+{n(t)} 第六节第六节 连续信道和波形信道的信道容量连续信道和波形信道的信道容量 波形信道可以分解成N维统计独立得随机序列，每个分量均值为0，方差为 每个信号样本值的平均功率为在[0,T]时刻内，信道的信道容量为 第六第六节连续信道和波形信道的信道容量信道和波形信道的信道容量要达到这个信道容量要求输入N维随机序列X中每一分量Xi都是均值为零，方差为Ps，彼此统计独立的高斯变量。
高斯白噪声加性信道的单位时间的信道容量其中Ps是信号的平均功率，为高斯白噪声在带宽W内的平均功率可见，信道容量与信噪功率比和带宽有关 第六第六节连续信道和波形信道的信道容量信道和波形信道的信道容量这就是重要的香农公式当信道输入信号是平均功率受限的高斯白噪声信号时，信息传输率才达到此信道容量一些实际的信道是非高斯波形信道由前可知高斯加性信道的信道容量是非高斯信道容量的下限值所以，香农公式可适用于其他一般的非高斯波形信道，由香农公式得到的值是非高斯波形信道的信道容量的下限值由香农公式可以看出，当带宽W增大时，信道容量也开始增大，当时，趋于一极限值 第七第七节连续信道信道编码定理定理第五章中讨论了香农第二定理，对连续信道同样是成立的只是和研究信道容量一样，还必须对输入信源加以某些限制条件才能建立编码定理由信源编码定理得知，连续信道的信道容量C同样是连续信源中可靠通信的最大信息传输率定理定理对于限带高斯白噪声加性信道，噪声功率为，带宽为W，信号平均功率受限为，（1）当，总可以找到一种信道编码在信道中以信息传输率R传输信息，而使错误概率任意小。
第七第七节连续信道信道编码定理定理（2）当找不到一种信道编码，在信道中以R传输信息而使错误概率任意小定理的证明方法可类似于离散信道的情况在连续信源中也可以定义典型序列和典型序列集由连续信道编码定理可知，香农公式对实际通信系统有着十分重要的指导意义香农公式给出了达到无错误（无失真）通信的传输速率的理论极限值，现在称为香农极限我们简要的讨论一下香农公式的某些实际应用 第七第七节连续信道信道编码定理定理以上的香农公式把信道的统计参量（信道容量）和实际物理量（频带宽宽度W，时间T，信噪功率比 ）联系起来它表明一个信道可靠传输的最大信息量完全由W，T， 所确定一旦这三个物理量给定，理想通信系统的极限信息传输率确定了由此可见，对一定的信息传输率来说，带宽W，传输时间T和信噪功率比 三者之间可以相互转换 （1）若传输时间T固定，则扩展信道的带宽W就可以降低 信噪比的要求；反之，带变窄，就要增加信噪功率比 第七第七节连续信道信道编码定理定理（2）如果信噪比固定不变，则增加信道的带宽W就可以缩短传送时间T，换取传输时间的节省；或者花费较长的传输时间来换取频带的节省。
3）如果保持频带不变，我们可以采用增加时间T来改善信噪比这一原理已被应用于弱信号接收技术中，即所谓积累法这种方法是将重复多次收到的信号叠加起来由于有用信号直接叠加，而干则是按功率相加，因而经积累相加后，信噪比得到改善，但所需接收时间相应增长。