《最新信息论与编码第三章复习PPT精品课件》由会员分享，可在线阅读，更多相关《最新信息论与编码第三章复习PPT精品课件（41页珍藏版）》请在金锄头文库上搜索。
1、第三章第三章对称对称DMC信道信道无干扰信道无干扰信道单符号加性信道单符号加性信道限时限频高斯白噪声信道限时限频高斯白噪声信道分类分类离散单符号信道离散单符号信道离散序列信道离散序列信道连续信道连续信道多维无记忆加性信道（注水法）多维无记忆加性信道（注水法）7/29/20241Department of Communication China Ji Liang University 7/29/20242Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量3.1 信道的分类和表示参数(1) 一般信
2、道的数学模型一般信道的数学模型(2) 信道的分类信道的分类(3) 实际的信道实际的信道(4) 信道的参数信道的参数7/29/20243Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量(1)一般信道的数学模型信道编码器信道编码器基带调制器信道+噪声调制器信道+噪声解调器写入头存储介质+介质缺陷读出头基带解调器输入输出黑箱7/29/20244Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量(1
3、)一般信道的数学模型转移概率矩阵输入输出信道模型Xa1, a2, ai, anYb1,b2,bj,bm7/29/20245Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量7/29/20246Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量 (2)信道的分类a)根据输入输出随机信号的特点分类根据输入输出随机信号的特点分类(连续连续/离离散）散）b)根据输入输出随机变量个数的多少分类根据输入输
4、出随机变量个数的多少分类（单（单符号符号/多符号）多符号）c)根据输入输出个数分类根据输入输出个数分类（单用户（单用户/多用户）多用户）d)根据信道上有无干扰分类根据信道上有无干扰分类e)根据信道有无记忆特性分类根据信道有无记忆特性分类f)根据输入和输出之间有无反馈根据输入和输出之间有无反馈7/29/20247Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量(3) 实际的信道n实际信道的带宽总是有限的，所以输入和输出信实际信道的带宽总是有限的，所以输入和输出信号总可以分解成号总可以分解成随机
5、序列随机序列来研究。来研究。n一个实际信道可同时具有多种属性。一个实际信道可同时具有多种属性。 最简单的信道是单符号离散信道。最简单的信道是单符号离散信道。7/29/20248Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量(4) 信道参数A.二进制离散信道模型二进制离散信道模型B.离散无记忆信道离散无记忆信道C.离散输入、连续输出信道离散输入、连续输出信道D.波形信道波形信道7/29/20249Department of Communication China Ji Liang Unive
6、rsity 第第三三章章 信信道道 与与信信道道容容量量A.二进制离散信道模型二进制离散信道模型 a）二进制离散信道模型的组成二进制离散信道模型的组成 二进制离散信道模型由一个允许输入二进制离散信道模型由一个允许输入值的集合值的集合 X0,1 和可能输出值的集合和可能输出值的集合Y=0,1，以及一组表示输入、输出关系的以及一组表示输入、输出关系的条件概率（转移概率）组成。条件概率（转移概率）组成。 7/29/202410Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量 b）二进制对称信道二进
7、制对称信道 （简称为（简称为 BSC信道信道 ）0输入10输出11-p1-ppp二进制对称信道7/29/202411Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量B离散无记忆信道离散无记忆信道 （a）离散无记忆信道（离散无记忆信道（DMC信道）信道）x1x2xny1y2ym7/29/202412Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量联合条件概率联合条件概率 7/29/20241
8、3Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量C C离散输入、连续输出信道离散输入、连续输出信道 离散时间无记忆信道离散时间无记忆信道 假设信道输入符号选自一个有限的、离散假设信道输入符号选自一个有限的、离散的输入字符集的输入字符集X=a1，a2， an，而信道输，而信道输出未经量化（出未经量化（m），这时的译码器输出），这时的译码器输出可以是实轴上的任意值，即可以是实轴上的任意值，即y=- ，。这样。这样的信道模型为离散时间无记忆信道。的信道模型为离散时间无记忆信道。 7/29/202
9、414Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量说明：说明：a)它的特性由离散输入它的特性由离散输入X、连续输出连续输出Y以及一组条以及一组条件概率密度函数件概率密度函数 pY(y/X=ai), i=1,2,n来决定。来决定。b)这类信道中最重要的一种是这类信道中最重要的一种是加性高斯白噪声加性高斯白噪声（AWGN）信道，对它而言信道，对它而言 Y=XG , 式中式中G是一个零均值、方差为是一个零均值、方差为 的高斯随机变的高斯随机变量，量，X=ai，i=1，2，n。 7/29/202
10、415Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量n当当 X给定后，给定后，Y是一个均值为是一个均值为ai、方差、方差 为的为的高斯随机变量高斯随机变量 7/29/202416Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量D波形信道波形信道 波波形形信信道道是是这这样样一一种种信信道道模模型型：其其输输入入是是模模拟拟波波形形，其其输输出出也也是是模模拟拟波波形形。假假设设输输入入该
11、该信信道道的的是是带带限限信信号号x（t），相相应应的的输输出出是是y（t），那么那么 y（t）=x（t）n（t） 这里这里n（t）代表）代表加性噪声加性噪声过程的一个样本函数。过程的一个样本函数。 7/29/202417Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量3.2离散单个符号信道及其容量引言：引言： 信道容量定义信道容量定义3.2.1 无干扰离散信道无干扰离散信道3.2.2 对称对称DMC信道信道3.2.3 准对称准对称DMC信道信道3.3.4 一般一般DMC信道信道7/29/2
12、02418Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量信道的信息传输率n信道的信息传输率：信道的信息传输率：就是平均互信息就是平均互信息 R=I(X;Y)。nI(X;Y)是信源无条件概率是信源无条件概率p(ai)和信道转移概率和信道转移概率p(bj /ai)的二的二元函数：元函数：n当信道特性当信道特性p(bj /ai)固定后，固定后，I(X;Y)随信源概率分布随信源概率分布p(ai) 的变化而变化。的变化而变化。n由平均互信息的性质已知，由平均互信息的性质已知，I(X;Y)是是p (a
13、i) 的上凸函数，的上凸函数，因此总能找到一种概率分布因此总能找到一种概率分布 p (ai) （即某一种信源），使（即某一种信源），使信道所能传送的信息率为最大。信道所能传送的信息率为最大。7/29/202419Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量 信道容量n信道容量信道容量C：在信道中最大的信息传输率。在信道中最大的信息传输率。n单位时间的信道容量单位时间的信道容量Ct：若信道平均传输一个符号需要若信道平均传输一个符号需要t 秒钟，则单位时间的信道容量为：秒钟，则单位时间的信道
14、容量为： Ct实际是信道的最大信息传输速率。实际是信道的最大信息传输速率。7/29/202420Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量3.2.1 无干扰离散信道 具有一一对应关系的无噪信道具有一一对应关系的无噪信道 具有扩展性能的无噪信道具有扩展性能的无噪信道 具有归并性能的无噪信道具有归并性能的无噪信道7/29/202421Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量 具有
15、一一对应关系的无噪信道具有一一对应关系的无噪信道n这种信道如这种信道如右图所示右图所示7/29/202422Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量 I(X;Y)=H(X)=H(Y)。n当信源呈等概率分布时，具有一一对应确定关系的当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量无噪信道达到信道容量7/29/202423Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量
16、 具有扩展性能的无噪信道n此信道的举例如右图所示。此信道的举例如右图所示。nnm，输入，输入X的符号集个数大于输出的符号集个数大于输出Y的符号集个数。的符号集个数。7/29/202426Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量信道噪声熵信道噪声熵 H(Y/X)=0。n信道容量为：7/29/202427Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量3.2.2 对称DMC信道n对称信
17、道矩阵，它的每一行和每一列都是同一集合各个元对称信道矩阵，它的每一行和每一列都是同一集合各个元素的不同排列。素的不同排列。n可可当信道当信道输入输入呈呈等概率等概率分布时，强对称离散信道能够分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量：传输最大的平均信息量，即达到信道容量：7/29/202428Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量3.2.3 准对称DMC信道n准对称离散信道定义：准对称离散信道定义： 一个一个n n行行m m列单符号离散信道矩阵列单符号离散信道矩
18、阵 P P 的行可排列，列的行可排列，列不可排列。但是矩阵中的不可排列。但是矩阵中的m m列可分成列可分成S S个不相交的子集，个不相交的子集，各子集分别有各子集分别有m m1 1, ,m m2 2,m ms s个元素个元素( (m m1 1+ +m m2 2+m ms s=m=m) )，由，由n n行行m mk k( (k k=1,2,=1,2,s s) )列组成的子矩阵列组成的子矩阵 P P k k具有可排列性具有可排列性。当输入分布达到等概时，达到信道容量：当输入分布达到等概时，达到信道容量：7/29/202429Department of Communication China Ji
19、Liang University 第第三三章章 信信道道 与与信信道道容容量量7/29/202430Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量为使为使 I（X;Y）最大化以便求取）最大化以便求取DMC容量，输入概率容量，输入概率 p（xi）必须满足的充分和必要条件是必须满足的充分和必要条件是: 3.2.4 一般DMC信道n每个概率非零的输入符号对每个概率非零的输入符号对Y提供相同的平均互信息提供相同的平均互信息7/29/202431Department of Communication
20、 China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量本讲内容3.3 离散序列信道及其容量离散序列信道及其容量3.4 连续信道及其容量连续信道及其容量7/29/202432Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量3.3 离散序列信道及其容量(1) 离散序列信道的定义离散序列信道的定义(2) 离散序列信道的模型离散序列信道的模型(3) 离散序列信道的信道容量离散序列信道的信道容量7/29/202433Department of Communi
21、cation China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量3.3 离散序列信道及其容量（1）离散序列信道定义）离散序列信道定义定义：多符号离散信源定义：多符号离散信源X =X1X2XL在在L个不同时刻个不同时刻分别通过单符号离散信道分别通过单符号离散信道X P(Y/X) Y，则在输出则在输出端出现相应的随机序列端出现相应的随机序列Y =Y1Y2YL，这样形成一这样形成一个新的信道称为个新的信道称为离散序列信道离散序列信道。由于新信道相当于单符号离散信道在由于新信道相当于单符号离散信道在L个不同时刻连续个不同时刻连续运用了运用了L次，所以也称为
22、单符号离散信道次，所以也称为单符号离散信道X P(Y/X) Y的的L次扩展次扩展。7/29/202434Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量3.3 离散序列信道及其容量（2）离散序列信道模型）离散序列信道模型设信源矢量设信源矢量X的每一个随机变量的每一个随机变量Xl ( l=1,2,L)均取均取自并取遍于信道的输入符号集自并取遍于信道的输入符号集a1,a2,an ，则信则信源共有源共有nL个个不同的元素不同的元素ai(i=1,2,nL)。则输出矢量则输出矢量Y由由L个符号组成的输
23、出序列个符号组成的输出序列Y =Y1Y2 YL ，它的它的每每一个随机变量一个随机变量Yl均取自并取遍于信道的均取自并取遍于信道的输出符号集输出符号集b1,b2,bm 7/29/202435Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量3.3 离散序列信道及其容量l离散序列信道模型7/29/202436Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量3.3 离散序列信道及其容量l对于无记
24、忆离散序列信道，其信道转移概率为：l若是平稳的，又有：7/29/202437Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量3.3 离散序列信道及其容量l根据平均互信息的定义根据平均互信息的定义I(X;Y)=H(Y)H(Y /X)l如果信道是无记忆的，有：如果信道是无记忆的，有：l如果如果X中各个分量相互独立中各个分量相互独立，有：有：7/29/202438Department of Communication China Ji Liang University 第第三三章章 信信道道 与与
25、信信道道容容量量3.3 离散序列信道及其容量（3）离散序列信道容量）离散序列信道容量当当X中各个分量相互独立且信道无记忆时，有中各个分量相互独立且信道无记忆时，有当当X达到最佳分布时，有信道容量：达到最佳分布时，有信道容量：l当信道平稳时，有当信道平稳时，有7/29/202439Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量3.3 离散序列信道及其容量举例举例p55：BSC的二次扩展信道的二次扩展信道是一个对称是一个对称DMC信道，当输入序列等概分布时，容量信道，当输入序列等概分布时，容量： X0001101100011011 Yp0.1时，可以验证， C22C17/29/202440Department of Communication China Ji Liang University 第第三三章章 信信道道 与与信信道道容容量量3.3 离散序列信道及其容量独立并联信道：独立并联信道：N个相互独立的信道进行并联当当Xl相互独立且联合分布相互独立且联合分布p(x1,xN)达到最佳时，达到最佳时，取等号。取等号。7/29/202441Department of Communication China Ji Liang University
