《电工胶布使用方法》由会员分享，可在线阅读，更多相关《电工胶布使用方法（70页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码基础离散信道东莞电工培训 http:/ 离散信道 连续信道 半离散或半连续信道 波形信道信息论与编码基础1、信道的分类数字信道b、根据输入集合与输出集合的个数单用户信道多用户信道一对多、多对一多对多信息论与编码基础离散信道c、根据信道转移概率的性质无噪信道有噪信道1、信道的分类实际的通信信道几乎都是有扰信道无记忆信道 有记忆信道实际信道一般都是有记忆的，信道中的记忆现象来源于物理 信道中的惯性，如电缆信道中的电感或电容、无线信道中电 波传播的衰落现象等。d、按信道统计特性 恒参信道变参信道卫星信道短波信道e、根据信道噪声的性质高斯噪声信道非高斯噪声信道信息论与编码基础离散信道1、信
2、道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码基础离散信道2、离散信道的数学模型信道无扰（无噪）信道有扰信道无记忆信道有记忆信道信息论与编码基础离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码基础离散信道信道3、单符号离散信道例1 BSC信道BSC(p)信道是实际中几乎所有重要的二进制脉冲传输系统的模型p为交叉(crossover)概率等于解调器/检测器出现硬判决译码错 误的概率信息论与编码基础离散信道1）条件转移概率2）转移矩阵3）转移概率图3、单符号离散信道XY0101pp1-p1-pXYa0arb0bsP(bj|ai)信息论与编码基础离散信道一定比
3、例的bit被删 除，并且接收者知 道是那些bit已经被 删除。例2 二进制删除信道3、单符号离散信道信息论与编码基础离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道 互信息自信息条件自信息由于条件引入获得的信息量1）对称性I(ai;bj) = I(bj;ai)2）事件统计独立时 I(ai;bj) = 0 3）可正、可负 4）I(ai;bj) I(ai)信息论与编码基础绪论练习： 令随机变量x表示随机抽取人群中的性别，x0为男 性，x1为女性。随机变量y表示随机抽取人是否 抽烟，y0表示抽烟，
4、y1表示不抽烟。 （1）若（x，y）的联合概率分布如表11所示，求 “已知抽取人为男性”，对“该人抽烟”提供的 信息量。（2）若（x，y）的联合概率分布如表12所示，求 “已知抽取人为男性”，对“该人抽烟”提供的 信息量。 信息论与编码基础离散信道1、信道疑义度先验熵后验熵若信道中存在干扰时信道疑义度0H(X|Y)H(X)损失熵信息论与编码基础离散信道2、平均互信息定义3.2 令为信道输入X与输出Y之间的平均互信息接收到每个输出符号后获得的关于X的平均信息量bit/sign互信息 思考题设8个等概分布的消息通过传递概率为p的BSC进行传送。8个消息相应编成下述码字：1）接收到第一个数字0与M1
5、之间的互信息。 2）接收到第二个数字也是0时，得到多少关于 关于M1的附加互信息。 3）接收到第三个数字仍是0时，又增加多少关于 M1的互信息。 4）接收到第四个数字仍是0时，再增加多少关于 M1的互信息。信息论与编码基础离散信道 思考题令X,Y1,Y2为二进制随机变量，1）如果I(X; Y1) = 0 且 I(X; Y2) = 0,可否推出I(X; Y1, Y2) = 0?试举例说明。3）如果 I(X; Y1) = 0 且I(X; Y2) = 0，是否可推出 I(Y1; Y2) = 0?请说明。 信息论与编码基础离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散
6、无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道 平均互信息接收到每个输出 符号后获得的关 于X的平均信息量信息传输率Rbit/sign信息论与编码基础离散信道1、非负性利用詹森不等式 信源加密信道解密信宿密钥源全损信道信息论与编码基础离散信道2、极值性接收者通过信道获得的信息量不可 能超过信源本身固有的信息量。0I(X;Y)H(X)3、对称性信息论与编码基础离散信道发出X后获得的关 于Y的平均信息量4、与各类熵的关系信息论与编码基础离散信道损失熵噪声熵散布度：表示信道输入信号由于干扰作用 在输出端表现的散布范围。H(X|Y)H(Y|X)I(X;Y)H(XY)H(X)H
7、(Y)信息论与编码基础离散信道5、的凸函数性信息论与编码基础离散信道例1 设二元对称信道的输入概率空间为其信道特性如图，求平均互信息。定理3.1 在信道转移概率给定的条件下，平均互信息是输入信源概率分布的型凸函数。XY0101pp1-p1-p00.51I(X;Y)1-H(p)00.51H()1信源熵信息论与编码基础离散信道定理3.2 在输入信源概率分布给定的条件下，平均互信息是信道转移概率分布的型凸函数。例1（续）当p = 0时当p = 1时当p = 1/2时00.51pI(X;Y)H()信息论与编码基础离散信道思考题 假定马尔科夫链(非平稳)起始于n个状态中的一个，然后 第二步受到限制，只能
8、转移到k个状态之一(kk)。于是有其中 且1）试说明X1和X3之间的依赖性受到X2的瓶颈效应影响， 即I(X1;X3)logk。2）试估计当k = 1时I(X1;X3)的值，并进行瓶颈效应分析。信息论与编码基础离散信道一、信道的数学模型与分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道1、信道模型信道信道离散无记忆N次扩展信道模型信道转移矩阵其中信息论与编码基础离散信道1、信道模型BSC的二次扩展信道信息论与编码基础离散信道2、平均互信息a)定义bit/N-signb)性质引理3.1设信道的输入输出分别为，其中，
9、则：仅当信道无记忆时等式成立。信息论与编码基础离散信道2、平均互信息信息论与编码基础离散信道2、平均互信息b)性质仅当时成立信息论与编码基础离散信道定理3.1对于离散无记忆信道，有2、平均互信息证明：b)性质信息论与编码基础离散信道例1DMC的输入为，输出为且有。其中X的熵为H,计算和信息论与编码基础离散信道定理3.2 对于无记忆信源，则2、平均互信息b)性质证明：仅当时成立信息论与编码基础离散信道例 设无记忆信源X的熵为H，X的5次扩展源为信道为如下面矩阵所示的置换信道1 2 3 4 53 2 5 1 4计算信息论与编码基础离散信道总结：1）当信源无记忆时2）当信道无记忆时3）当信源、信道均
10、无记忆时信息论与编码基础离散信道D QD QD Qa(t)b0b1b2思考题 假定某信源的符号集为A = 0,1，其中p0=p1=0.5，则H(A) = 1。令编码器C的符号集为B = 0,1,7，并且假定B中的元 素采用二进制形式表示(b2b1b0)。如果输入序列为a(t) = 101001011000001100111011 并且寄存器的初始值为b = 5(=101)，求输出序列。如果将该编码器看成一个信道，请讨论该信道的 转移特性及平均互信息。信息论与编码基础离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信
11、息论与编码基础离散信道平均互信息I(X;Y)代表了接收到每个输出符号后获 得的关于X的平均信息量，又叫做信道的信息传输率。定理3.1 在信道转移概率给定的条件下，平均互信息是输入信源概率分布的型凸函数。信息论与编码基础离散信道1、定义一个平稳离散无记忆信道的容量C为输入与输出平均互信息的最大值。说明：bit/sign1）信道给定后，p(y|x)就固定，C仅与p(y|x)有关，而与P(x)无关2）C是信道传输的最大信息率。Ct = C/t bit/s信息论与编码基础离散信道2、简单离散信道的信道容量信道a、无噪无损信道信息论与编码基础离散信道b、有噪无损信道2、简单离散信道的信道容量信息论与编码
12、基础离散信道c、有损无噪信道2、简单离散信道的信道容量信息论与编码基础离散信道总结：1）若严格区分，凡损失熵等于0的信道称为无损信道； 凡噪声熵等于0的信道称为无噪信道。2）无损信道3）无噪信道2、简单离散信道的信道容量信息论与编码基础离散信道 例求BEC的信道容量信息论与编码基础离散信道3、对称信道的信道容量？信息论与编码基础离散信道3、对称信道的信道容量？信息论与编码基础离散信道例1强对称信道信息论与编码基础离散信道4、离散无记忆N次扩展信道的信道容量达到的条件：只有当信源无记忆时，每一输入变量Xi的分布P(x) 各自达到最佳分布时。信息论与编码基础离散信道有噪声的打字机信道考虑26个键的
13、打字机1）如果每敲击一个键，它就准确地输出相应的字符， 那么该容量C是多少？2）如果假设敲击一个键都会导致输出该键对应的字母 或者下一个字母等概率出现，即敲A可能输出A或B， 敲Z可能输出Z或A。那么此时的容量如何？信息论与编码基础离散信道附：香农信道容量公式 1、连续消息的信息度量连续信源的可能取值数是无限多个，若设取值是等概 率分布，那么，信源的不确定为无限大。连续信源的熵1）与离散信源的熵在形式上统一； 2）实际问题中常常讨论熵之间差值问题。 差熵v高斯分布情况信息论与编码基础离散信道2、高斯信道的信道容量附：香农信道容量公式I(X;Y) = h(Y) h(Y|X) = h(Y) - h
14、(n)xiyizixi:样值，正态分布 yi:样值，正态分布 yi = xi + zi:正态分布 xi、zi统计独立高斯信道 通信模型2、高斯信道的信道容量附：香农信道容量公式信息论与编码基础离散信道信道的输出功率为Ey2 = E( x + z )2 = Ex2 + 0 + Ez2 = S + N 根据最大熵定理 平均功率受限条件下信源的最大熵定理 若某信源输出信号的平均功率和均值被限定，则当 其输出信号幅度的概率密度函数p(x)是高斯分布时， 信源达到最大熵值。有信息论与编码基础离散信道附：香农信道容量公式3、带限信道的信道容量 对于带限信号，采样定理指出，若信号的有效带宽为 B，采样频率为
15、fs，则当fs2B时，样值序列能够保留 原连续信号全部的频谱特征，或者说全部的信息量。香农公式信息论与编码基础离散信道附：香农信道容量公式4、香农公式的意义信噪比1）信道容量与所传输信号的有效带宽成正比，信号的 有效带宽越宽，信道容量越大 2）信道容量与信道信噪比有关，信噪比越大，信道容量 越大，其制约规律呈对数关系 3）当信道上的信噪比小于1时，信道容量并不等于0，这 说明此时信道仍具有传输信息的能力 4）信道容量C、有效带宽B和信噪比S/N可以相互起补偿 作用，即可以互换。C不变，B增加，S减小， 扩频通信C不变，B减小，S增加， 多相位调制信息论与编码基础离散信道附：香农信道容量公式4、香农公式的意义是否可以用无限制地加大信号有效带宽的方法来减小发射功率 ，或在任意低的信噪比情况下仍能实现可靠通信呢？信号有效带宽与发射功率互换的有效性问题。信道容量往往是 给定的，这时可以根据信道特性来权衡发射功率和信号有效带 宽的互换，使系统的设计趋于最佳。信息论与编码基础离散信道附：香农信道容量公式
