《信道容量 ppt》由会员分享，可在线阅读，更多相关《信道容量 ppt（64页珍藏版）》请在金锄头文库上搜索。
1、第三章 信道容量 3.1 信道的数学模型和分类 3.2 单符号离散信道的信道容 量 3.3 多符号离散信道 3.4 多用户信道 3.5 连续信道1信道概述 什么是信道？ 信道是以信号形式传输和存储信息的通道。 信息是抽象的，信道则是具体的。例如：二人对话， 二人间的空气就是信道；打电话，电话线就是信道； 看电视，听收音机，收、发间的空间就是信道。 空间传输：这是人们常见的情形，如电缆、光缆、空 间等 时间传输：将信息保存，以后再读取出来 信道的研究内容 信道建模( 信道的统计特性描述) 信道传输信息的最大能力(信道容量) 在有噪信道中能否实现有效、可靠的传输？怎样实现 ？2信道的数学模型输入
2、X (随机过程)输出 Y (随机过程)噪声干扰 N (随机过程)信道 信道实际上是从输入 X 到输出 Y 一个概率映 射函数，该函数描述了输入/输出间的统计依 赖关系 一般用信道转移概率 P ( Y | X ) 描述输入/输出 间的统计依赖关系3信道的分类 其中对于传输时间离散的信号，根据输入输出信号的 幅值： 离散信道：输入、输出信号的幅值均取离散值 连续信道：输入、输出信号的幅值均取连续值 半离散(半连续)信道：输入、输出信号的幅值一个取连续 值，另一个取离散值幅 度时 间信道分类名称离 散离 散离散信道/数字信道(例如：数字电 话) 连 续离 散连续信道(例如：传输 PCM信号的 信道)
3、 连 续连 续模拟信道/波形信道(例如：普通电 话) 离 散连 续(理论和实用价值均很小) 根据信号在时间和空间的取值划分4信道的分类（续） 按输入/输出之间的记忆性来划分 无记忆信道：信道在某时刻的输出只与信道该时刻 的输入有关而与信道其它时刻的输入、输出无关 有记忆信道：信道在某时刻的输出与其它时刻的输 入、输出有关 根据信道的统计特性是否随时间改变可分为: 平稳信道：信道的统计特性不随时间改变，又称为 恒参信道、时不变信道，如卫星通信 非平稳信道：信道的统计特性随时间改变，又称为 变参信道、时变信道，如移动通信5信道的分类(续) 根据输入/输出的个数可分为： 单用户信道：一个输入一个输出
4、的单向通信 多用户信道：双向通信或三个或更多个用户之间相 互通信的情况，例如多元接入信道、广播信道、网 络通信信道等 根据信道的输入端与输出端的关系: 无反馈信道：信道输出端无信号反馈到输入端 有反馈信道：信道输出端有信号反馈到输入端 根据信道的输入/输出是否是确定关系可分为: 有噪声信道 无噪声信道63.2 单符号离散信道 的信道容量3.2.1 信道容量的定义 3.2.2 几种特殊离散信道的 信道容量 离散无噪/无损信道 强对称离散信道 对称离散信道 准对称离散信道 3.2.3 离散信道容量的一般 计算方法7 为研究方便，信道特性一般用信道转移 概率矩阵(信道矩阵) 来表示信道转移概率矩阵8
5、离散无记忆信道举 例 二元对称信道 二元删除信道00110011?9概率计算10 当接收端收到信道输出的一个符号之后，对信 道输入的符号仍然存在的平均不确定性(存在 疑义)，又称为损失熵信道疑义度 H ( X | Y )11 由于噪声干扰而在输出端产生的无用信息，又 称为噪声熵信道散布度 H ( Y | X )12 平均互信息表示接收到 Y 以后，平均每个符号所获 得的关于输入变量 X 的信息量，是信道实际传输信 息的数量，也是真正被接收者收到的信息量信道疑义度 信道散布度平均互信息 I ( X ; Y )13信道容量 信息传输率 R：信道中平均每个符号传递的信 息量14信道容量(续) 信道容
6、量是信道的信息传输率 R 的上限 ，描述了信道通过信息的最大能力，它 是假定信源理想的情况下信道传输信息 能力的极值 信息传输率与输入概率和转移概率两者 有关；但信道容量是信道的固有特性， 只与信道的统计特性有关，因此它只与 信道转移概率有关，与输入信源的概率 分布无关 信道单位时间内平均传输的最大信息量 ：信道平均传送一个 符号所需的时间15离散无噪/无损信道 具有一一对应关系的无噪无损信道 信道矩阵中任意行 或列只有一个元素 为1其它元素均为 0 X 与 Y 具有确定 的一一对应关系， 收到 Y 后，X 也 就确定了，不再具 有不确定性无损无噪信道的信道容量 仅与输入符号数 n 有关16离
7、散无噪/无损信道 (续) 具有扩展性能的无损信道(损失熵为 0) 一个输入对应多个输出，不同的输入对 应的输出不相重叠 信道的输出符号集可划分为多个子集(与 输入符号个数相等)，每个子集与唯一的 输入符号对应 信道矩阵的每一列只有一个非零元素， 其余元素均为 0 收到 Y 后，X 也就确定了，不再具有不 确定性17离散无噪/无损信道 (续) 具有归并性能的无噪信道(噪声熵为 0) 多个输入对应一个输出，不同的 输出对应的输入不相重叠 信道的输入符号集可划分为多个 子集(与输出符号个数相等)，每 个子集与唯一的输出符号对应 信道矩阵的每一行只有一个元素 为 1，其余元素均为 0 发出 X 后，Y
8、 也就确定了，但收 到 Y，X 仍具有不确定性无噪或无损信道的信道容量仅与输入符号 数 n 或输出符号数 m 有关，与信源无关18 离散输入对称信道(行对称信道)离散对称信道19离散对称信道(续) 离散输出对称信道(列对称信道) 离散准对称信道 离散对称信道 信道矩阵既是行可 排列的，又是列可排列的20离散强对称信道 放松对信道的约束，仅满足条件(1)，就构成一般的 离散对称信道 再进一步放松条件，信道矩阵按列分成若干子阵，如 果子阵是对称的，则构成离散准对称信道21离散对称信道的信 道容量 对于离散对称信道，当信道输入概率分布为等概率分 布时，输出概率分布必为等概率分布 证：当输入为等概率分
9、布 时 则输出又由于离散对称信道的每一列均是同一组元素的不同排列 因此：信道矩阵第 j 列元素之和即当信道输入为等概率分布时，输出 亦为等概率分布何时等于 1 22离散对称信道的信 道容量(续) 对于离散对称信道，当信道输出为等概率分布时，信 道达到最大的信息传输率，其信道容量为：证：由于离散对称信道的信道矩阵的行是可排列的，因 此：输入等概率分 布可以使得使 输出等概率分 布，但其它的 输入概率分布 也可能使得输 出等概率分布m 为所有可能输出符号的个数 为信道矩阵中任意一行的元素只要输入等概 率分布，即可 达到信道容量23离散强对称信道的 信道容量 对于离散强对称信道，当信道输出为等概率分
10、布时， 信道达到最大的信息传输率，其信道容量为：证：由于离散强对称信道是离散对称信道的特例，因此 ：n 为所有可能输出符号的个数(等于所有可能输入符 号的个数)为正确传输的概率； 为总的错误传输 概率； 对于离散强对称信道 m = n且离散强对称信道的信道矩阵的每一 行均是中诸元素的不同排列组成，因 此：24 离散强对称信道的信道容量仅与信 道输入(出)所有可能的符号数及正 确(错误)传输概率有关 p0.51.00 p = 0.5 时，C = 0，此时不管输入概率如何分布，均能 达到信道容量，因为任何输入概率分布均使得输出等概 率分布；此种信道没有任何实际意义，这也说明信道的 最佳输入分布不是
11、唯一的 当 n = 2 时，离散强对称信道就是 2 进制均匀信道，其信道容量为：25离散准对称信道的 信道容量 对于离散准对称信道，当信道输入为等概率分布时， 信道达到最大的信息传输率，其信道容量为：26由于离散准对称信道的信道矩阵的行是可排列的，因此 ：另一方面，信道矩阵的列不是可排列的，若要输出是等 概率分布，则可能需要输入概率分布的某些概率出现负 值，这是不可能的。可以将各输出概率划分成若干互不 相交的子集，使每个输出概率子集均是等概率分布，从 而输出 Y 的熵 H ( Y ) 达到最大。可以证明，当输入 X 是等 概率分布时，能保证互不 相交的各输出概率子集均 是等概率分布将输出概率划
12、分成 K 个 互不相交子集 ，亦即将信道矩阵划分 成 K 个行列可排的子 矩阵 27子矩阵的行/列均是可排列的28 方法一： 由输入 X 等概率分布求输出 Y 的分布，然后计算29 方法二：将信道矩阵划分成子矩阵进行计算30离散信道容量的一般 计算方法信道容量：约束条件： 求离散信道容量可转化为求 对信源 概率分布的条件极值 固定信道，平均互信息是输入概率分布 的上凸 函数，其极大值必为最大值 可以采用拉格朗日乘子法求 I ( X ; Y ) 的条件 极值31离散信道容量的一 般计算方法(续) 构造辅助函 数两边分别对 求偏导并使之等 于 03233以上求解出 的 I ( X ; Y )为平均
13、 互信息的最 大值因此：34 以上是含有 m 个未知数，由 n 个方程组成的非齐次 线性方程组，如果 m = n 且信道矩阵可逆(是非奇异 矩阵)，则方程组有唯一解 最佳输入分布35 前述采用拉格朗日乘子法求解时，只考虑了限 定条件，没有考虑 ，所以必须对求解出来的最佳输入分布进行检 查 如果存在有 ，这表明所求的最大 值 C 出现 的区域不满足概率条件；这时最大值必在边界 上，即某些输入符号的概率为 0， 因此必须设 某些 的概率，然后重新进行计算 如果 n C 则码长 l 无论取多长，也无法找 到一种编码方法使得译码差错概率任意小( ) 对于限带高斯白噪声加性信道，噪声功率为 ，带宽 为 F，信号平均功率受限为 ，则： 反之，如果 ，则无法找到一种信 道编码，在信道中以信息传输率 传输信息使译码的差错 概率达到任意小 当 时，总可以找到一种信道 编码，在信道中以信息传输率 传输信息，使译码的差错 概率可以任意小64
