《第4章 离散信道的平均互信息与信道容量》由会员分享，可在线阅读，更多相关《第4章 离散信道的平均互信息与信道容量（115页珍藏版）》请在金锄头文库上搜索。
1、第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 教学内容和要求 理解单符号离散信道及其模型，掌握其平均互信 息，理解其信道容量 掌握NN信道、对称信道、弱对称信道的信道容 量 了解多符号离散信道及其模型，了解其平均互信 息与信道容量 理解n次扩展信道及其模型，理解其平均互信息 与信道容量 第4章 离散信道的平均互信息与信道容量 4.1 单符号离散信道的平均互信息 发送信道接收 噪声 信源信宿 信道传输信号的通道，信道中通常引入噪声 狭义信道信号的传输媒介 有线信道电线、电缆、光缆 无线信道电磁空间地波传播、天波传播 、视线
2、传播 第4章 离散信道的平均互信息与信道容量 发转换媒介收转换调制解调 调制信道编码信道 广义信道包括调制解调、收发转换装置的信 道 调制信道连续信道 编码信道离散信道 第4章 离散信道的平均互信息与信道容量 1、单符号离散信道及其模型 定义 单符号离散信道对应于单符号离散信源和单 符号离散信宿的信道 信源的模型离散型随机变量X 信宿的模型离散型随机变量Y 第4章 离散信道的平均互信息与信道容量 随机变量X的取值xi为信源发出的消息 i=1,2,N 随机变量Y的取值yj为信宿收到的消息 j=1,2,M 单符号离散信道的模型 X P(Y/X) Y 第4章 离散信道的平均互信息与信道容量 第4章
3、离散信道的平均互信息与信道容量 例1 例2 第4章 离散信道的平均互信息与信道容量 2、单符号离散信道的平均互信息 信宿收到消息yj所含的信息消息yj所对应概率 P(yj)对数的负值，用I(yj)表示受信道污染的信 息 信道将信源发出消息xi转移为信宿收到消息yj所含 的信息消息xi消息yj所对应转移概率P(yj/xi)对 数的负值，用I(yj/xi)表示信道的污染信息 信道关于消息xi、yj的互信息 第4章 离散信道的平均互信息与信道容量 定义 信道关于消息xi、yj的互信息信宿收到消息yj所 含信源发出消息xi的互信息信宿收到消息yj所 含的信息I(yj)与信道将信源发出消息xi转移为信宿
4、 收到消息yj所含的信息I(yj/xi)之差，用I(xi;yj) 表示 第4章 离散信道的平均互信息与信道容量 平均互信息/交互熵 信道各互信息的数学期望，用I(X;Y)表示 定义 第4章 离散信道的平均互信息与信道容量 反映信宿每收到一条消息所含信源一条消息的 平均信息 一般不等于信宿收到某条特定消息所含信源某 条特定消息的信息互信息 第4章 离散信道的平均互信息与信道容量 例3 平均互信息 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 4、平均互信息的意义 条件熵H(Y/X)信道所含平均信息噪声熵 信宿每收到一条消息所含信源一条消息的平均信息 第4章 离散
5、信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 条件熵H(X/Y)用反信道矩阵形式表示的信道所 含平均信息损失熵 第4章 离散信道的平均互信息与信道容量 H(X/Y) H(X) H(Y/X) H(Y) I(X;Y) 以信宿的熵为基础，通过扣除信道的噪声熵来 度量信道每传输一条消息所含的平均信息 以信源的熵为基础，通过扣除信道的损失熵来 度量信道每传输一条消息所含的平均信息 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 5、平均互信息的主要性质 对称性 第4章 离散信道的平均互信息与信道容量 非负性 极
6、值性 第4章 离散信道的平均互信息与信道容量 严格凸性 信道给定时，I(X;Y)对于信源概率P(X)严格上 凸 信源给定时，I(X;Y)对于信道转移概率P(Y/X) 严格下凸 第4章 离散信道的平均互信息与信道容量 平均互信息及p-I(X;Y)和q-I(X;Y)曲线 例4 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 信道固定时q为常数，作p-I(X;Y)曲线 00.51 I(X;Y )1- H(q) p 第4章 离散信道的平均互信息与信道容量 信源固定时p为常数，作q-I(X;Y)曲线 00.51 I(X;Y) H(p) q 第4章 离散信道的平均互信息与信
7、道容量 习题，(P99) 3.1、3.2(1) 第4章 离散信道的平均互信息与信道容量 4.2 单符号离散信道的信道容量 1、信道容量 信道给定时，平均互信息I(X;Y)对于信源概率P(X) 严格上凸总能找到P(X)，使I(X;Y)达到最大 定义 信道给定时平均互信息I(X;Y)的最大值，用C表示 第4章 离散信道的平均互信息与信道容量 2、信道容量的意义 平均互信息I(X;Y)信道每传输一条消息所含的 平均信息 信道容量C给定信道每传输一条消息所含的最 大平均信息给定信道传输信息的能力 第4章 离散信道的平均互信息与信道容量 3、信道容量的主要性质 非负性 极值性 第4章 离散信道的平均互信
8、息与信道容量 第4章 离散信道的平均互信息与信道容量 4.3 NN信道的信道容量 信道容量 第4章 离散信道的平均互信息与信道容量 达到信道容量的信源概率 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 当M=N，方程有唯一解 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 例1 信道容量及达到信道容量的信源概率 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 4.4 对称信道、弱
9、对称信道的信道容量 1、对称信道 矩阵中每一行都是集合 中各元素 的不同排列矩阵行可置换；每一列都是集合 中各元素的不同排列矩阵列可 置换 信道的信道矩阵既行可置换又列可置换 定义 第4章 离散信道的平均互信息与信道容量 例1 例2 第4章 离散信道的平均互信息与信道容量 二进制对称信道 第4章 离散信道的平均互信息与信道容量 2、对称信道的信道容量 达到信道容量的信源概率 第4章 离散信道的平均互信息与信道容量 对称信道行可置换 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 对称信道列可置换，不失一般性，设对称信道的 信道矩阵 第4章 离散信道的平均互信息与
10、信道容量 如果信宿等概 信宿等概是否可达？ 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 二进制对称信道的信道容量 达到信道容量的信源概率 第4章 离散信道的平均互信息与信道容量 例3 信道容量及达到信道容量的信源概率 信道矩阵既行可置换又列可置换对称信道 第4章 离散信道的平均互信息与信道容量 信道容量 达到信道容量的信源概率 第4章 离散信道的平均互信息与信道容量 例4 信道容量及达到信道容量的信源概率 信道矩阵既行可置换又列可置换对称信道 第4章 离散信道的平均互信息与信道容量 信道容量 达到信道容量的信源概率 第4章 离散信道的平均互信息与信道容量 3
11、、弱对称信道 信道的信道矩阵行可置换 定义 第4章 离散信道的平均互信息与信道容量 例5 例6 第4章 离散信道的平均互信息与信道容量 二进制擦除信道弱对称信道 第4章 离散信道的平均互信息与信道容量 4、弱对称信道的信道容量 达到信道容量的信源概率 第4章 离散信道的平均互信息与信道容量 弱对称信道行可置换 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 信宿等概是否可达？ 第4章 离散信道的平均互信息与信道容量 如果信宿等概 矛盾！不可达 第4章 离散信道的平均互信息与信道容量 按列分为s个不相交的子集，各子集构成的子信道 为对称信道 对应于子信道的各子信宿
12、等概是否可达？ 第4章 离散信道的平均互信息与信道容量 子信道矩阵列可置换，不失一般性，设第k个子信 道矩阵 第4章 离散信道的平均互信息与信道容量 如果各子信宿等概 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 二进制擦除信道的信道容量 达到信道容量的信源概率 第4章 离散信道的平均互信息与信道容量 例7 信道容量及达到信道容量的信源概率 信道矩阵行可置换弱对称信道二进制擦除信 道 第4章 离散信道的平均互信息与信道容量 按列分成两个不相交的子集，两个子集构成的子 信道矩阵为对称信道 第4章 离散信道的平均互信息与信道容量 信道容量 达到信道容量的信源概率
13、第4章 离散信道的平均互信息与信道容量 例8 信道容量及达到信道容量的信源概率 信道矩阵行可置换弱对称信道 第4章 离散信道的平均互信息与信道容量 按列分成两个不相交的子集，两个子集构成的子 信道矩阵为对称信道 第4章 离散信道的平均互信息与信道容量 信道容量 达到信道容量的信源概率 第4章 离散信道的平均互信息与信道容量 习题，(P99-101)3.2(2)、3.7、3.14(1) 第4章 离散信道的平均互信息与信道容量 4.5 多符号离散信道的平均互信息与信道容量 1、多符号离散信道及其模型 定义 多符号离散信道对应于多符号离散信源和多 符号离散信宿的信道 信源的模型离散型随机变量序列X1
14、X2Xn 信宿的模型离散型随机变量序列Y1Y2Yn 第4章 离散信道的平均互信息与信道容量 Nn Mn 第4章 离散信道的平均互信息与信道容量 X1X2Xn P(Y1Y2Yn/X1X2Xn) Y1Y2Yn Mn Nn Mn 多符号离散信道的模型 第4章 离散信道的平均互信息与信道容量 2、多符号离散信道的平均互信息 信道关于消息的互信息（联合互信息） 定义 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 定义 第4章 离散信道的平均互信息与信道容量 n-1 n-1 第4章 离散信道的平均互信息与信道容量 n-2 1 第4章 离散信道的平均互信息与信道容量 信道的
15、平均互信息（联合平均互信息） 联合平均互信息信宿收到信源发出各消息所含 互信息的数学期望，用I(X1X2Xn ; Y1Y2Yn)表示 定义 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 条件平均互信息条件互信息的数学期望，用 I(Xk;Yl/X1Xk-1Y1Yl-1)表示，其中k=1,2,n， l=2,n，lk 定义 第4章 离散信道的平均互信息与信道容量 n-1 第4章 离散信道的平均互信息与信道容量 n-1 第4章 离散信道的平均互信息与信道容量 n-2 第4章 离散信道的平均互信息与信道容量 1 第4章 离散信道的平均互信息与信道容量 3、平均互信息的链
16、式法则 n n n(n+1)/2 n(n+1)/2 第4章 离散信道的平均互信息与信道容量 第4章 离散信道的平均互信息与信道容量 4、多符号离散信道的平均互信息率 平均互信息率信宿收到信源发出消息中每一个 符号所含的平均信息，用In(X1X2Xn; Y1Y2Yn)表 示 定义 第4章 离散信道的平均互信息与信道容量 单位一般为bit/symbol 第4章 离散信道的平均互信息与信道容量 5、多符号离散信道的信道容量（联合信道容量） 定义 信道给定时联合平均互信息I(X1X2Xn; Y1Y2Yn)的 最大值，用C(X1X2Xn; Y1Y2Yn)表示 第4章 离散信道的平均互信息与信道容量 条件信道容量信道给定时条件平均互信息 I(Xk;Yl/X1Xk-1Y1
