《信息论与编码基础 (13)》由会员分享，可在线阅读，更多相关《信息论与编码基础 (13)（21页珍藏版）》请在金锄头文库上搜索。
1、思思 考考 与与 探探 索索1信 道 容 量水杯的容量水杯的容量思思 考考 与与 探探 索索2信 道 容 量信 道 容 量传 信 能 力 的 探 索一目 录CONTENTS信 道 容 量 的 定 义二简单离散信道的容量计算三一、传信能力的探索4信 道 容 量一、传信能力的探索5信 道 容 量一、传信能力的探索6信 道 容 量一、传信能力的探索7信 道 容 量二、信道容量的定义信 道 容 量平均互信息I(X;Y)代表了接收到每个输出符号后获得的关于X的平均信息量，又叫做信道的信息传输率。Q：如何描述信道的传信能力？：如何描述信道的传信能力？定理定理在信道转移概率给定的条件下，平均互信息是输入信源
2、概率分布的型凸函数。二、信道容量的定义信 道 容 量 举例：分析举例：分析BSC的平均互信息的平均互信息 I(X;Y)信源分布概率信道转移概率I(X,Y)二、信道容量的定义信 道 容 量定义定义一个平稳离散无记忆信道的容量C为输入与输出平均互信息的最大值。bit/sig信道以任意低的差错概率传输信息时的最高传输率；可靠传输下的最大信息传输率。二、信道容量的定义信 道 容 量说明：说明：1）信道给定后，p(y|x)就固定，C仅与p(y|x)有关，而与P(x)无关；2）Ct是信道最大传输速率。Ct=C/t bit/s二、信道容量的定义信 道 容 量C=1H(p)p当当 ，例例1 BSC 我们知道离
3、散信道我们知道离散信道的信息传输率达到信的信息传输率达到信道道容量时，输入分布必容量时，输入分布必须达到须达到最佳分布最佳分布。那。那么，最佳的么，最佳的输入分布输入分布是是唯一唯一的吗？的吗？三、简单离散信道的容量计算13信 道 容 量例例2:计算下列信道的信道容量及最佳输入分布。计算下列信道的信道容量及最佳输入分布。a4a1a3a2b2b1a5(A)a1b1b2a2b3b4b5a3b6(B)1/21/23/53/101/10111111三、简单离散信道的容量计算14信 道 容 量C=maxH(Y)=log2=1(bit/sig)最佳输入：最佳输入：使使P(b1)=P(b2)=1/2a4a1
4、a3a2b2b1a5（A）11111例例2:计算下列信道的信道容量及最佳输入分布。计算下列信道的信道容量及最佳输入分布。H(Y|X)=0H(X|Y)0H(Y|X)=0三、简单离散信道的容量计算15信 道 容 量a1b1b2a2b3b4b5a3b6（B）C=maxH(X)=log3=1.58(bit/sig)最佳输入：最佳输入：P(a1)=P(a2)=P(a3)=1/31/21/23/53/101/101例例2:计算下列信道的信道容量及最佳输入分布。计算下列信道的信道容量及最佳输入分布。H(X|Y)=0H(Y|X)0H(X|Y)=0三、简单离散信道的容量计算16信 道 容 量总结：总结：1 1）
5、若严格区分，凡）若严格区分，凡损失熵损失熵等于等于0 0的信道称为无损信道；凡的信道称为无损信道；凡噪声熵噪声熵等于等于0 0的的信道称为无噪信道。信道称为无噪信道。2 2）无损信道）无损信道3 3）无噪信道）无噪信道r为信道的输入符号数目为信道的输入符号数目s为信道的输出符号数目为信道的输出符号数目三、简单离散信道的容量计算17信 道 容 量以下描述正确的是：（A）无损信道的转移矩阵中每列有且仅有一个非零值；（B）对于某个离散信道，其最佳的输入分布是唯一的;（C）无噪信道的转移矩阵中每行有且仅有一个非零值，且为1；（D）信源分布最佳时，容量最大。三、简单离散信道的容量计算18信 道 容 量BEC010121q1qqqC=1-q三、简单离散信道的容量计算19信 道 容 量BSC VS BEC 小小 结结20信 道 容 量本课小结：本课小结：传信能力的探索信道容量的定义简单离散信道的容量计算无损信道、无噪信道无损信道、无噪信道信息论与编码基础国防科技大学授课教师:黄 英 副 教授信 道 容 量
