《总结与习题田有亮》由会员分享，可在线阅读，更多相关《总结与习题田有亮（55页珍藏版）》请在金锄头文库上搜索。
1、第三章第三章 信道容量信道容量n n信道容量信道容量信道容量信道容量 C C：在信道中最大的信息传输速率，单位在信道中最大的信息传输速率，单位在信道中最大的信息传输速率，单位在信道中最大的信息传输速率，单位是是是是比特比特比特比特/ /信道符号信道符号信道符号信道符号。n n单位时间的信道容量单位时间的信道容量单位时间的信道容量单位时间的信道容量 C Ct t：若信道平均传输一个符号若信道平均传输一个符号若信道平均传输一个符号若信道平均传输一个符号需要需要需要需要 t t 秒钟，则单位时间的信道容量为秒钟，则单位时间的信道容量为秒钟，则单位时间的信道容量为秒钟，则单位时间的信道容量为 C Ct
2、 t 实际是信道的最大信息传输速率。实际是信道的最大信息传输速率。实际是信道的最大信息传输速率。实际是信道的最大信息传输速率。第三章总结9/17/20241第三章第三章 信道容量信道容量n n求信道容量的方法求信道容量的方法求信道容量的方法求信道容量的方法qq当信道特性当信道特性当信道特性当信道特性 p p( (y yj j / /x xi i) ) 固定后，固定后，固定后，固定后，I I( (X X; ;Y Y) ) 随信源概率分布随信源概率分布随信源概率分布随信源概率分布 p p( (x xi i) ) 的变化而变化。的变化而变化。的变化而变化。的变化而变化。qq调整调整调整调整 p p(
3、 (x xi i) )，在接收端就能获得不同的信息量。由平均互，在接收端就能获得不同的信息量。由平均互，在接收端就能获得不同的信息量。由平均互，在接收端就能获得不同的信息量。由平均互信息的性质已知，信息的性质已知，信息的性质已知，信息的性质已知，I I( (X X; ;Y Y) ) 是是是是 p p( (x xi i) ) 的上凸函数，因此总能的上凸函数，因此总能的上凸函数，因此总能的上凸函数，因此总能找到一种概率分布找到一种概率分布找到一种概率分布找到一种概率分布 p p( (x xi i) )（即某一种信源），使信道所能（即某一种信源），使信道所能（即某一种信源），使信道所能（即某一种信源
4、），使信道所能传送的信息率为最大。传送的信息率为最大。传送的信息率为最大。传送的信息率为最大。qqC C 和和和和 C Ct t 都是求平均互信息都是求平均互信息都是求平均互信息都是求平均互信息 I I( (X X; ;Y Y) ) 的条件极大值问题，当的条件极大值问题，当的条件极大值问题，当的条件极大值问题，当输入信源概率分布输入信源概率分布输入信源概率分布输入信源概率分布 p p( (x xi i) ) 调整好以后，调整好以后，调整好以后，调整好以后， C C 和和和和 C Ct t 已与已与已与已与 p p( (x xi i) ) 无关，而仅仅是信道转移概率的函数，只与信道统计特性无关，
5、而仅仅是信道转移概率的函数，只与信道统计特性无关，而仅仅是信道转移概率的函数，只与信道统计特性无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；有关；有关；有关；n n信道容量是完全信道容量是完全信道容量是完全信道容量是完全描述信道特性描述信道特性描述信道特性描述信道特性的参量；的参量；的参量；的参量；n n信道容量是信道信道容量是信道信道容量是信道信道容量是信道能够传送的最大信息量能够传送的最大信息量能够传送的最大信息量能够传送的最大信息量。9/17/20242第三章第三章 信道容量信道容量n香农公式说明香农公式说明q当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当
6、信道频带较窄时，可以通过提高信噪功率比来补偿。q当信道频带无限时，其信道容量与信号功率成正比。9/17/20243第三章第三章 信道容量信道容量n n信道编码定理：信道编码定理：信道编码定理：信道编码定理：若有一离散无记忆平稳信道，其容量若有一离散无记忆平稳信道，其容量若有一离散无记忆平稳信道，其容量若有一离散无记忆平稳信道，其容量为为为为 C C，输入序列长度为，输入序列长度为，输入序列长度为，输入序列长度为 L L，只要待传送的信息率，只要待传送的信息率，只要待传送的信息率，只要待传送的信息率 R R C C，总可以找到一种编码，当，总可以找到一种编码，当，总可以找到一种编码，当，总可以找
7、到一种编码，当 L L 足够长时，译码足够长时，译码足够长时，译码足够长时，译码差错概率差错概率差错概率差错概率P Pe e C C时，任何编码的时，任何编码的时，任何编码的时，任何编码的 P Pe e 必大于零，当必大于零，当必大于零，当必大于零，当 L L，P Pe e11。n n信道编码定理说明：信道编码定理说明：信道编码定理说明：信道编码定理说明：同无失真信源编码定理类似，信同无失真信源编码定理类似，信同无失真信源编码定理类似，信同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出道编码定理也是一个理想编码的存在性定理。它指出道编码定理也是一个理想编码的存在性定理
8、。它指出道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个信道容量是一个临界值，只要信息传输率不超过这个信道容量是一个临界值，只要信息传输率不超过这个信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否临界值，信道就可几乎无失真地把信息传送过去，否临界值，信道就可几乎无失真地把信息传送过去，否临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。则就会产生失真。则就会产生失真。则就会产生失真。9/17/20244第三章第三章 信道容量信道容量习题习题1 13.1.3.1.设信源设信源设信源设信源通过一干扰
9、信道，接收符号为通过一干扰信道，接收符号为通过一干扰信道，接收符号为通过一干扰信道，接收符号为Y=yY=y1 1,y,y2 2, ,信道传递概率信道传递概率信道传递概率信道传递概率如下图所示。求如下图所示。求如下图所示。求如下图所示。求信源信源信源信源X X中事件中事件中事件中事件x x1 1和和和和x x2 2分别含有的信息量。分别含有的信息量。分别含有的信息量。分别含有的信息量。收到消息收到消息收到消息收到消息y yj j (j=1,2)(j=1,2)(j=1,2)(j=1,2)后，获得的关于后，获得的关于后，获得的关于后，获得的关于x xi i (i=1,2)(i=1,2)(i=1,2)
10、(i=1,2)的信息的信息的信息的信息量。量。量。量。信源信源信源信源X X X X和信源和信源和信源和信源Y Y Y Y的信息熵。的信息熵。的信息熵。的信息熵。信道疑义度信道疑义度信道疑义度信道疑义度H(X/Y)H(X/Y)H(X/Y)H(X/Y)和噪声熵和噪声熵和噪声熵和噪声熵H(Y/X)H(Y/X)H(Y/X)H(Y/X)。接收到消息接收到消息接收到消息接收到消息Y Y Y Y后获得的平均互信息。后获得的平均互信息。后获得的平均互信息。后获得的平均互信息。9/17/20245第三章第三章 信道容量信道容量习题习题1 1解答：互信息可以为正值也可以为互信息可以为正值也可以为互信息可以为正值
11、也可以为互信息可以为正值也可以为负值，负值表明由于噪声的负值，负值表明由于噪声的负值，负值表明由于噪声的负值，负值表明由于噪声的存在，接收到一个消息后，存在，接收到一个消息后，存在，接收到一个消息后，存在，接收到一个消息后，对另一个消息是否出现的不对另一个消息是否出现的不对另一个消息是否出现的不对另一个消息是否出现的不确定性反而增加了。确定性反而增加了。确定性反而增加了。确定性反而增加了。9/17/20246第三章第三章 信道容量信道容量习题习题1 1解答：9/17/20247第三章第三章 信道容量信道容量习题习题2 23.2.3.2.设二元对称信道的传递概率为设二元对称信道的传递概率为设二元
12、对称信道的传递概率为设二元对称信道的传递概率为若若若若P(0)=3/4,P(1)=1/4,P(0)=3/4,P(1)=1/4,求求求求H(X),H(X/Y),H(Y/X)H(X),H(X/Y),H(Y/X)和和和和I(X;Y)I(X;Y)。求该信道的信道容量及达到信道容量时的输入概率分求该信道的信道容量及达到信道容量时的输入概率分求该信道的信道容量及达到信道容量时的输入概率分求该信道的信道容量及达到信道容量时的输入概率分布。布。布。布。9/17/20248第三章第三章 信道容量信道容量习题习题2 29/17/20249第三章第三章 信道容量信道容量习题习题2 29/17/202410第三章第三
13、章 信道容量信道容量习题习题3 33.3 设有一批电阻，按阻值分设有一批电阻，按阻值分70%是，是，30%是；按瓦分是；按瓦分64%是是1/8W，其余是其余是1/4W。现已知阻值的电阻中。现已知阻值的电阻中80%是是1/8W。问通过测量阻值。问通过测量阻值可以得到的关于瓦数的平均信息量是多少？可以得到的关于瓦数的平均信息量是多少？解：设随机变量解：设随机变量X表示电阻的瓦数，表示电阻的瓦数，Y表示电阻的阻值，则其概率分布为表示电阻的阻值，则其概率分布为已知，由概率的归一性：由，得.9/17/202411第三章第三章 信道容量信道容量习题习题3 39/17/202412第三章第三章 信道容量信道
14、容量9/17/202413第三章第三章 信道容量信道容量9/17/202414第三章第三章 信道容量信道容量9/17/202415第三章第三章 信道容量信道容量9/17/202416第三章第三章 信道容量信道容量9/17/202417第三章第三章 信道容量信道容量9/17/202418第三章第三章 信道容量信道容量9/17/202419第三章第三章 信道容量信道容量3)9/17/202420第三章第三章 信道容量信道容量9/17/202421第三章第三章 信道容量信道容量9/17/202422第三章第三章 信道容量信道容量9/17/202423第三章第三章 信道容量信道容量9/17/20242
15、4第三章第三章 信道容量信道容量9/17/202425第三章第三章 信道容量信道容量9/17/202426第三章第三章 信道容量信道容量9/17/202427第三章第三章 信道容量信道容量9/17/202428第三章第三章 信道容量信道容量9/17/202429第三章第三章 信道容量信道容量9/17/202430第三章第三章 信道容量信道容量9/17/202431第三章第三章 信道容量信道容量9/17/202432第三章第三章 信道容量信道容量解：解：9/17/202433第三章第三章 信道容量信道容量9/17/202434第三章第三章 信道容量信道容量9/17/202435第三章第三章 信道
16、容量信道容量9/17/202436第三章第三章 信道容量信道容量9/17/202437第三章第三章 信道容量信道容量9/17/202438第三章第三章 信道容量信道容量9/17/202439第三章第三章 信道容量信道容量9/17/202440第三章第三章 信道容量信道容量9/17/202441第三章第三章 信道容量信道容量9/17/202442第三章第三章 信道容量信道容量9/17/202443第三章第三章 信道容量信道容量9/17/202444第三章第三章 信道容量信道容量9/17/202445第三章第三章 信道容量信道容量9/17/202446第三章第三章 信道容量信道容量9/17/202447第三章第三章 信道容量信道容量9/17/202448第三章第三章 信道容量信道容量9/17/202449第三章第三章 信道容量信道容量9/17/202450第三章第三章 信道容量信道容量9/17/202451第三章第三章 信道容量信道容量9/17/202452第三章第三章 信道容量信道容量9/17/202453第三章第三章 信道容量信道容量9/17/202454第三章第三章 信道容量信道容量9/17/202455
