《第三章信道及其容量》由会员分享，可在线阅读，更多相关《第三章信道及其容量（69页珍藏版）》请在金锄头文库上搜索。
1、第三章第三章 信道及其容量信道及其容量综否躯讣内扦漂周颤识祁敲侥近倒讥歉熬度份殿偿酞芽坡囚妓石差牡榷陡第三章信道及其容量第三章信道及其容量u信道的任务是以信号方式传输信息和存储信息。信道的任务是以信号方式传输信息和存储信息。u研究信道中能够传送或存储的最大信息量，即信道容量。研究信道中能够传送或存储的最大信息量，即信道容量。辉陆缔幂息寸驮矢泞篱噬态邱箍渣磅曙伟捎孵愈辰觉酪豆速衅邱欣袒蜡晚第三章信道及其容量第三章信道及其容量3.1 3.1 信道的数学模型和分类信道的数学模型和分类 图3.1.1 数字通信系统的一般模型幻唇眠蛾惺挝狐耕窟源岛踪高乖私屹独充影使耳稼绪肃彪狰绊垄客筹磊承第三章信道及其容
2、量第三章信道及其容量3.1 3.1 信道的数学模型和分类信道的数学模型和分类 一、信道的分类一、信道的分类 根据载荷消息的媒体不同根据载荷消息的媒体不同根据信息传输的方式根据信息传输的方式邮递信道邮递信道邮递信道邮递信道电信道电信道电信道电信道光信道光信道光信道光信道声信道声信道声信道声信道输入和输出信号的形式输入和输出信号的形式输入和输出信号的形式输入和输出信号的形式信道的统计特性信道的统计特性信道的统计特性信道的统计特性信道的用户多少信道的用户多少信道的用户多少信道的用户多少撞初舷取蜒鱼饺吾铃掇蝗掣乎浇氧娩富集醒袜枢霞尿钠脾厌专抛答审督辐第三章信道及其容量第三章信道及其容量根据信息传输的方
3、式分类中根据信息传输的方式分类中 根据信道的用户多少：两端根据信道的用户多少：两端(单用户单用户)信道信道 多端多端(多用户多用户)信道信道根据信道输入端和输出端的关联：根据信道输入端和输出端的关联： 无反馈信道无反馈信道 反馈信道反馈信道根据信道的参数与时间的关系：根据信道的参数与时间的关系： 固定参数信道固定参数信道 时变参数信道时变参数信道 根据输入和输出信号的特点：根据输入和输出信号的特点： 离散信道离散信道 连续信道连续信道 半离散或半连续信道半离散或半连续信道 波形信道波形信道卑忙蹿喻滋鬃伸团岿挽搽汰湾丙荫穆酿豪刻机跌萄橱战彻拇泼臃谅寂气箔第三章信道及其容量第三章信道及其容量二、离
4、散信道的数学模型二、离散信道的数学模型条件概率条件概率 P(y/x) 描述了输入信号和输出信号之间统计描述了输入信号和输出信号之间统计依赖关系。反映了依赖关系。反映了信道的统计特性信道的统计特性。州措徘镑赎爽炒差乡亿揪檄症樱鄂看易剖挟吴棺脐绥捣嘉琼彩无尹幸凝舞第三章信道及其容量第三章信道及其容量根据信道的根据信道的统计特性即条件概率统计特性即条件概率 P(y/x) P(y/x)的不同，离散的不同，离散信道又可分成三种情况：信道又可分成三种情况： 无干扰信道无干扰信道有干扰无记忆信道有干扰无记忆信道有干扰有记忆信道有干扰有记忆信道客貉授稗庄鹃巍恋愚踢贾瞪絮秋嫉饭须康蜜轻馒絮场羽刨黍憨令筋惕北介第
5、三章信道及其容量第三章信道及其容量 (1)无干扰无干扰(噪声噪声)信道信道 信道中没有随机性的干扰或者干扰很小，输出信号信道中没有随机性的干扰或者干扰很小，输出信号y与输入信号与输入信号 x 之间有确定的、一之间有确定的、一 一对应的关系。即：一对应的关系。即：y f (x)前鉴有泊拜辈漳薪子孽诀锹舀饺愁颜翼边晴嫌啼阅渭猖赎佯巢颠躯岔掇党第三章信道及其容量第三章信道及其容量(2)有干扰无记忆信道有干扰无记忆信道信道输入和输出之间的条件概率是一般的概率分布。信道输入和输出之间的条件概率是一般的概率分布。如果任一时刻输出符号只统计依赖于对应时刻的输入符号，如果任一时刻输出符号只统计依赖于对应时刻的
6、输入符号，则这种信道称为无记忆信道。则这种信道称为无记忆信道。砖整傻透菠放畏届租间凭租菊余灶式扦札缠妇移卸应博闽渭役膏车颧溅蕉第三章信道及其容量第三章信道及其容量 (3) 有干扰有干扰(噪声噪声)有记忆信道有记忆信道 实际信道往往是既有干扰实际信道往往是既有干扰(噪声噪声)又有记忆的这种类又有记忆的这种类型。型。 例如在数字信道中，由于信道滤波使频率特性不理例如在数字信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰。想时造成了码字之间的干扰。 在这一类信道中某一瞬间的输出符号在这一类信道中某一瞬间的输出符号不但与对应时不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输刻的输
7、入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，入符号及输出符号有关，这样的信道称为有记忆信道。这样的信道称为有记忆信道。旷箱铰艇宁驯拈呀秒服裁聋逊语集组仓摇郝潍垛悟希独揪怯伊丁嘛萤闽兔第三章信道及其容量第三章信道及其容量三、单符号离散信道单符号离散信道：单符号离散信道：输入符号为输入符号为X，取值于，取值于a1,a2, ,ar。输出符号为输出符号为Y，取值于，取值于b1,b2, ,bs。条件概率：条件概率：P(y/x)P(y=bj/x=ai)P(bj/ai) 这一组条件概率称为这一组条件概率称为信道的传递概率信道的传递概率或或转移概率转移概率，可以用，可以用来来描述信道干扰描
8、述信道干扰影响的大小。影响的大小。埃殆燥杯报衙侵缝吃隆粕帚鲤湃锣筛制诣缘烙核碾撵吏狮镑伶凶橙脓慧柿第三章信道及其容量第三章信道及其容量信道中有干扰信道中有干扰(噪声噪声)存在，可以用传递概率存在，可以用传递概率 P(bj/ai) 来来描述干扰影响的大小。描述干扰影响的大小。一般一般简单的单符号离散信道简单的单符号离散信道可以用可以用X, P(y/x) ,Y 三者加三者加以描述。以描述。其数学模型可以用概率空间其数学模型可以用概率空间X, P(y/x) ,Y描述。当然，描述。当然，也可用下图来描述：也可用下图来描述： a1 b1 a2 b2 X . . Y . .ar bsP(bj/ai)磷莱倘
9、域跌同园焚赁闻虽械呛讼柿罐习靳康贩翻闲纵述郭奢液输纬仁推逢第三章信道及其容量第三章信道及其容量例例1 二元对称信道，二元对称信道，BSC，Binary Symmetrical Channel解：解：此时，此时，X:0,1 ; Y:0,1 ; r=s=2，a1=b1=0；a2=b2=1。传递概率传递概率: p是单个符号是单个符号传输发生错误传输发生错误的概率。的概率。（1-p）表示是）表示是无错误传输无错误传输的概率。的概率。 转移矩阵转移矩阵: 0 1011p a1=0 0=b11p a2=1 1=b2pp泰借蟹傅乱冈越个乳烘特涎蜜凡如秒铡婿锦楚躺防铂咸邹悬堤倡活翰菠蠕第三章信道及其容量第三章
10、信道及其容量符号符号“2”表示接收到了表示接收到了“0”、“1”以外的特殊以外的特殊符号符号 0 2 101p0 01p1 1q1q2例例2二元删除信道。二元删除信道。BEC，Binary Eliminated Channel解：解：X:0，1 Y:0，1，2此时，此时，r 2，s 3，传递矩阵为：传递矩阵为：扒洒媒沏屎盎浪聊唁拂砸饰这纫肾蔗刑嫁捏粥但捡领甜眶玖厌舷维阻摔茶第三章信道及其容量第三章信道及其容量一般离散单符号信道的传递概率可用矩阵形式表示，即一般离散单符号信道的传递概率可用矩阵形式表示，即 矩阵矩阵P完全描述了信道的特性，可用它作为离散单符号完全描述了信道的特性，可用它作为离散单
11、符号信道的另一种数学模型信道的另一种数学模型的形式。的形式。 P中有些是信道干扰引起的错误概率，有些是信道正确中有些是信道干扰引起的错误概率，有些是信道正确传输的概率。所以该矩阵又称为传输的概率。所以该矩阵又称为信道矩阵信道矩阵（转移矩阵）（转移矩阵） 。 b1 b2 bsa1 P(b1|a1) P(b2|a1) P(bs|a1)a2 P(b1|a2) P(b2|a2) P(bs|a2) . ar P(b1|ar) P(b2|ar) P(bs|ar)嚼满惦寅脱享轨杯族佃谱旬薯云影砖庇莫借特鼻染育胡瞅婿咏搁镁豢铀沧第三章信道及其容量第三章信道及其容量3.2 3.2 信道疑义度与平均互信息信道疑义
12、度与平均互信息 本节进一步研究离散单符号信道的数学模型本节进一步研究离散单符号信道的数学模型下的信息传输问题。下的信息传输问题。宴茹簿半贵逗个朋噎匈路堑视甲禹劣械征哨溉俗缘聋歹瞎钠矿官赌币笆陨第三章信道及其容量第三章信道及其容量一、信道疑义度一、信道疑义度信道输入信源信道输入信源X的熵的熵 H(X)是在接收到输出是在接收到输出Y以前，关于输入变量以前，关于输入变量X的先验不确的先验不确定性，称为定性，称为先验熵先验熵。 针宜筐球瘦损莆棋义哮按瘪炊傍辰沤历肘柔巾哮淮转晤且祸巩藻牺疆堰蚊第三章信道及其容量第三章信道及其容量接受到接受到bj后，关于后，关于X的不确定性为的不确定性为 后验熵在输出符号
13、集后验熵在输出符号集Y范围内是个随机量，对后验熵在符范围内是个随机量，对后验熵在符号集号集Y中求数学期望，得条件熵中求数学期望，得条件熵-信道疑义度信道疑义度：这是接收到输出符号这是接收到输出符号bj后关于后关于X的的后验熵后验熵。 后后验验熵熵是是当当信信道道接接收收端端接接收收到到输输出出符符号号bj后后，关关于于输输入入符符号的信息测度。号的信息测度。衬临捏幢奎旦疹印虏街拜彻倍遮讲撰恩促拾间垃墓邦嚣蠢溯匠舅急萍招汛第三章信道及其容量第三章信道及其容量互信息量互信息量 I(xi ; yj)：收到消息：收到消息yj 后获得关于后获得关于xi的信息的信息量量即：互信息量表示先验的不确定性减去尚
14、存的不确定性，这即：互信息量表示先验的不确定性减去尚存的不确定性，这即：互信息量表示先验的不确定性减去尚存的不确定性，这即：互信息量表示先验的不确定性减去尚存的不确定性，这就是就是就是就是收信者获得的信息量收信者获得的信息量收信者获得的信息量收信者获得的信息量对于无干扰信道，对于无干扰信道，对于无干扰信道，对于无干扰信道，I(xI(xi i ; y; yj j) = I(x) = I(xi i) )；对于全损信道，对于全损信道，对于全损信道，对于全损信道，I(xI(xi i ; y; yj j) = 0) = 0；二、平均互信息二、平均互信息注浴袒郊于遏淀沟笼谩牧消七幌取熙患湖噪癸芭湾碧嘉樟饮
15、帮誊国沥纂梭第三章信道及其容量第三章信道及其容量平均互信息平均互信息I(X; Y)： I(xi ; yj)的的统计平均。统计平均。l它代表接收到符号集它代表接收到符号集Y后平均每个符号获得的关于后平均每个符号获得的关于X的的信息量，也表示了输入与输出两个随机变量之间的统信息量，也表示了输入与输出两个随机变量之间的统计约束程度。计约束程度。压蕊鸥驾瓦撰铅诈卷乒鹅铀擒晰酱冶舔雨彝锗贝沽炎卑奥吮喝停井滚寐加第三章信道及其容量第三章信道及其容量关于平均互信息关于平均互信息I(X;Y) 互信息互信息互信息互信息 I( I(x x ; ; y y) ) 代表收到某消息代表收到某消息代表收到某消息代表收到某
16、消息y y后获得关于某事件后获得关于某事件后获得关于某事件后获得关于某事件x x的的的的信息量。信息量。信息量。信息量。它可取正值，也可取负值。它可取正值，也可取负值。它可取正值，也可取负值。它可取正值，也可取负值。 若互信息若互信息若互信息若互信息I(I(x x ; ; y y)0)= 0= 0。 若若若若I(XI(X; ;Y) Y) = 0= 0，表示在信道输出端接收到输出符号表示在信道输出端接收到输出符号表示在信道输出端接收到输出符号表示在信道输出端接收到输出符号Y Y后不后不后不后不获得任何关于输入符号获得任何关于输入符号获得任何关于输入符号获得任何关于输入符号X X的信息量的信息量的
17、信息量的信息量-全损信道全损信道全损信道全损信道。蓄厘动贵音郭窃娶秦正泥院雕冷梗粪葬泞毒最挫寄冯嘛亩减揽碍援蔷托署第三章信道及其容量第三章信道及其容量 I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(X)+H(Y)-H(XY) I(X;Y) = H(X)+H(Y)-H(XY)其中：其中：其中：其中：平均互信息与各类熵的关系平均互信息与各类熵的关系倍萎庇迭舶越狞逮常畸赫横围队谬陛猫械装监搽檬妻勃尊寄拆臀吱魁举猫第三章信道及其容量第三章信道及
18、其容量平均互信息与各类熵之间关系的集合图平均互信息与各类熵之间关系的集合图平均互信息与各类熵之间关系的集合图平均互信息与各类熵之间关系的集合图（维拉图维拉图维拉图维拉图）表示：表示：表示：表示： H(X|Y) = H(X) - I(XH(X|Y) = H(X) - I(X; ;Y) Y) H(Y|X) = H(Y) - I(X H(Y|X) = H(Y) - I(X; ;Y) Y) H(XY) = H(X)+H(Y)- I(X H(XY) = H(X)+H(Y)- I(X; ;Y)Y) H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)I(X;Y)H(XY)H(XY)图中，左边的圆代表随机图
19、中，左边的圆代表随机图中，左边的圆代表随机图中，左边的圆代表随机变量变量变量变量X X的熵，右边的圆代的熵，右边的圆代的熵，右边的圆代的熵，右边的圆代表随机变量表随机变量表随机变量表随机变量Y Y的熵，两个的熵，两个的熵，两个的熵，两个圆重叠部分是平均互信息圆重叠部分是平均互信息圆重叠部分是平均互信息圆重叠部分是平均互信息I I(X(X; ;Y)Y)。每个圆减去。每个圆减去。每个圆减去。每个圆减去I(XI(X; ;Y)Y)后剩余的部分代表后剩余的部分代表后剩余的部分代表后剩余的部分代表两个疑义度。两个疑义度。两个疑义度。两个疑义度。祷焉鄂昨藤酝诧氮爪谱瘦擒嚼忽狭妓蝗换衍炸云怂栈垃旨准摈老顺愁嫂
20、德第三章信道及其容量第三章信道及其容量 两种特殊信道两种特殊信道（1 1）、离散无干扰信道）、离散无干扰信道）、离散无干扰信道）、离散无干扰信道 ( ( 无损信道无损信道无损信道无损信道 ) ) 信道的输入和输出一一对应，信息无损失地传输，信道的输入和输出一一对应，信息无损失地传输，信道的输入和输出一一对应，信息无损失地传输，信道的输入和输出一一对应，信息无损失地传输，称为称为称为称为无损信道无损信道无损信道无损信道。 H(X|Y) = H(Y|X) = 0H(X|Y) = H(Y|X) = 0 损失熵和噪声熵都为损失熵和噪声熵都为损失熵和噪声熵都为损失熵和噪声熵都为“0” “0” 由于噪声熵
21、等于零，因此，输出端接收的信息就等由于噪声熵等于零，因此，输出端接收的信息就等由于噪声熵等于零，因此，输出端接收的信息就等由于噪声熵等于零，因此，输出端接收的信息就等于平均互信息于平均互信息于平均互信息于平均互信息: : I(X;Y) = H(X) = H(Y) I(X;Y) = H(X) = H(Y) 淘濒百鸦铅毅坑陈乐服碳鹤势储歪篡短瘦握绪浚宦戮文捕员嫁登凰岗蔑砌第三章信道及其容量第三章信道及其容量（2 2）、输入输出独立信道）、输入输出独立信道）、输入输出独立信道）、输入输出独立信道 ( ( 全损信道全损信道全损信道全损信道 ) ) 信道输入端信道输入端信道输入端信道输入端X X与输出端
22、与输出端与输出端与输出端Y Y完全统计独立完全统计独立完全统计独立完全统计独立 H(X|Y) = H(X) , H(Y|X) = H(Y)H(X|Y) = H(X) , H(Y|X) = H(Y) 所以所以所以所以 I(X;Y) = 0 I(X;Y) = 0 I(X;Y) = H(X) - H(X|Y)I(X;Y) = H(X) - H(X|Y) 信道的输入和输出没有信道的输入和输出没有信道的输入和输出没有信道的输入和输出没有依赖依赖依赖依赖关系，信息无法传输，关系，信息无法传输，关系，信息无法传输，关系，信息无法传输，称为称为称为称为全损信道全损信道全损信道全损信道。 接收到接收到接收到接收
23、到Y Y后不可能消除有关输入端后不可能消除有关输入端后不可能消除有关输入端后不可能消除有关输入端X X的任何不确定性，的任何不确定性，的任何不确定性，的任何不确定性，所以获得的信息量等于零。同样，也不能从所以获得的信息量等于零。同样，也不能从所以获得的信息量等于零。同样，也不能从所以获得的信息量等于零。同样，也不能从X X中获得任何中获得任何中获得任何中获得任何关于关于关于关于Y Y的信息量。的信息量。的信息量。的信息量。 平均互信息平均互信息平均互信息平均互信息I(XI(X; ;Y)Y)等于零，表明了等于零，表明了等于零，表明了等于零，表明了信道两端随机变信道两端随机变信道两端随机变信道两端
24、随机变量的统计约束程度等于零量的统计约束程度等于零量的统计约束程度等于零量的统计约束程度等于零。辗器沂瑞位柔遵绰慑窒销夹焦窘匠勒屡赖物嫩搔溃笔滥津珠姚叠榨勤辰恼第三章信道及其容量第三章信道及其容量二种极限信道各类熵与平均互信息之间的关系二种极限信道各类熵与平均互信息之间的关系二种极限信道各类熵与平均互信息之间的关系二种极限信道各类熵与平均互信息之间的关系 H(X|Y) = H(X) H(X|Y) = H(X) H(Y|X) = H(Y) H(Y|X) = H(Y) I(X;Y) = 0 I(X;Y) = 0H(X|Y)=H(Y|X)=0 H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=
25、H(Y)I(X;Y)=H(X)=H(Y)无损信道：完全重迭无损信道：完全重迭无损信道：完全重迭无损信道：完全重迭全损信道：完全独立全损信道：完全独立全损信道：完全独立全损信道：完全独立无损信道：无损信道：无损信道：无损信道：全损信道：全损信道：全损信道：全损信道：鳞漫棕垢耘则侥香廊馅护爹拙喂漆栏释享默员肮摸致宏壤簇式灯靡综引硕第三章信道及其容量第三章信道及其容量3.2 3.2 平均互信息的性质平均互信息的性质平均互信息平均互信息 I(X;Y) 具有以下特性：具有以下特性：（1）非负性非负性 即即 I(X;Y) = 0 当当X、Y统计独立时等式成立。统计独立时等式成立。（2）极值性）极值性 即即
26、 I(X;Y) = H(X) 当当 H(X/Y)=0 时，即信道中传输信息无损时，等式成时，即信道中传输信息无损时，等式成立。立。姚纲悯琼咐忆呕卖腰资馆饲喝汇辊趴膨洱疙尤话庞非螺氢潍讥嫉卷涧润瓶第三章信道及其容量第三章信道及其容量（3）交互性（对称性）交互性（对称性） 即即 I(X;Y) = I(Y;X) 当当 X、Y统计独立时统计独立时 I(X;Y) = I(Y;X)=0 当信道无干扰时当信道无干扰时 I(X;Y) = I(Y;X)=H(X)=H(Y)嫌愤低剩吃阀串格周丛瞪跋霹惹骂衅嵌无闺默辩伴夜炊俏待微仿裴挡腋殴第三章信道及其容量第三章信道及其容量（4 4）凸状性）凸状性）凸状性）凸状性
27、所以，所以，所以，所以，平均互信息平均互信息平均互信息平均互信息I(XI(X; ;Y)Y)只是信源只是信源只是信源只是信源X X的概率分布的概率分布的概率分布的概率分布P(P(x x) )和信道的传递概率和信道的传递概率和信道的传递概率和信道的传递概率P(P(y/xy/x) )的函数，的函数，的函数，的函数，即：即：即：即： I(X;Y) = I(X;Y) = f f P(xP(x), P(y|x), P(y|x)碗麦空杀逮哪婪苫涯旋填勺逼从柿宏疯哀戏绚银诣撵占拆就林器鄂妖俩拈第三章信道及其容量第三章信道及其容量l 平均互信息平均互信息I(X;Y)是输入信源的概率分布是输入信源的概率分布P(x
28、)的的型凸函数。型凸函数。 （1 1）对固定信道，选择不同的信源对固定信道，选择不同的信源对固定信道，选择不同的信源对固定信道，选择不同的信源( ( ( (其概率分布不同其概率分布不同其概率分布不同其概率分布不同) ) ) )与信与信与信与信道连接，在信道输出端接收到每个符号后获得的信息量是不道连接，在信道输出端接收到每个符号后获得的信息量是不道连接，在信道输出端接收到每个符号后获得的信息量是不道连接，在信道输出端接收到每个符号后获得的信息量是不同的。同的。同的。同的。 （2 2）对于每一个固定信道，一定存在有一种信源对于每一个固定信道，一定存在有一种信源对于每一个固定信道，一定存在有一种信源
29、对于每一个固定信道，一定存在有一种信源( ( ( (某一种概某一种概某一种概某一种概率分布率分布率分布率分布P(x)P(x)P(x)P(x)，使输出端获得的平均信息量为最大。，使输出端获得的平均信息量为最大。，使输出端获得的平均信息量为最大。，使输出端获得的平均信息量为最大。湾忿刚秘抨搓烛捕骂庙阻杰釜贼礼情扩标燃承鹃辙灵只奄袍茹哮吭莲哨粪第三章信道及其容量第三章信道及其容量l 平均互信息平均互信息I(X;Y)是信道传递的概率是信道传递的概率P(y/x)的的型凸函数。型凸函数。当当信源固定信源固定后，选择不同的信道来传输同一信源符后，选择不同的信道来传输同一信源符号，在信道输出端获得关于信源的信
30、息量是不同的。号，在信道输出端获得关于信源的信息量是不同的。对每一种信源都存在一种最差的信道，此时干扰对每一种信源都存在一种最差的信道，此时干扰 (噪声噪声) 最大，而输出端获得的信息量最小。最大，而输出端获得的信息量最小。廖殴迄完牡廊洒六腥阳篇蚀幢涝碱苦婿椰寓伏突予史蓟豌井迟箍辛的懦锣第三章信道及其容量第三章信道及其容量3.3 3.3 离散无记忆信道的扩展信道离散无记忆信道的扩展信道 离散无记忆信道离散无记忆信道离散无记忆信道离散无记忆信道 ( DMC ( DMC，Discrete Memoryless Discrete Memoryless Channel) Channel) ，其，其，其
31、，其传递概率满足传递概率满足传递概率满足传递概率满足：仍可用仍可用仍可用仍可用 X X，P( P( y y / / x x ) )，Y Y 概率空间来描述。概率空间来描述。概率空间来描述。概率空间来描述。设离散无记忆信道的设离散无记忆信道的设离散无记忆信道的设离散无记忆信道的输入符号集输入符号集输入符号集输入符号集A Aaa1 1， ， a ar r ，输出符号集输出符号集输出符号集输出符号集B Bbb1 1 ， ， b bs s ，信道矩阵为，信道矩阵为，信道矩阵为，信道矩阵为: :衔辑蒋谭宵忿壮侵傲谓座箩嗣耻她咖清腔佐市弛铂拔誓肯许语胳败慢钵齐第三章信道及其容量第三章信道及其容量则此无记忆
32、信道的则此无记忆信道的则此无记忆信道的则此无记忆信道的NN次扩展信道次扩展信道次扩展信道次扩展信道的数学模型如图所示的数学模型如图所示的数学模型如图所示的数学模型如图所示: :而而而而信道矩阵信道矩阵信道矩阵信道矩阵：其中：其中：其中：其中： 仟埠山千斯该樟顺算翰分疯年毫眠痢埠捧疗艇藻篡瑞裔展幻忻娶越务备牵第三章信道及其容量第三章信道及其容量 例例例例33 求二元无记忆对称信道（求二元无记忆对称信道（求二元无记忆对称信道（求二元无记忆对称信道（BSCBSC）的二次扩展信道。）的二次扩展信道。）的二次扩展信道。）的二次扩展信道。解：解：解：解：BSCBSC的输入和输出变量的输入和输出变量的输入和
33、输出变量的输入和输出变量X X和和和和Y Y的取值都是的取值都是的取值都是的取值都是0 0或或或或1 1，因此，二，因此，二，因此，二，因此，二次扩展信道的输入符号集为次扩展信道的输入符号集为次扩展信道的输入符号集为次扩展信道的输入符号集为A A0000，0101，1010，1111，共有共有共有共有2 22 24 4个符号个符号个符号个符号，输出符号集为，输出符号集为，输出符号集为，输出符号集为B B 00 00，0101，1010，1111。由于是无记忆信道，可求得由于是无记忆信道，可求得由于是无记忆信道，可求得由于是无记忆信道，可求得二次扩展信道的传递概率二次扩展信道的传递概率二次扩展信
34、道的传递概率二次扩展信道的传递概率：信道矩阵信道矩阵信道矩阵信道矩阵：汛歼须谓植皇轮颠宰康喀封尚赚甚鞭旦掀懦爷摸儡脖屏氮仗衙书佰敖休师第三章信道及其容量第三章信道及其容量 根据平均互信息的定义，可得根据平均互信息的定义，可得根据平均互信息的定义，可得根据平均互信息的定义，可得无记忆信道的无记忆信道的无记忆信道的无记忆信道的NN次扩展信次扩展信次扩展信次扩展信道的平均互信息道的平均互信息道的平均互信息道的平均互信息：盾寄午点谭团芍韧周仔种虚粒况氛攫悸律也破侄乌珊此坝颈虱池延甄径女第三章信道及其容量第三章信道及其容量若信道的输入随机序列为若信道的输入随机序列为若信道的输入随机序列为若信道的输入随机
35、序列为X= (XX= (X1 1X X2 2XXNN) )，通过信道传输，通过信道传输，通过信道传输，通过信道传输，接收到的随机序列为接收到的随机序列为接收到的随机序列为接收到的随机序列为Y Y(Y(Y1 1Y Y2 2YYNN) )。假若信道是无记忆的假若信道是无记忆的假若信道是无记忆的假若信道是无记忆的，即信道传递概率满足：即信道传递概率满足：即信道传递概率满足：即信道传递概率满足：则有：则有：则有：则有：式中式中式中式中X Xi i Y Yi i是对应第是对应第是对应第是对应第 i i 位的随机变量。位的随机变量。位的随机变量。位的随机变量。若信源是无记忆的，则等式成立。若信源是无记忆的
36、，则等式成立。若信源是无记忆的，则等式成立。若信源是无记忆的，则等式成立。 直观分析直观分析直观分析直观分析：如果信源有记忆，前面传送的符号带有后面符号：如果信源有记忆，前面传送的符号带有后面符号：如果信源有记忆，前面传送的符号带有后面符号：如果信源有记忆，前面传送的符号带有后面符号的信息，使得后面传送的符号的互信息减少的信息，使得后面传送的符号的互信息减少的信息，使得后面传送的符号的互信息减少的信息，使得后面传送的符号的互信息减少郁布巢乳沧棋谐蛋曾暂副凡呼瓤诡卞速嚏革卷肇川泼宪篱咽襟珍腆贝腔亩第三章信道及其容量第三章信道及其容量若信道的输入随机序列为若信道的输入随机序列为若信道的输入随机序列
37、为若信道的输入随机序列为X= (XX= (X1 1X X2 2XXNN) )，通过信道传输，接，通过信道传输，接，通过信道传输，接，通过信道传输，接收到的随机序列为收到的随机序列为收到的随机序列为收到的随机序列为Y Y(Y(Y1 1Y Y2 2YYNN) )。假若信源是无记忆的假若信源是无记忆的假若信源是无记忆的假若信源是无记忆的，则，则，则，则有：有：有：有：其中其中其中其中X Xi i和和和和Y Yi i是随机序列是随机序列是随机序列是随机序列X X和和和和Y Y中的第中的第中的第中的第 i i 位随机变量。位随机变量。位随机变量。位随机变量。直观分析直观分析直观分析直观分析：如果信道有记
38、忆，后面传送的符号带有前面符号：如果信道有记忆，后面传送的符号带有前面符号：如果信道有记忆，后面传送的符号带有前面符号：如果信道有记忆，后面传送的符号带有前面符号的信息，使得前面传送的符号的互信息增加。的信息，使得前面传送的符号的互信息增加。的信息，使得前面传送的符号的互信息增加。的信息，使得前面传送的符号的互信息增加。若若若若信道和信源都是无记忆的信道和信源都是无记忆的信道和信源都是无记忆的信道和信源都是无记忆的，则：，则：，则：，则：骑贝媚吱屁疼勃若袋酝渍李省笨携馆掺佩街叮需曳毒授涵促茎果链磐捷喝第三章信道及其容量第三章信道及其容量研究信道的研究信道的目的目的是要讨论信道中平均每个符号所是
39、要讨论信道中平均每个符号所能传送的信息量能传送的信息量-信息传输率信息传输率R平均互信息平均互信息I(X;Y)就是接收到符号就是接收到符号Y后平均每个后平均每个符号获得的关于符号获得的关于X的信息量。的信息量。所以：所以： R = I(X;Y) = H(X) H(X|Y) (比特比特/符号符号)3.4 3.4 离散信道的信道容量离散信道的信道容量信道中每秒平均传输的信息量信道中每秒平均传输的信息量-信息信息传输速率传输速率RtRt R/t = I(X;Y)/t = H(X)/t H(X|Y)/t （比特（比特/秒）秒）仿掘鸦缺忘碌裔肥弟察近朵极咖邀益枪漏扩略桌虞怪测尽注颇降忿其佑疥第三章信道及
40、其容量第三章信道及其容量一、一、 信道容量的定义信道容量的定义 由于平均互信息由于平均互信息I(X;Y)是输入随机变量的是输入随机变量的型凸函数型凸函数 ，所，所以对一固定的信道，总存在一种信源，使传输每个符号平均获以对一固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。得的信息量最大。即存在一个最大的信息传输率即存在一个最大的信息传输率 -定义为定义为信道容量信道容量C（比特（比特（比特（比特/ /符号）符号）符号）符号）(Bit/s)(Bit/s)C Ct t仍称为仍称为仍称为仍称为信道容量信道容量信道容量信道容量 若平均传输一个符号需要若平均传输一个符号需要若平均传输一个符
41、号需要若平均传输一个符号需要 t t 秒钟，则信道在单位时间内秒钟，则信道在单位时间内秒钟，则信道在单位时间内秒钟，则信道在单位时间内平均传输的最大信息量为平均传输的最大信息量为平均传输的最大信息量为平均传输的最大信息量为C Ct t：穴瓢启朴恤实贪事缴策陛虎芍滑贬税檬括拖裁侵贤浚购疟傣琴敬性宁壬卯第三章信道及其容量第三章信道及其容量即：即：即：即：例例4 信道容量的计算信道容量的计算因此，二元对称信道的信道容量为：因此，二元对称信道的信道容量为：因此，二元对称信道的信道容量为：因此，二元对称信道的信道容量为：二元对称信道，二元对称信道，二元对称信道，二元对称信道，I(X;Y)I(X;Y)时，
42、时，时，时，I(X;Y)I(X;Y)最大。最大。最大。最大。当当( ( ( (比特符号比特符号比特符号比特符号) ) ) )翠韶釜饱沸旋逞洛扁田嘴反展予腻侍蔼乓胀霉左靴坡瘁凤顺邢瞎湃竖负攀第三章信道及其容量第三章信道及其容量离散无噪信道离散无噪信道离散无噪信道离散无噪信道二、简单离散信道的信道容量二、简单离散信道的信道容量例如：例如：例如：例如：其信道矩阵是单位矩阵：其信道矩阵是单位矩阵：其信道矩阵是单位矩阵：其信道矩阵是单位矩阵：满足：满足：满足：满足： I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)伊筑佐现匪姚爱勺党轻菜梢己耙性层颗返凯谈勃懊慑古惟小损科淌算展无第三章信道
43、及其容量第三章信道及其容量有噪无损信道：有噪无损信道：有噪无损信道：有噪无损信道： 接收到符号接收到符号接收到符号接收到符号Y Y后，对后，对后，对后，对X X符号是完全确定的。符号是完全确定的。符号是完全确定的。符号是完全确定的。 损失熵损失熵损失熵损失熵H(X/Y)=0H(X/Y)=0， 但噪声熵但噪声熵但噪声熵但噪声熵H(Y/X)H(Y/X)0 0其信道矩阵：其信道矩阵：其信道矩阵：其信道矩阵：所以所以所以所以 ： I(X;Y)=H(X)H(Y)I(X;Y)=H(X)H(Y)喇受秩发美生潞幼壁毋亭霸诅您痢检搅中糙亮噪拿甘质篇士忙月传砂远莆第三章信道及其容量第三章信道及其容量无噪有损信道无
44、噪有损信道满足：满足：满足：满足： I(X;Y)=H(Y)H(X)I(X;Y)=H(Y)C，总可以找到一种编码，当L足够长时，译码错误概率 ，为任意大于零的正数。反之，当RC时，任何编码的 必大于零，当 时， 。肿嫉士漆矩匿赖焊司壕煎姑购怠兔马敛季忍饥辱愤婉扒刚贼咸锥靳啄吩政第三章信道及其容量第三章信道及其容量与无失真信源编码定理(香农第一定理)类似，香农第二定理只是一个存在性定理，它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。即在保证信息传输率低于(直至无限接近)信道容量的前提下，错误概率趋于“0”的编码是存在的。虽然定理设有具体说明如何构造这种码，但它对信道编码技术与实践仍然具有根本性的指导意义。编码技术研究人员在该理论指导下致力于研究实际信道中各种易于实现的具体编码方法。二十世纪六十年代以来，这方面的研究非常活跃，出现了代数编码、循环码、卷积码、级联码、格型码等等，为提高信息传输的可靠性作出了重要的贡献。我们将在第六章介绍信道编码的典型编码方法。 碘环愈傻胺陶抛赡哄媳轮包法纵闽薛胁扭崎墓蔗诱紊绥假邓舞耪私表助酮第三章信道及其容量第三章信道及其容量
