《信息论与编码总复习》由会员分享，可在线阅读，更多相关《信息论与编码总复习（78页珍藏版）》请在金锄头文库上搜索。
1、第第1章绪论章绪论oo重点掌握重点掌握n n信息的特征信息的特征信息的特征信息的特征n n信息、消息、信号的联系和区别信息、消息、信号的联系和区别信息、消息、信号的联系和区别信息、消息、信号的联系和区别n n通信系统的物理模型通信系统的物理模型通信系统的物理模型通信系统的物理模型 oo一般了解一般了解n n信息论理论的形成和发展过程信息论理论的形成和发展过程信息论理论的形成和发展过程信息论理论的形成和发展过程n n信息论的研究内容信息论的研究内容信息论的研究内容信息论的研究内容 信息的特征信息的特征oo信息的基本概念在于它的信息的基本概念在于它的不确定性不确定性，任何已任何已确定的事物都不含信
2、息。确定的事物都不含信息。n n接收者在收到信息之前，对它的内容是不知道接收者在收到信息之前，对它的内容是不知道接收者在收到信息之前，对它的内容是不知道接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容的，所以信息是新知识、新内容的，所以信息是新知识、新内容的，所以信息是新知识、新内容n n信息是能使认识主体对某一事物的未知性或不信息是能使认识主体对某一事物的未知性或不信息是能使认识主体对某一事物的未知性或不信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识确定性减少的有用知识确定性减少的有用知识确定性减少的有用知识n n信息可以产生，也可以消失，同时信息可以被信息
3、可以产生，也可以消失，同时信息可以被信息可以产生，也可以消失，同时信息可以被信息可以产生，也可以消失，同时信息可以被携带、贮存及处理携带、贮存及处理携带、贮存及处理携带、贮存及处理n n信息是可以量度的，信息量有多少的差别信息是可以量度的，信息量有多少的差别信息是可以量度的，信息量有多少的差别信息是可以量度的，信息量有多少的差别消息、信号和信息消息、信号和信息uu信号最具体，它是一物理量，可测量、可显示、信号最具体，它是一物理量，可测量、可显示、信号最具体，它是一物理量，可测量、可显示、信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体可描述，同时它又是载荷信息的实体可
4、描述，同时它又是载荷信息的实体可描述，同时它又是载荷信息的实体uu消息是具体的、非物理的，可描述为语言文字、消息是具体的、非物理的，可描述为语言文字、消息是具体的、非物理的，可描述为语言文字、消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它是符号、数据、图片，能够被感觉到，同时它是符号、数据、图片，能够被感觉到，同时它是符号、数据、图片，能够被感觉到，同时它是信息的载荷体，是信息论中主要描述形式信息的载荷体，是信息论中主要描述形式信息的载荷体，是信息论中主要描述形式信息的载荷体，是信息论中主要描述形式uu信息是抽象的、非物理的信息是抽象的、非物理的信息是抽象的、
5、非物理的信息是抽象的、非物理的哲学层表达哲学层表达哲学层表达哲学层表达信息的物理层表达信息的物理层表达信息的物理层表达信息的物理层表达信息的数学层表达信息的数学层表达信息的数学层表达信息的数学层表达通信系统模型简介通信系统模型简介信信道道信信道道信信源源信信源源信源编码信源编码信源编码信源编码加密加密加密加密信信道道编编码码信信道道编编码码干干 扰扰 源源干干 扰扰 源源信信宿宿信信宿宿信源解码信源解码信源解码信源解码解密解密解密解密信信道道解解码码信信道道解解码码加密加密加密加密密钥密钥密钥密钥解密解密解密解密密钥密钥密钥密钥第第2章信源及信源熵章信源及信源熵oo重点掌握重点掌握重点掌握重点
6、掌握n n信源的分类和数学描述信源的分类和数学描述信源的分类和数学描述信源的分类和数学描述n n自信息量、互信息自信息量、互信息自信息量、互信息自信息量、互信息n n离散信源熵离散信源熵离散信源熵离散信源熵n n离散序列信源的熵离散序列信源的熵离散序列信源的熵离散序列信源的熵n n熵的性质熵的性质熵的性质熵的性质oo一般了解一般了解一般了解一般了解n n连续信源熵连续信源熵连续信源熵连续信源熵n n冗余度冗余度冗余度冗余度信源分类信源分类离散离散离散离散信源信源信源信源 离散离散离散离散无记忆无记忆无记忆无记忆信源信源信源信源离散离散离散离散有记忆有记忆有记忆有记忆信源信源信源信源 发出单个符
7、号的无记忆信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源信源的数学描述信源的数学描述oo单符号无记忆信源单符号无记忆信源单符号无记忆信源单符号无记忆信源n n用一维离散型用一维离散型用一维离散型用一维离散型随机变量随机变量随机变量随机变量X X来描述这些信息的输出。来描述这
8、些信息的输出。来描述这些信息的输出。来描述这些信息的输出。n n数学模型数学模型数学模型数学模型oo符号序列无记忆信源符号序列无记忆信源符号序列无记忆信源符号序列无记忆信源n n很多实际信源输出的消息往往是由一系列符号组成，很多实际信源输出的消息往往是由一系列符号组成，很多实际信源输出的消息往往是由一系列符号组成，很多实际信源输出的消息往往是由一系列符号组成，这种用每次发出这种用每次发出这种用每次发出这种用每次发出1 1组含组含组含组含2 2个以上符号的符号序列来代个以上符号的符号序列来代个以上符号的符号序列来代个以上符号的符号序列来代表一个消息的信源叫做表一个消息的信源叫做表一个消息的信源叫
9、做表一个消息的信源叫做发出符号序列的信源发出符号序列的信源发出符号序列的信源发出符号序列的信源。n n设信源输出的设信源输出的设信源输出的设信源输出的随机序列随机序列随机序列随机序列为为为为X X，序列中的变量序列中的变量序列中的变量序列中的变量信源的数学描述信源的数学描述oo有记忆信源的有记忆信源的联合概率联合概率表示比较复杂，需要表示比较复杂，需要引入引入条件概率条件概率来反映信源发出符号序列内各来反映信源发出符号序列内各个符号之间的记忆特征。个符号之间的记忆特征。信源的数学描述信源的数学描述oo一阶马尔可夫信源一阶马尔可夫信源oom阶马尔可夫信源阶马尔可夫信源自信息量自信息量oo随机事件
10、的自信息量定义为其概率对数的负值，随机事件的自信息量定义为其概率对数的负值，即即ooI I ( (x xi i) ) 含义含义含义含义: :n n当事件当事件当事件当事件x xi i发生以前，表示事件发生以前，表示事件发生以前，表示事件发生以前，表示事件x xi i发生的发生的发生的发生的不确定性不确定性不确定性不确定性n n当事件当事件当事件当事件x xi i发生以后，表示事件发生以后，表示事件发生以后，表示事件发生以后，表示事件x xi i所含有的所含有的所含有的所含有的信息量信息量信息量信息量自信息量的特性自信息量的特性ooI (xi)是非负值是非负值oo当当p(xi) = 1时，时，I
11、(xi) = 0oo当当p(xi) = 0时，时，I(xi) = ooI(xi)是先验概率是先验概率p(xi)的单调递减函数，即的单调递减函数，即 当当p(x1)p(x2)时，时，I (x1)I (x2)oo两个独立事件的两个独立事件的联合信息量联合信息量等于它们分别等于它们分别的信息量之和。即：统计独立信源的信息的信息量之和。即：统计独立信源的信息量等于它们分别的信息量之和。量等于它们分别的信息量之和。联合自信息量联合自信息量oo两个消息两个消息两个消息两个消息x xi i，y yj j同时出现的联合自信息量同时出现的联合自信息量同时出现的联合自信息量同时出现的联合自信息量 oo当当当当x
12、xi i, , y yj j相互独立时，有相互独立时，有相互独立时，有相互独立时，有p p( (x xi i y yj j)=)=p p( (x xi i) )p p( (y yj j) )，那么，那么，那么，那么就有就有就有就有 I I( (x xi i y yj j)=)=I I( (x xi i)+)+I I( (y yj j) )。oox xi i y yj j所包含的不确定度在数值上也等于它们的自所包含的不确定度在数值上也等于它们的自所包含的不确定度在数值上也等于它们的自所包含的不确定度在数值上也等于它们的自信息量。信息量。信息量。信息量。条件自信息量条件自信息量oo在事件在事件在事
13、件在事件y yj j出现的条件下，随机事件出现的条件下，随机事件出现的条件下，随机事件出现的条件下，随机事件x xi i发生的条件概发生的条件概发生的条件概发生的条件概率为率为率为率为p p( (x xi i / / y yj j) ) ，则它的条件自信息量定义为条件概，则它的条件自信息量定义为条件概，则它的条件自信息量定义为条件概，则它的条件自信息量定义为条件概率对数的负值：率对数的负值：率对数的负值：率对数的负值： n n在给定在给定在给定在给定y yj j条件下，随机事件条件下，随机事件条件下，随机事件条件下，随机事件x xi i所包含的不确定度在数值上所包含的不确定度在数值上所包含的不
14、确定度在数值上所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。与条件自信息量相同，但两者含义不同。与条件自信息量相同，但两者含义不同。与条件自信息量相同，但两者含义不同。oo联合自信息量、条件自信息量和自信息量联合自信息量、条件自信息量和自信息量联合自信息量、条件自信息量和自信息量联合自信息量、条件自信息量和自信息量信源熵信源熵oo离散信源熵为信源中各个符号不确定度的数学离散信源熵为信源中各个符号不确定度的数学离散信源熵为信源中各个符号不确定度的数学离散信源熵为信源中各个符号不确定度的数学期望期望期望期望oo信源熵的物理含义信源熵的物理含义信源熵的物理含义信源熵的物理含义n n表示
15、信源输出前信源的平均不确定性表示信源输出前信源的平均不确定性表示信源输出前信源的平均不确定性表示信源输出前信源的平均不确定性n n表示信源输出后每个符号所携带的平均信息表示信源输出后每个符号所携带的平均信息表示信源输出后每个符号所携带的平均信息表示信源输出后每个符号所携带的平均信息量量量量条件熵条件熵oo在给定在给定在给定在给定y yj j条件下，条件下，条件下，条件下，x xi i的条件自信息量为的条件自信息量为的条件自信息量为的条件自信息量为I I( (x xi i/ /y yj j) )，X X集合的集合的集合的集合的条件熵条件熵条件熵条件熵oo在给定在给定在给定在给定Y Y（即各个（即
16、各个（即各个（即各个y yj j）条件下，）条件下，）条件下，）条件下，X X集合的条件熵集合的条件熵集合的条件熵集合的条件熵oo在给定在给定在给定在给定X X（即各个（即各个（即各个（即各个x xi i）条件下，）条件下，）条件下，）条件下，Y Y集合的条件熵集合的条件熵集合的条件熵集合的条件熵oo条件熵是在联合符号集合条件熵是在联合符号集合条件熵是在联合符号集合条件熵是在联合符号集合XYXY上的条件自信息量的联合上的条件自信息量的联合上的条件自信息量的联合上的条件自信息量的联合概率加权统计平均值。概率加权统计平均值。概率加权统计平均值。概率加权统计平均值。oo条件熵条件熵条件熵条件熵HH(
17、 (X X/ /Y Y) )表示已知表示已知表示已知表示已知Y Y后，后，后，后，X X的不确定度。的不确定度。的不确定度。的不确定度。联合熵联合熵oo联合熵是联合符号集合联合熵是联合符号集合 XY上的每个元素对上的每个元素对xiyj的自信息量的概率加权统计平均值的自信息量的概率加权统计平均值oo联合熵联合熵H(XY)表示表示X和和Y同时发生的不确定度。同时发生的不确定度。oo联合熵、信源熵和条件熵之间的关系联合熵、信源熵和条件熵之间的关系 互信息互信息oo定义：定义：定义：定义： x xi i的后验概率与先验概率比值的对数的后验概率与先验概率比值的对数的后验概率与先验概率比值的对数的后验概率
18、与先验概率比值的对数n n事件事件事件事件x xi i是否发生具有不确定性，用是否发生具有不确定性，用是否发生具有不确定性，用是否发生具有不确定性，用I I( (x xi i) )度量。度量。度量。度量。n n接收到符号接收到符号接收到符号接收到符号y yj j后，事件后，事件后，事件后，事件x xi i是否发生仍保留有一定是否发生仍保留有一定是否发生仍保留有一定是否发生仍保留有一定的不确定性，用的不确定性，用的不确定性，用的不确定性，用I I( (x xi i / y/ yj j) )度量。度量。度量。度量。n n接收到某消息接收到某消息接收到某消息接收到某消息y yj j后获得的关于事件后
19、获得的关于事件后获得的关于事件后获得的关于事件x xi i的信息量，的信息量，的信息量，的信息量，用用用用I I( (x xi i; ; y yj j) )表示。表示。表示。表示。平均互信息平均互信息oo互信息量互信息量 I(xi; yj)在在X集合上的统计平均值为集合上的统计平均值为 ooI(X; yj)在在Y集合上的概率加权统计平均值集合上的概率加权统计平均值 平均互信息（量）平均互信息（量）平均互信息量的物理意义平均互信息量的物理意义ooHH( (X/YX/Y) )：信道：信道：信道：信道疑义度，损失熵疑义度，损失熵疑义度，损失熵疑义度，损失熵n n信源符号通过有噪信道传输后引起的信息量
20、损失。信源符号通过有噪信道传输后引起的信息量损失。信源符号通过有噪信道传输后引起的信息量损失。信源符号通过有噪信道传输后引起的信息量损失。n n信源信源信源信源X X的熵等于接收到的信息量加损失掉的信息量。的熵等于接收到的信息量加损失掉的信息量。的熵等于接收到的信息量加损失掉的信息量。的熵等于接收到的信息量加损失掉的信息量。 ooHH( (Y/XY/X) ) ：噪声熵，散布度噪声熵，散布度噪声熵，散布度噪声熵，散布度n n它反映了信道中噪声源的不确定性。它反映了信道中噪声源的不确定性。它反映了信道中噪声源的不确定性。它反映了信道中噪声源的不确定性。n n输出端信源输出端信源输出端信源输出端信源
21、Y Y的熵的熵的熵的熵HH( (Y Y) )等于接收到关于等于接收到关于等于接收到关于等于接收到关于X X的信息量的信息量的信息量的信息量I I( (X X; ;Y Y) )加上加上加上加上HH( (Y/XY/X) )，这完全是由信道中噪声引起的。，这完全是由信道中噪声引起的。，这完全是由信道中噪声引起的。，这完全是由信道中噪声引起的。熵的性质熵的性质oo非负性非负性非负性非负性n nHH( (X X) )HH( (x x1 1, ,x x2 2,x xn n)0)0等号在等号在等号在等号在p p( (x xi i)=1)=1时成立时成立时成立时成立oo对称性对称性对称性对称性n nHH( (
22、x x1 1, ,x x2 2,x xn n) ) HH( (x x2 2, ,x x1 1,x xn n) )n n熵函数只与随机变量的总体结构有关熵函数只与随机变量的总体结构有关熵函数只与随机变量的总体结构有关熵函数只与随机变量的总体结构有关oo确定性确定性确定性确定性n nHH(0,1)(0,1)HH(1,0,0,0)(1,0,0,0)0 0n n只要信源符号集中有一个符号的出现概率为只要信源符号集中有一个符号的出现概率为只要信源符号集中有一个符号的出现概率为只要信源符号集中有一个符号的出现概率为1 1，信源，信源，信源，信源熵就等于零熵就等于零熵就等于零熵就等于零熵的性质熵的性质oo香
23、农辅助定理香农辅助定理香农辅助定理香农辅助定理n n对于对于对于对于P P( (p p1 1, ,p p2 2, , ,p pn n) )和和和和Q Q ( (q q1 1, ,q q2 2, , ,q qn n) )n n对任意概率分布对任意概率分布对任意概率分布对任意概率分布p pi i，它对其他概率分布，它对其他概率分布，它对其他概率分布，它对其他概率分布q qi i的自信息量的自信息量的自信息量的自信息量取数学期望时，必不小于取数学期望时，必不小于取数学期望时，必不小于取数学期望时，必不小于p pi i本身的熵本身的熵本身的熵本身的熵oo最大熵定理最大熵定理最大熵定理最大熵定理n n离
24、散无记忆信源输出离散无记忆信源输出离散无记忆信源输出离散无记忆信源输出MM个不同的信息符号，当且仅个不同的信息符号，当且仅个不同的信息符号，当且仅个不同的信息符号，当且仅当各个符号出现概率时（即等概率分布），熵最大当各个符号出现概率时（即等概率分布），熵最大当各个符号出现概率时（即等概率分布），熵最大当各个符号出现概率时（即等概率分布），熵最大互信息量与熵互信息量与熵H(X/Y)H(X)H(Y)H(XY)H(Y/X)I(X;Y)离散无记忆信源的序列熵离散无记忆信源的序列熵oo设信源输出的随机序列为设信源输出的随机序列为设信源输出的随机序列为设信源输出的随机序列为X X =(=(X X1 1X
25、X2 2X Xl lX XL L) )n n序列中的变量序列中的变量序列中的变量序列中的变量X Xl l x x1 1, ,x x2 2, x xn n n n信源的序列熵可以表示为信源的序列熵可以表示为信源的序列熵可以表示为信源的序列熵可以表示为n n信源序列中，平均每个符号的熵为信源序列中，平均每个符号的熵为信源序列中，平均每个符号的熵为信源序列中，平均每个符号的熵为n n离散无记忆信源平均每个符号的符号熵离散无记忆信源平均每个符号的符号熵离散无记忆信源平均每个符号的符号熵离散无记忆信源平均每个符号的符号熵HHL L( (X X) )等于单等于单等于单等于单个符号信源的符号熵个符号信源的符
26、号熵个符号信源的符号熵个符号信源的符号熵HH( (X X) )无记忆无记忆无记忆无记忆无记忆、平稳无记忆、平稳无记忆、平稳无记忆、平稳离散有记忆信源的序列熵离散有记忆信源的序列熵oo若信源输出一个若信源输出一个L长序列，则信源的序列熵为长序列，则信源的序列熵为oo平均每个符号的熵为平均每个符号的熵为oo信源无记忆时信源无记忆时oo满足平稳时满足平稳时离散平稳信源离散平稳信源oo结论结论1：H(XL/XL-1)是是L的单调非增函数的单调非增函数oo结论结论2： HL (X) H(XL/XL-1)oo结论结论3： HL (X)是是L的单调非增函数的单调非增函数oo结论结论4：当：当L时，时，H(X
27、)称为极限熵称为极限熵马尔可夫信源马尔可夫信源oo若一个信源满足下面两个条件，则称为若一个信源满足下面两个条件，则称为若一个信源满足下面两个条件，则称为若一个信源满足下面两个条件，则称为马尔可夫信源马尔可夫信源马尔可夫信源马尔可夫信源：n n某一时刻信源输出符号的概率只与当前所处的状态有关，某一时刻信源输出符号的概率只与当前所处的状态有关，某一时刻信源输出符号的概率只与当前所处的状态有关，某一时刻信源输出符号的概率只与当前所处的状态有关，而与以前的状态无关；而与以前的状态无关；而与以前的状态无关；而与以前的状态无关；n n信源的下一个状态由当前状态和下一刻的输出符号唯一信源的下一个状态由当前状
28、态和下一刻的输出符号唯一信源的下一个状态由当前状态和下一刻的输出符号唯一信源的下一个状态由当前状态和下一刻的输出符号唯一确定。确定。确定。确定。oo符号条件概率符号条件概率符号条件概率符号条件概率n n信源在某一时刻出现符号信源在某一时刻出现符号信源在某一时刻出现符号信源在某一时刻出现符号x xj j的概率与信源此时所处的状态的概率与信源此时所处的状态的概率与信源此时所处的状态的概率与信源此时所处的状态s si i有关，用条件概率表示为有关，用条件概率表示为有关，用条件概率表示为有关，用条件概率表示为p p( (x xj j / /s si i) )。oo状态转移概率状态转移概率状态转移概率状
29、态转移概率n n当信源符号当信源符号当信源符号当信源符号x xj j出现后，信源所处的状态将发生变化，并转出现后，信源所处的状态将发生变化，并转出现后，信源所处的状态将发生变化，并转出现后，信源所处的状态将发生变化，并转入一个新的状态。这种状态的转移可用状态转移概率入一个新的状态。这种状态的转移可用状态转移概率入一个新的状态。这种状态的转移可用状态转移概率入一个新的状态。这种状态的转移可用状态转移概率p p( (s sj j / /s si i) )表示。表示。表示。表示。状态转移图（香农线图）状态转移图（香农线图）oo齐次马尔可夫链可以用齐次马尔可夫链可以用其状态转移图（香农线其状态转移图（
30、香农线图）表示图）表示oo每个圆圈代表一种每个圆圈代表一种状态状态 oo状态之间的有向线代表状态之间的有向线代表从某一状态向另一状态从某一状态向另一状态的的转移转移oo有向线一侧的符号和数有向线一侧的符号和数字分别代表发出的字分别代表发出的符号符号和和条件概率条件概率s so os s1 1x x2 2/0.6/0.6x x1 1/0.3/0.3x x1 1/0.4/0.4s s2 2x x2 2/0.2/0.2x x1 1/0.8/0.8x x2 2/0.7/0.7p p( (x x1 1/ /s s2 2)=0.8)=0.8p p( (s s2 2/ /s s2 2)=0.8)=0.8稳定
31、的马尔可夫信源稳定的马尔可夫信源oo极限概率极限概率极限概率极限概率WWj jn n一个不可约的、非周期的、状态有限的马尔可夫链，其一个不可约的、非周期的、状态有限的马尔可夫链，其一个不可约的、非周期的、状态有限的马尔可夫链，其一个不可约的、非周期的、状态有限的马尔可夫链，其k k步转移概率步转移概率步转移概率步转移概率p pij ij( (k k) )在在在在k k时趋于一个和初始状态无关的概时趋于一个和初始状态无关的概时趋于一个和初始状态无关的概时趋于一个和初始状态无关的概率，即率，即率，即率，即n n不论起始状态如何，这种马氏链都可以最后达到稳定，不论起始状态如何，这种马氏链都可以最后达
32、到稳定，不论起始状态如何，这种马氏链都可以最后达到稳定，不论起始状态如何，这种马氏链都可以最后达到稳定，即所有变量即所有变量即所有变量即所有变量X Xk k的概率分布均不变。可以用的概率分布均不变。可以用的概率分布均不变。可以用的概率分布均不变。可以用P P这一矩阵充这一矩阵充这一矩阵充这一矩阵充分描述稳定的马氏链。分描述稳定的马氏链。分描述稳定的马氏链。分描述稳定的马氏链。n n平稳分布平稳分布平稳分布平稳分布WWj j可用下列方程组求得可用下列方程组求得可用下列方程组求得可用下列方程组求得马尔可夫信源的熵马尔可夫信源的熵ooMM阶马尔可夫信源的极限熵阶马尔可夫信源的极限熵阶马尔可夫信源的极
33、限熵阶马尔可夫信源的极限熵oo齐次、遍历的马尔可夫信源的熵齐次、遍历的马尔可夫信源的熵齐次、遍历的马尔可夫信源的熵齐次、遍历的马尔可夫信源的熵处于状态处于状态处于状态处于状态s si i时符号时符号时符号时符号的平均不确定性的平均不确定性的平均不确定性的平均不确定性第第3章信道与信道容量章信道与信道容量oo重点掌握重点掌握n n有干扰无记忆信道的数学描述有干扰无记忆信道的数学描述有干扰无记忆信道的数学描述有干扰无记忆信道的数学描述n n信道容量的定义信道容量的定义信道容量的定义信道容量的定义n n对称和准对称对称和准对称对称和准对称对称和准对称DMCDMC信道的信道容量计算信道的信道容量计算信
34、道的信道容量计算信道的信道容量计算n n香农公式香农公式香农公式香农公式oo一般了解一般了解n n信道的各种分类信道的各种分类信道的各种分类信道的各种分类n n无干扰离散信道的信道容量无干扰离散信道的信道容量无干扰离散信道的信道容量无干扰离散信道的信道容量n n信源和信道的匹配信源和信道的匹配信源和信道的匹配信源和信道的匹配信道的分类信道的分类oo按信道的用户数量来划分按信道的用户数量来划分按信道的用户数量来划分按信道的用户数量来划分单用户信道、多用户信道单用户信道、多用户信道单用户信道、多用户信道单用户信道、多用户信道oo按输入按输入按输入按输入/ / / /输出之间的关系来划分输出之间的关
35、系来划分输出之间的关系来划分输出之间的关系来划分无反馈信道、反馈信道无反馈信道、反馈信道无反馈信道、反馈信道无反馈信道、反馈信道oo按信道参数与时间的关系来划分按信道参数与时间的关系来划分按信道参数与时间的关系来划分按信道参数与时间的关系来划分固定参数信道、时变参数信道固定参数信道、时变参数信道固定参数信道、时变参数信道固定参数信道、时变参数信道oo按信道中的噪声种类来划分按信道中的噪声种类来划分按信道中的噪声种类来划分按信道中的噪声种类来划分随机差错信道、突发差错信道随机差错信道、突发差错信道随机差错信道、突发差错信道随机差错信道、突发差错信道oo按输入按输入按输入按输入/ / / /输出信
36、号在幅度和时间上的取值划分输出信号在幅度和时间上的取值划分输出信号在幅度和时间上的取值划分输出信号在幅度和时间上的取值划分离散信道、连续信道、半离散半连续信道、波形信道离散信道、连续信道、半离散半连续信道、波形信道离散信道、连续信道、半离散半连续信道、波形信道离散信道、连续信道、半离散半连续信道、波形信道信道模型信道模型oo根据干扰和记忆性分类根据干扰和记忆性分类根据干扰和记忆性分类根据干扰和记忆性分类n n无干扰（无噪声）信道无干扰（无噪声）信道无干扰（无噪声）信道无干扰（无噪声）信道n n有干扰无记忆信道有干扰无记忆信道有干扰无记忆信道有干扰无记忆信道n n有干扰有记忆信道有干扰有记忆信道
37、有干扰有记忆信道有干扰有记忆信道oo信道模型信道模型信道模型信道模型n n信道的输入信道的输入信道的输入信道的输入X Xi i=a a1 1, , a a2 2, , a an n n n信道的输出信道的输出信道的输出信道的输出Y Yj j=b b1 1, , b b2 2, , b bmm n n信道转移概率矩阵信道转移概率矩阵信道转移概率矩阵信道转移概率矩阵p p( (Y Y/ /X X) )信信信信 道道道道输入输入输入输入X X输出输出输出输出Y Yp p( (Y Y/ /X X) )信道模型信道模型1. 1.二进制离散信道二进制离散信道二进制离散信道二进制离散信道：BSCBSC信道信
38、道信道信道n n输入符号输入符号输入符号输入符号X X取值取值取值取值0,10,1n n输出符号输出符号输出符号输出符号Y Y取值取值取值取值0,10,12. 2.离散无记忆信道离散无记忆信道离散无记忆信道离散无记忆信道：DMCDMC信道信道信道信道oo输入符号集输入符号集输入符号集输入符号集X X=a a1 1, , a a2 2, , a an n oo输出符号集输出符号集输出符号集输出符号集Y Y=b b1 1, , b b2 2, , b bmm 信道模型信道模型3. 3.离散输入、连续输出信道离散输入、连续输出信道离散输入、连续输出信道离散输入、连续输出信道oo输入符号集：输入符号集
39、：输入符号集：输入符号集：X X=a a1 1, , a a2 2, , a an n oo输出未经量化，即输出未经量化，即输出未经量化，即输出未经量化，即Y Y=-,=-,oo输出特性由离散输入输出特性由离散输入输出特性由离散输入输出特性由离散输入X X、连续输出、连续输出、连续输出、连续输出Y Y以及一组条以及一组条以及一组条以及一组条件概率密度函数件概率密度函数件概率密度函数件概率密度函数 p p( ( y y / /X X= =a ai i) ) 来决定。来决定。来决定。来决定。4. 4.波形信道波形信道波形信道波形信道oo输入是模拟波形，输出也是模拟波形输入是模拟波形，输出也是模拟波
40、形输入是模拟波形，输出也是模拟波形输入是模拟波形，输出也是模拟波形oo连续无记忆信道和连续有记忆信道连续无记忆信道和连续有记忆信道连续无记忆信道和连续有记忆信道连续无记忆信道和连续有记忆信道ooy y( (t t) ) x x( (t t) ) n n( (t t) )n n( (t t) )代表加性噪声代表加性噪声代表加性噪声代表加性噪声信道容量的定义信道容量的定义oo信道传输率信道传输率信道传输率信道传输率R R I I ( (X X; ;Y Y) ) bit/bit/符号符号符号符号n n信道中平均每个符号能传送的信息量信道中平均每个符号能传送的信息量信道中平均每个符号能传送的信息量信道
41、中平均每个符号能传送的信息量oo信息传输速率信息传输速率信息传输速率信息传输速率R Rt t I I ( (X X; ;Y Y) / ) / t t bit /bit /s sn n信道中单位时间传送的信息量信道中单位时间传送的信息量信道中单位时间传送的信息量信道中单位时间传送的信息量oo信道容量信道容量信道容量信道容量n n给定转移概率矩阵给定转移概率矩阵给定转移概率矩阵给定转移概率矩阵P P后，平均互信息后，平均互信息后，平均互信息后，平均互信息I I( (X X; ;Y Y) )是概是概是概是概率矢量率矢量率矢量率矢量P Px x的上凸函数。的上凸函数。的上凸函数。的上凸函数。n nI
42、I( (P Px x) )的极大值就是的极大值就是的极大值就是的极大值就是信道容量信道容量信道容量信道容量。离散单符号信道离散单符号信道离散单个离散单个离散单个离散单个符号信道符号信道符号信道符号信道无干扰离散信道无干扰离散信道无干扰离散信道无干扰离散信道有扰离散信道有扰离散信道有扰离散信道有扰离散信道对称对称对称对称DMCDMC信道信道信道信道准对称准对称准对称准对称DMCDMC信道信道信道信道一般一般一般一般DMCDMC信道信道信道信道无噪无损信道无噪无损信道无噪无损信道无噪无损信道无噪有损信道无噪有损信道无噪有损信道无噪有损信道有噪无损信道有噪无损信道有噪无损信道有噪无损信道无干扰离散信
43、道无干扰离散信道oo无噪无损信道无噪无损信道n nC=max I(X;Y)=log noo无噪有损信道无噪有损信道n nC=max I(X;Y)=max H(Y)oo有噪无损信道有噪无损信道n nC=max I(X;Y)=max H(X)DMC信道的容量信道的容量1. 1.对称对称对称对称DMCDMC信道的性质信道的性质信道的性质信道的性质对称信道的条件熵对称信道的条件熵对称信道的条件熵对称信道的条件熵HH( (Y Y/ /X X) )与信道输入符号的概与信道输入符号的概与信道输入符号的概与信道输入符号的概率分布无关。率分布无关。率分布无关。率分布无关。如果信道输入符号等概率分布，则信道输出符
44、如果信道输入符号等概率分布，则信道输出符如果信道输入符号等概率分布，则信道输出符如果信道输入符号等概率分布，则信道输出符号也等概率分布；反之，若信道输出符号等概号也等概率分布；反之，若信道输出符号等概号也等概率分布；反之，若信道输出符号等概号也等概率分布；反之，若信道输出符号等概率分布时，信道输入符号也是等概率分布。率分布时，信道输入符号也是等概率分布。率分布时，信道输入符号也是等概率分布。率分布时，信道输入符号也是等概率分布。当信道输入符号等概率分布时，对称当信道输入符号等概率分布时，对称当信道输入符号等概率分布时，对称当信道输入符号等概率分布时，对称DMCDMC信道信道信道信道达到其信道容
45、量。达到其信道容量。达到其信道容量。达到其信道容量。DMC信道的容量信道的容量2. 2.准对称准对称准对称准对称DMCDMC信道的容量信道的容量信道的容量信道的容量oo如果转移概率矩阵如果转移概率矩阵如果转移概率矩阵如果转移概率矩阵P P的输入对称而输出不对称，的输入对称而输出不对称，的输入对称而输出不对称，的输入对称而输出不对称，则称该信道是则称该信道是则称该信道是则称该信道是准对称准对称准对称准对称DMCDMC信道信道信道信道。pp当信道输入符号等概率分布时，准对称当信道输入符号等概率分布时，准对称当信道输入符号等概率分布时，准对称当信道输入符号等概率分布时，准对称DMCDMC信信信信道达
46、到其信道容量道达到其信道容量道达到其信道容量道达到其信道容量C C。pp矩阵分解法：将转移概率矩阵划分成若干个互矩阵分解法：将转移概率矩阵划分成若干个互矩阵分解法：将转移概率矩阵划分成若干个互矩阵分解法：将转移概率矩阵划分成若干个互不相交的对称子矩阵。不相交的对称子矩阵。不相交的对称子矩阵。不相交的对称子矩阵。DMC信道的容量信道的容量3. 3.一般一般一般一般DMCDMC信道的容量信道的容量信道的容量信道的容量oo以输入符号概率矢量以输入符号概率矢量以输入符号概率矢量以输入符号概率矢量P Px x为自变量的函数为自变量的函数为自变量的函数为自变量的函数I I( (P Px x) )的极大值，
47、即信道容量。的极大值，即信道容量。的极大值，即信道容量。的极大值，即信道容量。oo为了使为了使为了使为了使I I( (X X; ;Y Y) )最大化，即求取信道容量的值，最大化，即求取信道容量的值，最大化，即求取信道容量的值，最大化，即求取信道容量的值，输入概率集输入概率集输入概率集输入概率集 p p( (x xi i) )必须满足的充分必要条件必须满足的充分必要条件必须满足的充分必要条件必须满足的充分必要条件是：是：是：是：ooI I( (x xi i; ;Y Y) )C C，对于所有满足，对于所有满足，对于所有满足，对于所有满足p p( (x xi i) )0 0条件的条件的条件的条件的i
48、 iooI I( (x xi i; ;Y Y)C C，对于所有满足，对于所有满足，对于所有满足，对于所有满足p p( (x xi i) )0 0条件的条件的条件的条件的i i每一个概率不为每一个概率不为每一个概率不为每一个概率不为0 0 0 0的输入符号对输出提供相同的互信息的输入符号对输出提供相同的互信息的输入符号对输出提供相同的互信息的输入符号对输出提供相同的互信息离散序列信道及其容量离散序列信道及其容量信信信信 道道道道输入输入输入输入X X输出输出输出输出Y Yp p( (Y Y/ /X X) )X X=(=(X X1 1, , X X2 2, , X XL L) )X Xl l=a
49、a1 1, , a a2 2, , a an n Y Y=(=(Y Y1 1, ,Y Y2 2,Y YL L) )Y Yl l=b b1 1, , b b2 2, , b bmm 独立、无记忆、平稳独立、无记忆、平稳独立、无记忆、平稳独立、无记忆、平稳离散序列信道的信道容量为：离散序列信道的信道容量为：离散序列信道的信道容量为：离散序列信道的信道容量为：无记忆无记忆无记忆无记忆离散序列信道的转移概率为：离散序列信道的转移概率为：离散序列信道的转移概率为：离散序列信道的转移概率为：连续信道连续信道oo连续单符号加性信道连续单符号加性信道连续单符号加性信道连续单符号加性信道n n信道的输入和输出都
50、是取值连续的一维随机信道的输入和输出都是取值连续的一维随机信道的输入和输出都是取值连续的一维随机信道的输入和输出都是取值连续的一维随机变量，加入信道的噪声是均值为零、方差为变量，加入信道的噪声是均值为零、方差为变量，加入信道的噪声是均值为零、方差为变量，加入信道的噪声是均值为零、方差为 2 2的加性高斯噪声。的加性高斯噪声。的加性高斯噪声。的加性高斯噪声。oo多维无记忆加性连续信道多维无记忆加性连续信道多维无记忆加性连续信道多维无记忆加性连续信道n n可等价成可等价成可等价成可等价成L L个独立的并联高斯加性信道个独立的并联高斯加性信道个独立的并联高斯加性信道个独立的并联高斯加性信道n n注水
51、法：噪声小的子信道分配到的输入功率注水法：噪声小的子信道分配到的输入功率注水法：噪声小的子信道分配到的输入功率注水法：噪声小的子信道分配到的输入功率大，传输的比特数多。大，传输的比特数多。大，传输的比特数多。大，传输的比特数多。oo受加性高斯白噪声干扰的带限波形信道受加性高斯白噪声干扰的带限波形信道受加性高斯白噪声干扰的带限波形信道受加性高斯白噪声干扰的带限波形信道n n输入输入输入输入x x( (t t) )、输出、输出、输出、输出y y( (t t) )和噪声和噪声和噪声和噪声n n( (t t) )：模拟波形：模拟波形：模拟波形：模拟波形香农公式香农公式oo香农公式香农公式香农公式香农公
52、式n nWW：频带宽度，简称带宽：频带宽度，简称带宽：频带宽度，简称带宽：频带宽度，简称带宽n nSNR SNR ( (信噪比信噪比信噪比信噪比) )：表示信号功率与噪声功率的比值：表示信号功率与噪声功率的比值：表示信号功率与噪声功率的比值：表示信号功率与噪声功率的比值n n加性白噪声的功率谱密度为加性白噪声的功率谱密度为加性白噪声的功率谱密度为加性白噪声的功率谱密度为N N0 0 /2/2n nP Pavav：信号的平均功率：信号的平均功率：信号的平均功率：信号的平均功率oo香农限香农限香农限香农限n n每传输每传输每传输每传输1 1比特信息所需的能量。比特信息所需的能量。比特信息所需的能量
53、。比特信息所需的能量。n n当归一化的信噪比小于香农限（当归一化的信噪比小于香农限（当归一化的信噪比小于香农限（当归一化的信噪比小于香农限（-1.6dB-1.6dB）时，归）时，归）时，归）时，归一化信道容量为零，即信道完全丧失通信能力。一化信道容量为零，即信道完全丧失通信能力。一化信道容量为零，即信道完全丧失通信能力。一化信道容量为零，即信道完全丧失通信能力。香农公式的讨论香农公式的讨论n n带宽带宽带宽带宽WW一定时，一定时，一定时，一定时，信道容量信道容量信道容量信道容量C C 随随随随信噪比信噪比信噪比信噪比SNRSNR的的的的增加而单调增加，因此增大信号功率、减小增加而单调增加，因此
54、增大信号功率、减小增加而单调增加，因此增大信号功率、减小增加而单调增加，因此增大信号功率、减小信道噪声可以增加信道容量。信道噪声可以增加信道容量。信道噪声可以增加信道容量。信道噪声可以增加信道容量。n n信道容量信道容量信道容量信道容量C C一定时，一定时，一定时，一定时，带宽带宽带宽带宽WW增大，增大，增大，增大，信噪比信噪比信噪比信噪比SNRSNR可降低，即二者可以互换。可降低，即二者可以互换。可降低，即二者可以互换。可降低，即二者可以互换。n n如果如果如果如果输入信号功率输入信号功率输入信号功率输入信号功率P PS S固定，固定，固定，固定，信道容量信道容量信道容量信道容量C C 随随
55、随随带带带带宽宽宽宽WW的增加而增加。但到一定阶段后，增加的增加而增加。但到一定阶段后，增加的增加而增加。但到一定阶段后，增加的增加而增加。但到一定阶段后，增加变得缓慢。变得缓慢。变得缓慢。变得缓慢。信源与信道的匹配信源与信道的匹配oo符号匹配符号匹配符号匹配符号匹配n n信源输出的符号必须是信道能够传送的符号，信源输出的符号必须是信道能够传送的符号，信源输出的符号必须是信道能够传送的符号，信源输出的符号必须是信道能够传送的符号，这是实现信息传输的必要条件。这是实现信息传输的必要条件。这是实现信息传输的必要条件。这是实现信息传输的必要条件。oo信息匹配信息匹配信息匹配信息匹配n n对于某一信道
56、，只有当输入符号的概率分布对于某一信道，只有当输入符号的概率分布对于某一信道，只有当输入符号的概率分布对于某一信道，只有当输入符号的概率分布满足一定条件时，才能达到其信道容量。满足一定条件时，才能达到其信道容量。满足一定条件时，才能达到其信道容量。满足一定条件时，才能达到其信道容量。oo信道冗余度信道冗余度信道冗余度信道冗余度n n信道绝对冗余度信道绝对冗余度信道绝对冗余度信道绝对冗余度C CI I( (X X; ;Y Y) )n n信道相对冗余度信道相对冗余度信道相对冗余度信道相对冗余度第第4章信息率失真函数章信息率失真函数oo重点掌握重点掌握重点掌握重点掌握n n失真函数、平均失真失真函数
57、、平均失真失真函数、平均失真失真函数、平均失真n n保真度准则保真度准则保真度准则保真度准则n n信息率失真函数的定义域信息率失真函数的定义域信息率失真函数的定义域信息率失真函数的定义域n n信息率失真函数与信道容量的比较信息率失真函数与信道容量的比较信息率失真函数与信道容量的比较信息率失真函数与信道容量的比较oo一般了解一般了解一般了解一般了解n n信息率失真函数的性质信息率失真函数的性质信息率失真函数的性质信息率失真函数的性质n n连续信源的平均失真连续信源的平均失真连续信源的平均失真连续信源的平均失真失真函数失真函数oo单符号失真函数定义为：单符号失真函数定义为：单符号失真函数定义为：单
58、符号失真函数定义为：oo将所有的将所有的将所有的将所有的d d( (x xi i, ,y yj j) )排列起来，用矩阵表示为排列起来，用矩阵表示为排列起来，用矩阵表示为排列起来，用矩阵表示为d d 称为失真矩阵称为失真矩阵称为失真矩阵称为失真矩阵失真函数失真函数oo如果假定离散信源输出符号序列如果假定离散信源输出符号序列如果假定离散信源输出符号序列如果假定离散信源输出符号序列X X=(=(X X1 1X X2 2X Xl l X XL L), ), X Xl lA A=a a1 1,a an n ，其中其中其中其中L L长符号序列长符号序列长符号序列长符号序列x xi i=(=(x xi i
59、1 1x xi i2 2x xiLiL) )，经信源编码后输出符号序列经信源编码后输出符号序列经信源编码后输出符号序列经信源编码后输出符号序列Y Y=(=(Y Y1 1Y Y2 2Y Yl lY YL L) ) ，Y Yl lB B= = b b1 1,b bmm ，其中其中其中其中L L长符号序列长符号序列长符号序列长符号序列 y yj j = ( = (y yj j1 1y yj j2 2y yjLjL) )，序列失真函数定义为序列失真函数定义为序列失真函数定义为序列失真函数定义为式中，式中，式中，式中，d d( (x xil il , , y yjl jl) )表示信源输出符号序列表示信
60、源输出符号序列表示信源输出符号序列表示信源输出符号序列x xi i的第的第的第的第l l个符号和编个符号和编个符号和编个符号和编码输出符号序列码输出符号序列码输出符号序列码输出符号序列y yj j的第的第的第的第l l个符号之间的失真函数个符号之间的失真函数个符号之间的失真函数个符号之间的失真函数信源序列的失真度等于序列中对应单个符号的失真度之和信源序列的失真度等于序列中对应单个符号的失真度之和信源序列的失真度等于序列中对应单个符号的失真度之和信源序列的失真度等于序列中对应单个符号的失真度之和平均失真平均失真oo将失真函数的数学期望或统计平均值称为将失真函数的数学期望或统计平均值称为将失真函数
61、的数学期望或统计平均值称为将失真函数的数学期望或统计平均值称为平均失真平均失真平均失真平均失真。oo失真函数失真函数失真函数失真函数d d( (x xi i, ,y yj j) )n n描述某个信源符号通过传输后失真的大小。对于不描述某个信源符号通过传输后失真的大小。对于不描述某个信源符号通过传输后失真的大小。对于不描述某个信源符号通过传输后失真的大小。对于不同的信源符号和不同的接收符号，其值是不同的。同的信源符号和不同的接收符号，其值是不同的。同的信源符号和不同的接收符号，其值是不同的。同的信源符号和不同的接收符号，其值是不同的。oo平均失真平均失真平均失真平均失真 ：n n平均失真对信源和
62、信道进行的统计平均。平均失真对信源和信道进行的统计平均。平均失真对信源和信道进行的统计平均。平均失真对信源和信道进行的统计平均。n n描述某一信源在某一试验信道传输下的失真大小，描述某一信源在某一试验信道传输下的失真大小，描述某一信源在某一试验信道传输下的失真大小，描述某一信源在某一试验信道传输下的失真大小，是从总体上描述整个系统的失真情况。是从总体上描述整个系统的失真情况。是从总体上描述整个系统的失真情况。是从总体上描述整个系统的失真情况。平均失真平均失真ooL L维信源符号序列的平均失真度维信源符号序列的平均失真度维信源符号序列的平均失真度维信源符号序列的平均失真度n n当信源与信道无记忆
63、时，当信源与信道无记忆时，当信源与信道无记忆时，当信源与信道无记忆时，oo信源符号平均失真度（平均每个符号的平均失真度）信源符号平均失真度（平均每个符号的平均失真度）信源符号平均失真度（平均每个符号的平均失真度）信源符号平均失真度（平均每个符号的平均失真度）表示信源符号序列的第表示信源符号序列的第表示信源符号序列的第表示信源符号序列的第l l 个符号的平均失真个符号的平均失真个符号的平均失真个符号的平均失真保真度准则保真度准则oo保真度准则保真度准则保真度准则保真度准则n n平均失真度不大于允许的失真平均失真度不大于允许的失真平均失真度不大于允许的失真平均失真度不大于允许的失真ooD D允许信
64、道允许信道允许信道允许信道n nD D允许的试验信道，即满足保真度准则的试允许的试验信道，即满足保真度准则的试允许的试验信道，即满足保真度准则的试允许的试验信道，即满足保真度准则的试验信道。验信道。验信道。验信道。n n满足保真度准则的所有试验信道，即转移概满足保真度准则的所有试验信道，即转移概满足保真度准则的所有试验信道，即转移概满足保真度准则的所有试验信道，即转移概率分布率分布率分布率分布p p( (y yj j /x/xi i) )，构成了一个信道集合，构成了一个信道集合，构成了一个信道集合，构成了一个信道集合信息率失真函数信息率失真函数oo信息率失真函数信息率失真函数信息率失真函数信息
65、率失真函数R R( (D D) )n n限定失真为限定失真为限定失真为限定失真为D D的条件下，信源输出的最小信息率。的条件下，信源输出的最小信息率。的条件下，信源输出的最小信息率。的条件下，信源输出的最小信息率。ooR R( (D D) )的定义域的定义域的定义域的定义域n n率失真函数的定义域问题就是在信源和失真函数已率失真函数的定义域问题就是在信源和失真函数已率失真函数的定义域问题就是在信源和失真函数已率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度知的情况下，讨论允许平均失真度知的情况下，讨论允许平均失真度知的情况下，讨论允许平均失真度D D的最小和最大的最小
66、和最大的最小和最大的最小和最大取值问题，即取值问题，即取值问题，即取值问题，即 D Dminmin, ,D Dmaxmax n nD Dminmin的计算的计算的计算的计算n nD Dmaxmax的计算的计算的计算的计算信息率失真函数的性质信息率失真函数的性质1. 1. R R( (D D) )是非负的实数，是非负的实数，是非负的实数，是非负的实数， 00R R( (D D)HH( (X X) ) 定义域为定义域为定义域为定义域为00D Dminmin D D D Dmaxmax 当当当当D DD Dmaxmax时，时，时，时，R R( (D D)0)02. 2. R R( (D D) )是关
67、于是关于是关于是关于D D的下凸函数的下凸函数的下凸函数的下凸函数n nR R( (D D) )在定义域内是失真度在定义域内是失真度在定义域内是失真度在定义域内是失真度D D的的的的U U型下凸函数。型下凸函数。型下凸函数。型下凸函数。n nR R( (D D) )在定义域内是关于在定义域内是关于在定义域内是关于在定义域内是关于D D的连续函数。的连续函数。的连续函数。的连续函数。3. 3. R R( (D D) )的单调递减性的单调递减性的单调递减性的单调递减性n n容许的失真度越大，所要求的信息率越小。容许的失真度越大，所要求的信息率越小。容许的失真度越大，所要求的信息率越小。容许的失真度
68、越大，所要求的信息率越小。率失真函数和信道容量的比较率失真函数和信道容量的比较oo平均互信息平均互信息平均互信息平均互信息 I I( (X X; ;Y Y) )n n信源的概率分布信源的概率分布信源的概率分布信源的概率分布 p p( (x xi i) )的上凸函数。的上凸函数。的上凸函数。的上凸函数。n n信道传递概率信道传递概率信道传递概率信道传递概率 p p( (y yj j /x /xi i) )的下凸函数。的下凸函数。的下凸函数。的下凸函数。oo信道容量信道容量信道容量信道容量oo信息率失真函数信息率失真函数信息率失真函数信息率失真函数信道固定信道固定信道固定信道固定输入概率分输入概率
69、分输入概率分输入概率分布固定布固定布固定布固定率失真函数和信道容量的比较率失真函数和信道容量的比较第第5章信源编码章信源编码oo重点掌握重点掌握n n分组码的属性分组码的属性分组码的属性分组码的属性n n唯一可译码的判断方法唯一可译码的判断方法唯一可译码的判断方法唯一可译码的判断方法n n信源编码定理信源编码定理信源编码定理信源编码定理n n香农编码、费诺编码、哈夫曼编码香农编码、费诺编码、哈夫曼编码香农编码、费诺编码、哈夫曼编码香农编码、费诺编码、哈夫曼编码oo一般了解一般了解n n编码的术语编码的术语编码的术语编码的术语n n游程编码、算术编码游程编码、算术编码游程编码、算术编码游程编码、
70、算术编码分组码属性分组码属性码码码码非分组码非分组码非分组码非分组码 分组码分组码分组码分组码奇异码奇异码奇异码奇异码 非奇异码非奇异码非奇异码非奇异码 非唯一可译码非唯一可译码非唯一可译码非唯一可译码 唯一可译码唯一可译码唯一可译码唯一可译码非即时码非即时码非即时码非即时码 即时码（非延长码）即时码（非延长码）即时码（非延长码）即时码（非延长码） 码树码树oo中间节点不安排码字，只在终端节点安排码字中间节点不安排码字，只在终端节点安排码字中间节点不安排码字，只在终端节点安排码字中间节点不安排码字，只在终端节点安排码字oo每个终端节点对应的码字由从根节点出发到终端节点每个终端节点对应的码字由从
71、根节点出发到终端节点每个终端节点对应的码字由从根节点出发到终端节点每个终端节点对应的码字由从根节点出发到终端节点走过的路径上所对应的符号组成走过的路径上所对应的符号组成走过的路径上所对应的符号组成走过的路径上所对应的符号组成oo当第当第当第当第i i阶的节点作为终端节点，且分配码字，则码字的阶的节点作为终端节点，且分配码字，则码字的阶的节点作为终端节点，且分配码字，则码字的阶的节点作为终端节点，且分配码字，则码字的码长为码长为码长为码长为i ioo按树图法构成的码一定满足即时码的定义按树图法构成的码一定满足即时码的定义按树图法构成的码一定满足即时码的定义按树图法构成的码一定满足即时码的定义oo
72、树码的各个分支都延伸到最后一级端点，则称为树码的各个分支都延伸到最后一级端点，则称为树码的各个分支都延伸到最后一级端点，则称为树码的各个分支都延伸到最后一级端点，则称为满树满树满树满树，否则为否则为否则为否则为非满树非满树非满树非满树 oo满树码是定长码，非满树码是变长码满树码是定长码，非满树码是变长码满树码是定长码，非满树码是变长码满树码是定长码，非满树码是变长码克劳夫特不等式克劳夫特不等式oo唯一可译码唯一可译码存在存在的充分和必要条件为：各的充分和必要条件为：各码字的长度码字的长度Ki 应满足下式。应满足下式。n nmm是进制数，是进制数，是进制数，是进制数，n n是信源符号数是信源符号
73、数是信源符号数是信源符号数n n注意注意注意注意：克拉夫特不等式只是说明唯一可译码：克拉夫特不等式只是说明唯一可译码：克拉夫特不等式只是说明唯一可译码：克拉夫特不等式只是说明唯一可译码是否存在，并不能作为唯一可译码的判据。是否存在，并不能作为唯一可译码的判据。是否存在，并不能作为唯一可译码的判据。是否存在，并不能作为唯一可译码的判据。唯一可译码的判断法唯一可译码的判断法 oo将码将码将码将码C C中所有可能的尾随后缀组成一个集合中所有可能的尾随后缀组成一个集合中所有可能的尾随后缀组成一个集合中所有可能的尾随后缀组成一个集合F F，当且仅当集，当且仅当集，当且仅当集，当且仅当集合合合合F F中没
74、有包含任一码字，则可判断此码中没有包含任一码字，则可判断此码中没有包含任一码字，则可判断此码中没有包含任一码字，则可判断此码C C为唯一可译码。为唯一可译码。为唯一可译码。为唯一可译码。oo集合集合集合集合F F的构成方法的构成方法的构成方法的构成方法n n首先观察码首先观察码首先观察码首先观察码C C中最短的码字是否是其它码字的前缀。若中最短的码字是否是其它码字的前缀。若中最短的码字是否是其它码字的前缀。若中最短的码字是否是其它码字的前缀。若是，将其所有可能的尾随后缀排列出。而这些尾随后缀是，将其所有可能的尾随后缀排列出。而这些尾随后缀是，将其所有可能的尾随后缀排列出。而这些尾随后缀是，将其
75、所有可能的尾随后缀排列出。而这些尾随后缀又有可能是某些码字的前缀（或者又有可能是某些码字的前缀（或者又有可能是某些码字的前缀（或者又有可能是某些码字的前缀（或者某些码字是这些尾随某些码字是这些尾随某些码字是这些尾随某些码字是这些尾随后缀的前缀后缀的前缀后缀的前缀后缀的前缀），再将这些尾随后缀产生的新的尾随后缀），再将这些尾随后缀产生的新的尾随后缀），再将这些尾随后缀产生的新的尾随后缀），再将这些尾随后缀产生的新的尾随后缀列出。依此下去，直到没有一个尾随后缀是码字的前缀列出。依此下去，直到没有一个尾随后缀是码字的前缀列出。依此下去，直到没有一个尾随后缀是码字的前缀列出。依此下去，直到没有一个尾随
76、后缀是码字的前缀为止。为止。为止。为止。 n n按照上述步骤将次短码字、按照上述步骤将次短码字、按照上述步骤将次短码字、按照上述步骤将次短码字、等等所有码字可能产生的等等所有码字可能产生的等等所有码字可能产生的等等所有码字可能产生的尾随后缀全部列出。最终得到码尾随后缀全部列出。最终得到码尾随后缀全部列出。最终得到码尾随后缀全部列出。最终得到码C C的所有可能的尾随后的所有可能的尾随后的所有可能的尾随后的所有可能的尾随后缀的集合缀的集合缀的集合缀的集合F F。 唯一可译码判断方法和步骤唯一可译码判断方法和步骤1. 1.首先，观察是否是首先，观察是否是奇异码奇异码。若是，一定不是。若是，一定不是唯
77、一可译码。唯一可译码。2. 2.其次，计算码长是否满足其次，计算码长是否满足Kraft不等式不等式。若。若不满足，一定不是唯一可译码。不满足，一定不是唯一可译码。3. 3.按照树图的构造法则，若能将码画成按照树图的构造法则，若能将码画成码树码树则则是即时码，也就是唯一可译码。是即时码，也就是唯一可译码。4. 4.按按唯一可译码判断法唯一可译码判断法进行判断。进行判断。只有唯一可译码判断法能确切判断是否是唯一可译码只有唯一可译码判断法能确切判断是否是唯一可译码只有唯一可译码判断法能确切判断是否是唯一可译码只有唯一可译码判断法能确切判断是否是唯一可译码无失真信源编码无失真信源编码oo设信源符号序列
78、的长度为设信源符号序列的长度为设信源符号序列的长度为设信源符号序列的长度为L Loo变换成由变换成由变换成由变换成由K KL L个符号组成的个符号组成的个符号组成的个符号组成的码序列（码序列（码序列（码序列（码字码字码字码字）oo变换要求变换要求变换要求变换要求n n能够无失真或无差错地从能够无失真或无差错地从能够无失真或无差错地从能够无失真或无差错地从Y Y 恢复恢复恢复恢复X X，也就是，也就是，也就是，也就是能正确地进行反变换或译码能正确地进行反变换或译码能正确地进行反变换或译码能正确地进行反变换或译码n n传送传送传送传送Y Y 时所需要的信息率最小时所需要的信息率最小时所需要的信息率
79、最小时所需要的信息率最小定长编码定理定长编码定理oo定长编码定理定长编码定理定长编码定理定长编码定理：由：由：由：由L L个符号组成的、每个符号的熵个符号组成的、每个符号的熵个符号组成的、每个符号的熵个符号组成的、每个符号的熵为为为为HHL L( (X X) )的无记忆平稳信源符号序列的无记忆平稳信源符号序列的无记忆平稳信源符号序列的无记忆平稳信源符号序列X X1 1X X2 2X Xl lX XL L，可用，可用，可用，可用K KL L个符号个符号个符号个符号Y Y1 1, , Y Y2 2, , Y Yk k,Y YKLKL（每个符号有（每个符号有（每个符号有（每个符号有mm种可能值）进行
80、定长编码。种可能值）进行定长编码。种可能值）进行定长编码。种可能值）进行定长编码。n n对任意对任意对任意对任意00，00，只要，只要，只要，只要则当则当则当则当L L足够大时，必可使译码差错小于足够大时，必可使译码差错小于足够大时，必可使译码差错小于足够大时，必可使译码差错小于 ；n n反之，当反之，当反之，当反之，当时，译码差错一定是有限值，而当时，译码差错一定是有限值，而当时，译码差错一定是有限值，而当时，译码差错一定是有限值，而当L L足够大时，译码几乎足够大时，译码几乎足够大时，译码几乎足够大时，译码几乎必定出错。必定出错。必定出错。必定出错。编码效率编码效率oo差错概率差错概率n
81、n当信源序列长度当信源序列长度当信源序列长度当信源序列长度L L满足满足满足满足时，时，时，时，就能达到差错率要求。就能达到差错率要求。就能达到差错率要求。就能达到差错率要求。oo编码效率编码效率n n最佳编码效率为最佳编码效率为最佳编码效率为最佳编码效率为变长编码定理变长编码定理oo单个符号单个符号变长编码定理变长编码定理n n若一离散无记忆信源的符号熵为若一离散无记忆信源的符号熵为H(X)，每个信源符号用每个信源符号用m进制码元进行变长编码，进制码元进行变长编码，一定存在一种无失真编码方法，其码字一定存在一种无失真编码方法，其码字平均长度满足下列不等式平均长度满足下列不等式变长编码定理变长
82、编码定理oo离散平稳无记忆序列离散平稳无记忆序列变长编码定理变长编码定理n n对于平均符号熵为对于平均符号熵为HL(X)的离散平稳无的离散平稳无记忆信源，必存在一种无失真编码方法，记忆信源，必存在一种无失真编码方法，使平均信息率使平均信息率 满足不等式满足不等式n n其中，其中，为任意小正数。为任意小正数。香农编码步骤香农编码步骤1. 1.将信源消息符号按其概率从大到小排列将信源消息符号按其概率从大到小排列将信源消息符号按其概率从大到小排列将信源消息符号按其概率从大到小排列2. 2.确定满足下列不等式的整数码长确定满足下列不等式的整数码长确定满足下列不等式的整数码长确定满足下列不等式的整数码长
83、K Ki i3. 3.令令令令P P1 1=0=0，计算第，计算第，计算第，计算第i i个消息的累加概率个消息的累加概率个消息的累加概率个消息的累加概率4. 4.将累加概率将累加概率将累加概率将累加概率P Pi i变换成二进制数，取小数点后变换成二进制数，取小数点后变换成二进制数，取小数点后变换成二进制数，取小数点后K Ki i位为该消息的码字位为该消息的码字位为该消息的码字位为该消息的码字费诺编码方法费诺编码方法oo费诺编码属于费诺编码属于概率匹配编码概率匹配编码，不是最佳的编，不是最佳的编码方法。编码过程如下：码方法。编码过程如下：1. 1.将信源消息符号按其出现的概率依次排列将信源消息符
84、号按其出现的概率依次排列将信源消息符号按其出现的概率依次排列将信源消息符号按其出现的概率依次排列p p( (x x1 1) ) p p( (x x2 2) ) p p( (x xn n) )2. 2.按编码进制数将概率分组，使每组概率尽可能按编码进制数将概率分组，使每组概率尽可能按编码进制数将概率分组，使每组概率尽可能按编码进制数将概率分组，使每组概率尽可能接近或相等，并为每一组分配一位码元。如编接近或相等，并为每一组分配一位码元。如编接近或相等，并为每一组分配一位码元。如编接近或相等，并为每一组分配一位码元。如编二进制码就分成两组，编二进制码就分成两组，编二进制码就分成两组，编二进制码就分成
85、两组，编mm进制码就分成进制码就分成进制码就分成进制码就分成mm组。组。组。组。3. 3.将每一分组再按同样原则划分，重复步骤将每一分组再按同样原则划分，重复步骤将每一分组再按同样原则划分，重复步骤将每一分组再按同样原则划分，重复步骤2 2，直，直，直，直至概率不再可分为止。至概率不再可分为止。至概率不再可分为止。至概率不再可分为止。4. 4.信源符号所对应的码字即为费诺码。信源符号所对应的码字即为费诺码。信源符号所对应的码字即为费诺码。信源符号所对应的码字即为费诺码。哈夫曼编码方法哈夫曼编码方法oo哈夫曼编码的步骤哈夫曼编码的步骤哈夫曼编码的步骤哈夫曼编码的步骤1. 1.将信源消息符号按其出
86、现的概率大小依次排列将信源消息符号按其出现的概率大小依次排列将信源消息符号按其出现的概率大小依次排列将信源消息符号按其出现的概率大小依次排列 p p( (x x1 1)p p( (x x2 2) ) p p( (x xn n) )2. 2.取两个概率最小的符号分别配以取两个概率最小的符号分别配以取两个概率最小的符号分别配以取两个概率最小的符号分别配以0 0和和和和1 1，并将这两个，并将这两个，并将这两个，并将这两个概率相加作为一个新符号的概率，与未分配码元的概率相加作为一个新符号的概率，与未分配码元的概率相加作为一个新符号的概率，与未分配码元的概率相加作为一个新符号的概率，与未分配码元的符号
87、重新排队。符号重新排队。符号重新排队。符号重新排队。3. 3.对重排后的两个概率最小符号重复步骤对重排后的两个概率最小符号重复步骤对重排后的两个概率最小符号重复步骤对重排后的两个概率最小符号重复步骤2 2的过程。的过程。的过程。的过程。4. 4.继续上述过程，直到最后两个符号配以继续上述过程，直到最后两个符号配以继续上述过程，直到最后两个符号配以继续上述过程，直到最后两个符号配以0 0和和和和1 1为止。为止。为止。为止。5. 5.从最后一级开始，向前返回得到各个信源符号所对从最后一级开始，向前返回得到各个信源符号所对从最后一级开始，向前返回得到各个信源符号所对从最后一级开始，向前返回得到各个
88、信源符号所对应的码元序列，即相应的码字。应的码元序列，即相应的码字。应的码元序列，即相应的码字。应的码元序列，即相应的码字。三种编码的比较三种编码的比较oo香农码、费诺码、哈夫曼码都考虑了信源的统计特性，香农码、费诺码、哈夫曼码都考虑了信源的统计特性，香农码、费诺码、哈夫曼码都考虑了信源的统计特性，香农码、费诺码、哈夫曼码都考虑了信源的统计特性，经常出现的信源符号对应较短的码字，使信源的平均码经常出现的信源符号对应较短的码字，使信源的平均码经常出现的信源符号对应较短的码字，使信源的平均码经常出现的信源符号对应较短的码字，使信源的平均码长缩短，从而实现对信源的压缩。长缩短，从而实现对信源的压缩。
89、长缩短，从而实现对信源的压缩。长缩短，从而实现对信源的压缩。oo香农码香农码香农码香农码有系统的、惟一的编码方法，但在很多情况下编有系统的、惟一的编码方法，但在很多情况下编有系统的、惟一的编码方法，但在很多情况下编有系统的、惟一的编码方法，但在很多情况下编码效率不是很高。码效率不是很高。码效率不是很高。码效率不是很高。oo费诺码和哈夫曼码的编码方法都不惟一。费诺码和哈夫曼码的编码方法都不惟一。费诺码和哈夫曼码的编码方法都不惟一。费诺码和哈夫曼码的编码方法都不惟一。oo费诺码费诺码费诺码费诺码比较适合于对分组概率相等或接近的信源编码。比较适合于对分组概率相等或接近的信源编码。比较适合于对分组概率
90、相等或接近的信源编码。比较适合于对分组概率相等或接近的信源编码。oo哈夫曼码哈夫曼码哈夫曼码哈夫曼码对信源的统计特性没有特殊要求，编码效率比对信源的统计特性没有特殊要求，编码效率比对信源的统计特性没有特殊要求，编码效率比对信源的统计特性没有特殊要求，编码效率比较高，对编码设备的要求也比较简单，因此综合性能优较高，对编码设备的要求也比较简单，因此综合性能优较高，对编码设备的要求也比较简单，因此综合性能优较高，对编码设备的要求也比较简单，因此综合性能优于香农码和费诺码。于香农码和费诺码。于香农码和费诺码。于香农码和费诺码。限失真信源编码定理限失真信源编码定理oo设离散无记忆信源设离散无记忆信源设离
91、散无记忆信源设离散无记忆信源X X的信息率失真函数为的信息率失真函数为的信息率失真函数为的信息率失真函数为R R( (D D) ) n n当信息率当信息率当信息率当信息率 R RR R( (D D) )时，只要信源序列长度时，只要信源序列长度时，只要信源序列长度时，只要信源序列长度 L L 足够长，一定存在一种编码方法，其译码失足够长，一定存在一种编码方法，其译码失足够长，一定存在一种编码方法，其译码失足够长，一定存在一种编码方法，其译码失真小于或等于真小于或等于真小于或等于真小于或等于 D D ， 为任意小的正数。为任意小的正数。为任意小的正数。为任意小的正数。n n反之，若反之，若反之，若
92、反之，若R RR R( (D D) ) ，则无论采用什么样的编，则无论采用什么样的编，则无论采用什么样的编，则无论采用什么样的编码方法，其译码失真必大于码方法，其译码失真必大于码方法，其译码失真必大于码方法，其译码失真必大于D D。oo如果是二元信源，则对于任意小的如果是二元信源，则对于任意小的如果是二元信源，则对于任意小的如果是二元信源，则对于任意小的 0 0，每一，每一，每一，每一个信源符号的平均码长满足如下公式：个信源符号的平均码长满足如下公式：个信源符号的平均码长满足如下公式：个信源符号的平均码长满足如下公式：第第6章信道编码章信道编码oo重点掌握重点掌握n n差错控制相关的基本概念差
93、错控制相关的基本概念差错控制相关的基本概念差错控制相关的基本概念n n差错控制系统分类差错控制系统分类差错控制系统分类差错控制系统分类n n检、纠错能力检、纠错能力检、纠错能力检、纠错能力n n有扰离散信道编码定理有扰离散信道编码定理有扰离散信道编码定理有扰离散信道编码定理oo一般了解一般了解n n纠错码分类纠错码分类纠错码分类纠错码分类n n纠错码的基本思路纠错码的基本思路纠错码的基本思路纠错码的基本思路与差错控制有关的基本概念与差错控制有关的基本概念oo汉明重量汉明重量汉明重量汉明重量（码重码重码重码重）：码字中非）：码字中非）：码字中非）：码字中非0 0码元的个数，码元的个数，码元的个数
94、，码元的个数，用用用用WW表示。对于二进制来说，指码字中码元表示。对于二进制来说，指码字中码元表示。对于二进制来说，指码字中码元表示。对于二进制来说，指码字中码元1 1的的的的数目。数目。数目。数目。oo汉明距离汉明距离汉明距离汉明距离（码距码距码距码距）：两个等长码字之间对应码）：两个等长码字之间对应码）：两个等长码字之间对应码）：两个等长码字之间对应码元不相同的数目，用元不相同的数目，用元不相同的数目，用元不相同的数目，用D D表示。表示。表示。表示。oo码的最小距离码的最小距离码的最小距离码的最小距离d dminmin：在某一码集：在某一码集：在某一码集：在某一码集C C中，任意两个中，
95、任意两个中，任意两个中，任意两个码字之间汉明距离的最小值称为该码的最小距码字之间汉明距离的最小值称为该码的最小距码字之间汉明距离的最小值称为该码的最小距码字之间汉明距离的最小值称为该码的最小距离，即离，即离，即离，即最小码距是衡量该码纠错能力的重要依据最小码距是衡量该码纠错能力的重要依据最小码距是衡量该码纠错能力的重要依据最小码距是衡量该码纠错能力的重要依据与差错控制有关的基本概念与差错控制有关的基本概念oo错误图样错误图样错误图样错误图样n n在二元无记忆在二元无记忆在二元无记忆在二元无记忆N N次扩展信道中，差错的形式也可以次扩展信道中，差错的形式也可以次扩展信道中，差错的形式也可以次扩展
96、信道中，差错的形式也可以用二元序列来描述，称为用二元序列来描述，称为用二元序列来描述，称为用二元序列来描述，称为错误图样错误图样错误图样错误图样。n n设发送码字为设发送码字为设发送码字为设发送码字为C C=(=(c c1 1c c2 2c cn n) )，接收码字为，接收码字为，接收码字为，接收码字为R R=(=(r r1 1r r2 2r rn n) )，两者的差别为，两者的差别为，两者的差别为，两者的差别为oo分组码分组码分组码分组码：每个码字中增加的：每个码字中增加的：每个码字中增加的：每个码字中增加的r r 个校验元只由本组的个校验元只由本组的个校验元只由本组的个校验元只由本组的k
97、k个个个个信息元产生，与其他信息组的信息元无关。记为信息元产生，与其他信息组的信息元无关。记为信息元产生，与其他信息组的信息元无关。记为信息元产生，与其他信息组的信息元无关。记为( (n n, , k k) )oo卷积码卷积码卷积码卷积码：增加的：增加的：增加的：增加的r r个校验元既与本组信息元有关，还与个校验元既与本组信息元有关，还与个校验元既与本组信息元有关，还与个校验元既与本组信息元有关，还与前面前面前面前面L L组信息元有关。记为组信息元有关。记为组信息元有关。记为组信息元有关。记为( (n n, , k k, , L L) )差错控制系统分类差错控制系统分类oo前向纠错方式前向纠错
98、方式前向纠错方式前向纠错方式（FECFEC）oo自动请求重发方式自动请求重发方式自动请求重发方式自动请求重发方式（ARQARQ）oo混合纠错混合纠错（HEC）译码设备不复杂，对译码设备不复杂，对译码设备不复杂，对译码设备不复杂，对突发错误特别有效突发错误特别有效突发错误特别有效突发错误特别有效实时性好，适用于单工通信实时性好，适用于单工通信实时性好，适用于单工通信实时性好，适用于单工通信检错、纠错能力强，译检错、纠错能力强，译检错、纠错能力强，译检错、纠错能力强，译码设备复杂，应用广泛码设备复杂，应用广泛码设备复杂，应用广泛码设备复杂，应用广泛检错与纠错能力检错与纠错能力oo检错与纠错能力检错
99、与纠错能力检错与纠错能力检错与纠错能力n n纠错码的检、纠错能力是指能够检测、纠正纠错码的检、纠错能力是指能够检测、纠正纠错码的检、纠错能力是指能够检测、纠正纠错码的检、纠错能力是指能够检测、纠正差错的数目。差错的数目。差错的数目。差错的数目。oo检错能力检错能力检错能力检错能力oo纠错能力纠错能力纠错能力纠错能力oo检、纠错能力检、纠错能力检、纠错能力检、纠错能力n n将检错和纠错统一考虑，情况会有所变化。将检错和纠错统一考虑，情况会有所变化。将检错和纠错统一考虑，情况会有所变化。将检错和纠错统一考虑，情况会有所变化。n n要增加检错能力，必须抑制纠错能力。要增加检错能力，必须抑制纠错能力。
100、要增加检错能力，必须抑制纠错能力。要增加检错能力，必须抑制纠错能力。e dmin1ed+ec dmin-1t =INT(dmin-1)/2有扰离散信道编码定理有扰离散信道编码定理oo若有一离散无记忆平稳信道，其容量为若有一离散无记忆平稳信道，其容量为若有一离散无记忆平稳信道，其容量为若有一离散无记忆平稳信道，其容量为C C，输入，输入，输入，输入符号序列长度为符号序列长度为符号序列长度为符号序列长度为N N。只要待传送的信息率。只要待传送的信息率。只要待传送的信息率。只要待传送的信息率R RC C，总可以找到一种编码方法，当，总可以找到一种编码方法，当，总可以找到一种编码方法，当，总可以找到一
101、种编码方法，当N N足够长时，使足够长时，使足够长时，使足够长时，使译码错误概率译码错误概率译码错误概率译码错误概率P Pe e ， 为任意正数。为任意正数。为任意正数。为任意正数。oo反之，当反之，当反之，当反之，当R RC C时，任何编码的时，任何编码的时，任何编码的时，任何编码的P Pe e0 0。当。当。当。当N N时，时，时，时， P Pe e11。oo与信源编码定理类似，香农第二定理只是一个与信源编码定理类似，香农第二定理只是一个与信源编码定理类似，香农第二定理只是一个与信源编码定理类似，香农第二定理只是一个存在性定理存在性定理存在性定理存在性定理，它指出信道容量是一个临界值，它指
102、出信道容量是一个临界值，它指出信道容量是一个临界值，它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可只要信息传输率不超过这个临界值，信道就可只要信息传输率不超过这个临界值，信道就可只要信息传输率不超过这个临界值，信道就可以几乎无失真地把信息传送过去。以几乎无失真地把信息传送过去。以几乎无失真地把信息传送过去。以几乎无失真地把信息传送过去。差错控制差错控制oo差错控制：从公式和概念两条途径来论述差差错控制：从公式和概念两条途径来论述差错控制与信道编码的基本原理。错控制与信道编码的基本原理。oo途径一：信道编码定理的公式途径一：信道编码定理的公式n n增大增大C、减小、减小R、增加、增加Noo途径二：从概念上分析纠错编码的基本原理途径二：从概念上分析纠错编码的基本原理n n利用冗余度利用冗余度n n噪声均化噪声均化
