《第4章-单符号离散信道》由会员分享，可在线阅读，更多相关《第4章-单符号离散信道（117页珍藏版）》请在金锄头文库上搜索。
1、日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 第 4章 单符号离散信道 离散信道的数学模型 条件信息量及平均条件信息量 其它相关信息量 交互信息量 条件交互信息量 平均交互信息量 平均交互信息量非负性 平均交互信息量的极值性 信道容量的一般计算方法 几种无噪声信道的信道容量 几种对称信道的信道容量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 ,2,12,1)/()/(X 111) 转移概率模型 信道确定，则转移概率确定。反之，转移概率确定，则信道确定。 第 1节 离散信道的数学模型 1、平稳无记忆离散信道的数学模型 日 思 日 睿 笃 志 笃
2、行 信息论与编码 湖北大学物电学院蒋碧波 2) 转移概率矩阵模型 )/()/()/()/()/()/()/()/()/()/()/()/()/()/()/()/()/(321333323122322211131211信道确定，则转移概率矩阵确定。反之，转移概率矩阵确定，则信道确定。 第 1节 离散信道的数学模型 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 3) 状态转移图模型 321321信道确定，则状态转移图确定。反之，状态转移图确定，则信道确定。 第 1节 离散信道的数学模型 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 例： 在通信工程，
3、通常使用二进制删除信道。 (输入符号集 0,1，输出符号集 0,?,1) 1) 转移概率模型 0)/(1)/()/( 010?00 )/(1)/(0)/( 111?10第 1节 离散信道的数学模型 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 3) 状态转移图模型 101?0p 1-p p 2) 转移概率矩阵模型 节 离散信道的数学模型 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 例： 在通信工程，通常使用二进制对称信道。 (输入符号集 0,1，输出符号集 0, 1) 1) 转移概率模型 0 0 1 0( / ) 1 ( / )p y x p
4、p y x p 0 1 1 1( / ) ( / ) 1p y x p p y x p 第 1节 离散信道的数学模型 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 3) 状态转移图模型 2) 转移概率矩阵模型 11第 1节 离散信道的数学模型 10 p 1-p p 10日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 第 1节 离散信道的数学模型 2、平稳马尔可夫信道的数学模型 平稳就是与什么时候传输没有关系，无记忆就是与前面传输的符号没有关系。而马尔可夫信道是有记忆的，只是记忆长度很短。 例如有这样一个信道，信源发送的符号集 0， 1， 0 1 0
5、 1 0 1 0 1 0 1 0 1 0 1 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 1、几种概率及其关系 ()y x( / )x 节 条件自信量及平均条件自信量 ()x ()称作先验概率 信道的转移概率 联合概率分布 后验概率 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 第 2节 条件自信量及平均条件自信量 1( ) 11( ) 11( / ) 1y x1( / ) 1x y1( ) ( ) ( / )rj i j y p x p y x ( ) ( ) ( / ) ( ) ( / )i j i j i j i jp x y p x p
6、 y x p y p x y( ) ( ) ( / )( ) ( )( / )i j j i x y p y p x p x p xp y x ( ) ( ) ( / )( ) ( )( / )i j i j x y p x p y p y p yp x y 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 第 2节 条件自信量及平均条件自信量 )|(l o g)|( 1l o g ()|( A 已知接收为有 发送为 2、条件自信量 1)、定义 2)、物理意义 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 例： 某一无记忆信源的符号集为 0,1，已知
7、， 。信道转移概率矩阵为 310 p 321 p)|(),|(),|(),|( 11011000 1第 2节 条件自信量及平均条件自信量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 第 2节 条件自信量及平均条件自信量 分析： 0 0 0 00 0 0 0 01000( | ) l o g ( | )( ) ( ) ( / )l o g l o g()( ) ( / )o g )x y P x yP x y P x P y x P y t s 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 0 1 0 10 1 0 1 01110( | ) l
8、o g ( | )( ) ( ) ( / )l o g l o g()( ) ( / )o g )x y P x yP x y P x P y x P y t s 第 2节 条件自信量及平均条件自信量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 1 0 1 01 0 1 0 11000( | ) l o g ( | )( ) ( ) ( / )l o g l o g()( ) ( / )o g )x y P x yP x y P x P y x P y t s 第 2节 条件自信量及平均条件自信量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波
9、1 1 1 11 1 1 1 11110( | ) l o g ( | )( ) ( ) ( / )l o g l o g()( ) ( / )o g )x y P x yP x y P x P y x P y t s )(l 2020 bi t )(l 2121 bi t 第 2节 条件自信量及平均条件自信量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 117)|(00 (10 (01 (11 0 2)(1 ( 00 b it )( 10 b it )( 01 b it )( 11 b it )( 0 b it )( 1 b 第 2节 条件自信量及平均条件自信量 日
10、 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 第 2节 条件自信量及平均条件自信量 3、平均条件自信量 )|(1l o g),()|(),()|(11 1)、定义 信源平均条件自信量 疑义度 源的条件熵 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 例： 2125 1663144求 (1) 信源 11( ) l o g ( ) a P a bi t s 22( ) l o g ( ) a bi t s 12:( ) : a ,: 21 道的 输出随机变量 ，信道的矩阵 设信源 第 2节 条件自信量及平均条件自信量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 (2) 信源 的信息熵 )/()()(l )(21221s y m bo lb i t )/()()(l o g)()(21221s y m b o lb i t sbIb
