《第6章-单维连续信源与信道》由会员分享，可在线阅读，更多相关《第6章-单维连续信源与信道（122页珍藏版）》请在金锄头文库上搜索。
1、日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 第 6章 单维连续信源与信道 单维连续信源的 相对熵和平均交互信息量 几种 单维 连续信源的相对熵 连续信源 相对熵的极值性 连续信源 相对熵的上凸性 连续信源 最大相对熵定理 数据处理定理 连续信道的容量 高斯信道的容量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 1、假设信源与信宿分别用连续随机变量 X 和 联合概率密度分布 ( x,y)，其边缘分布分别为 fX(x) 和 fY(y) 2、相对熵 1)、信源模型 : , ( ) : ( )XX a f x第 1节 相对熵与平均交互信息量 日 思
2、日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 0a 1( 区间 a,b 划分成 个小区间的大小为 2)、连续信源的离散化 第 1节 相对熵与平均交互信息量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 ( 1 ) ( ) ( ) ( ) f x d x f x 积 分 中 值 定 理r 1 212:( ) :x x P P p 则相应的离散信源为： ( 1)11( ) ( ) 1rr a i Xa i f x dx f x 第 1节 相对熵与平均交互信息量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 离散化信源的熵 111111
3、1( ) l o g ( ) l o g ( ) ( ) l o g ( ) ( ) l o g( ) l o g ( ) l o g ( ) ( ) l o g ( ) l o i i X i X i X i X i X i X i X P P f x f xf x f x f xf x f x f xf x f x 第 1节 相对熵与平均交互信息量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 连续信源的熵 001( ) l i m ( )l i m ( ) l o g ( ) l i m l o i X H Xf x f x 0( ) l o g ( ) l i
4、m l o f x f x 相对熵 )(节 相对熵与平均交互信息量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 3、接收信号 Y : , ( ) : ( ) f y 第 1节 相对熵与平均交互信息量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 0a by )1j( a ja ,b 划分成 等的小区间，则各小区间的大小为 连续随机变量的离散化 第 1节 相对熵与平均交互信息量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 ( 1 )( y ) ( ) ( ) Y f d y f y 中 值 定 理s 1 212:( )
5、:y y P P P 相应的离散随机变量为 ( 1 )j 1 1( ) ( ) 1ss a j Ya j f y d y f y d y 第 1节 相对熵与平均交互信息量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 离散随机变量的熵 1111111( Y ) l o g ( ) l o g ( ) ( ) l o g ( ) ( ) l o g( ) l o g ( ) l o g ( ) ( ) l o g ( ) l o j j Y j Y j Y j Y j Y j Y j Y P f y f yf y f y f yf y f y f yf y f y 第 1
6、节 相对熵与平均交互信息量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 连续随机变量 001( Y ) l i m ( )l i m ( ) l o g ( ) l i m l o j Y Yf y f y 0( y ) l o g ( ) l i m l o f f y 相对熵 )(节 相对熵与平均交互信息量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 4、 条件 相对熵 1) 连续信道模型 b a ,:X/ ( / ) , , y xx a b y a b b,a:Y /( / ) 1b f y x 第 1节 相对熵与平均交互信息量 日
7、思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 2) 转移概率密度函数的离散化 ( 1 ) ; ( 1 ) a i X a i a j Y a j ( 1) ( 1) ()a i a i a j f x y dx /( 1) ( 1) ( ) ( / )a i a Xa i a j f x f y x dx /( 1 ) ( 1 ) ( ) ( / )a i a Ya i a j f y f x y d 第 1节 相对熵与平均交互信息量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 /( 1 ) ( 1 )( ) ( / )a i a ji j Y j
8、 X Ya i a jP f y f x y d /( ) ( / )Y j X Y i j i jf y f x y 二重中值定理 ,)1(,)1(),( /( ) ( / ) ( )( / )( ) ( )i j Y j X Y i j i j Y ji j X Y i j i j Y jP f y f x y f yP f x yP f y f y 第 1节 相对熵与平均交互信息量 ,)1( j 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 3) 条件熵 /11( / ) l o s i j i Y P P /11()l o g ( / ) ()j X Y i j
9、 i f x /1 1 1 1()( ) ( / ) l o g ( / ) l o g()r s r j X Y i j i j X Y i j i j i ji j i y f x y f x y /11()( ) ( / ) l o g ( / ) l o g()j X Y i j i j X Y i j i y f x y f x 第 1节 相对熵与平均交互信息量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 00/0011( / ) l i m ( / )()l i m ( ) ( / ) l o g ( / ) l i m l o g()j X Y i j
10、i j X Y i j i Y H X y f x y f x / 0( ) ( / ) l o g ( / ) l i m l o X Y X f y f x y f x y dx 条件相对熵 )/( 节 相对熵与平均交互信息量 日 思 日 睿 笃 志 笃 行 信息论与编码 湖北大学物电学院蒋碧波 0/ 0( ; ) ( ) ( / ) ( ( ) l o g ( ) l i m l o g )( ( ) ( / ) l o g ( / ) l i m l o g ) Y X Y H X H X Y f x f x y f x y f x y dx /( ) l o g ( ) ( ( ) ( / ) l o g ( / ) )b b Y X Y X Ya a af x f x dx f y f x y f
