《信息论与编码2012》由会员分享，可在线阅读，更多相关《信息论与编码2012（76页珍藏版）》请在金锄头文库上搜索。
1、信息论论与编码编码 基础础学而不思学而不思则则罔，罔， 思而不学思而不学则则殆殆。孔子孔子信息论与编码基础离散信源一、信源的数学模型及分类二、离散信源的信息熵及其性质三、离散无记忆 的扩展信源四、离散平稳信源五、信源的剩余度信息论与编码基础离散信源一、信源的数学模型及分类类二、离散信源的信息熵及其性质三、离散无记忆 的扩展信源四、离散平稳信源五、信源的剩余度信息论与编码基础离散信源p信源的分类类离散信源：电报 、文字、代码D. S07314575707连续连续 信源：模拟语 音、模拟视频C. S由随机变量描述由随机矢量描述由随机过程描述信源输出的消息v概念样样本空间间概率空间间事物所有可能选择
2、 的消息的集合。一个样本空间和它的概率测度。信息论与编码基础离散信源信息论与编码基础离散信源1) 信源输输出的消息由随机变变量描述例 若扔一颗均匀的骰子，分析研究其下落后 ， 朝上一面的点数。信息论与编码基础离散信源定义义2.1 若信源输出的消息数是有限的或可数的，而 且每次只输出符号集中的一个消息，这样的信源称为 简单的离散信源。信源空间信息论与编码基础离散信源例箱子中有红、黄、蓝、白四种不同颜色的彩球，它们大小质量、重量完全一样。若从这个箱子中任意摸取出一个球，并把球的颜色当作试验的结果。这个随机试验就可看作是一个单符号离散信源。信源的输出符号集就是四种不同的颜色A：红黄、蓝、白，试构建这
3、个信源的信源空间。 样本概率红红(100) 黄(50) 蓝蓝(25) 白(25)信息论与编码基础离散信源定义义2.2 若信源输出的是单个符号的消息，但是其可 能出现的消息数是不可数的无限值，即输出消息的取 值是连续的，这样的信源称为简单 的连续信源。或或例如：语音信号；遥控系统中测得的电压、温度、压力等连续数据。信息论与编码基础离散信源 复杂杂信源 例1：中文自然语言文字信源牛气冲 天 例2：离散化的平面灰度图像信源信息论与编码基础离散信源2) 信源输输出的消息由随机矢量描述定义义2.3 若离散信源输出的消息是由一系列符号 所组成的（不妨假设由N个符号组成，其中N为 有限正整数或可数的无限值）
4、，这样的信源称 为多维的离散信源。信息论与编码基础离散信源其中1)离散无记忆信源2)离散有记忆信源马尔可夫信源扩展信源信息论与编码基础离散信源定义义2.4 若连续信源输出的消息是由一系列符号所组成 的，这样的信源称为多维的连续信源。2) 信源输输出的消息由随机矢量描述连续平稳信源： 随机矢量的各维概率密度都与时间起点无关信息论与编码基础离散信源3) 信源输输出的消息由随机过过程描述模拟视频模拟语 音随机波形信源只要是时间上或频率上为有限的过程，就可以把随机过程用一系列 时间离散的取样值来表示，而每个取样值都是连续型随机变量。随机过程随机序列离散信源信息论与编码基础离散信源一、信源的数学模型及分
5、类二、离散信源的信息熵熵及其性质质三、离散无记忆 的扩展信源四、离散平稳信源五、信源的剩余度信息论与编码基础离散信源1、自信息2、信源的信息熵3、熵的基本性质信息论与编码基础离散信源v简单的离散信源模型信息论与编码基础离散信源期末考试中，我挤进 了班级十强。 期末考试中，我挤进了年级十强。603教学楼已经开始使用。小明体育经常不及格，昨天测试成绩排名第一。现在正在进行信息论与编码基础课程学习。北京天安门前有游客在照相。相互独立1、自信息n 度量信息的基本思路n若信源中事件xi的出现现所带带来的信息量 用I(xi)来表示并称之为为事件xi的自信息 量，n则则概率为为p(xi)的信源输输出xi所包
6、含的信 息量I(xi)必须满须满 足以下几个条件：信息论与编码基础离散信源n 度量信息的基本思路 1. 信源输输出xi所包含的信息量仅仅依赖赖于它的概率，而与 它的取值值无关。 2. I (xi)是p(xi)的连续连续 函数。 3. I (xi )是p(xi)的减函数，即：如果p(xi) p(xj)，则则I(xi) H(X)n本例结论结论信源Y的二个输输出消息是等可能性的，所以在信源没有输输出消息以前，事先猜 测测哪一个消息出现现的不确定性要大；信源Y比信源X的平均不确定性大；信源X的二个输输出消息不是等概率的，事先猜测测x1和x2哪一个出现现，虽虽然具有 不确定性，但大致可以猜出x1会出现现
7、，因为为x1出现现的概率大。所以信源X的不 确定性要小；信息熵熵反映的就是信源输输出前平均不确定程度的大小。信息论与编码基础离散信源信息论与编码基础离散信源一、信源的数学模型及分类二、离散信源的信息熵熵及其性质质三、离散无记忆 的扩展信源四、离散平稳信源五、信源的剩余度信息论与编码基础离散信源1、自信息2、信源的信息熵3、熵熵的基本性质质信息论与编码基础离散信源3、熵熵的基本性质质概率矢量熵函数H(0.3, 0.4, 0.3)H(0.3)信息论与编码基础离散信源1)非负负性3、熵熵的基本性质质信息论与编码基础离散信源2)确定性3、熵熵的基本性质质信息论与编码基础离散信源3)对对称性例设X,Y,
8、Z三个信源3、熵熵的基本性质质节日上空彩球学术会议参与者肤色天气情况信息论与编码基础离散信源4)扩扩展性3、熵熵的基本性质质信息论与编码基础离散信源5)可加性信源X,Y统计独立极值性信息论与编码基础离散信源6)极值值性最大离散熵定理最大离散熵定理最 大 离 散 熵 定 理最大离散熵定理信息论与编码基础离散信源例，二元信源（1，0）的信息熵熵H(0,1)H(0.5,0.5)00.51H()1计计算与思考计计算与思考计计算与思考信源空 间必定 是一个 完备集信源空 间的描 述7) 香农辅 助定理n对对任意两个消息数相同的信源 有n上式含义义：任一概率分布p(xi)，它对对其它概率分布p(yi)的
9、自信息 取数学期望时时，必不小于不小于p(xi)本身的熵熵 。信息论与编码基础离散信源n由熵熵的极值值性可以 证证明条件熵熵不大于不大于 信源熵熵/无条件熵熵： H(X/Y)H(X) H(Y/X)H(Y)证证明：H(X/Y)H(X)已知Y时时X的不 确定度应应小于一无 所知时时X的不确定度 。因为为已知Y后，从 Y得到了一些关于X 的信息，从而使X的 不确定度下降。信息论与编码基础离散信源8) 上凸性 HP +(1-)Q H(P )+(1-)H(Q )上凸性证证明：设设有一个多元矢量函数 f(x1,x2,xn)=f(X )，对对任一小于1的正数(01)及f 的定义义域中任意两个矢量X ,Y，若
10、fX +(1-)Y f(X )+(1-)f(Y )，则则称f 为严为严 格上凸函数。设设P ,Q为为两组归组归 一的概率矢量：P =p(x1),p(x2), ,p(xn)，Q=p(y1),p(y2), ,p(yn)0p(xi)1，0p(yi)1，任意二个矢量X1和X2，它们们的线线性组组合X =X1 +(1-)X2 ，0 1，从几何上看 ，当从0到1变变化时时，矢量X =X1 +(1-)X2就是连连接X1和X2的一条直线线。信息论与编码基础离散信源信息论与编码基础离散信源信息论与编码基础离散信源n上凸性的几何意义义： 在上凸函数的任两点 之间间画一条割线线，函 数总总在割线线的上方.n严严格上
11、凸函数在定义义 域内的极值值必为为最大 值值，这对这对 求最大熵熵很 有用。信息论与编码基础离散信源课课堂思考题题设设有12枚同值值硬币币，其中有一枚为为假币币， 且只知道假币币的重量与真币币的重量不同， 但不知究竟是重还还是轻轻。现现采用天平比较较 左右两边轻边轻 重的方法来测测量（因无砝码码） 。为为了在天平上称出哪一枚是假币币，试问试问 至少必须须称多少次？ 思考题题解答思考题题解答思考题思考题- -找金币问题？找金币问题？问题：为了在天平上称出哪一枚是假币，试问至 少必须称多少次？（提示用信息量来思考）8 8枚金币中，有一枚枚金币中，有一枚 是假的。且只知道假是假的。且只知道假 币的重量与真币的重币的重量与真币的重 量不同，但不知究竟量不同，但不知究竟 是重还是轻。是重还是轻。思考题3信息论与编码基础离散信源思考题题比较较概率分布的熵熵与概率分布的熵熵的大小？ 思考题1信息论与编码基础离散信源设X是取值为有限个的随机变量，如果：H(X)和H(Y)的不等关系是什么？思考题题
