《基本信息论1信源不确定性》由会员分享，可在线阅读，更多相关《基本信息论1信源不确定性（30页珍藏版）》请在金锄头文库上搜索。
1、第第2 2章章 基本信息论基本信息论本章学习内容本章学习内容信源不确定度和信息度量，离散信源的信源不确定度和信息度量，离散信源的熵及其性质，加权熵熵及其性质，加权熵平均互信息量的定义、计算方法、物理平均互信息量的定义、计算方法、物理意义和性质意义和性质二元联合信源的共熵、条件熵及两者之二元联合信源的共熵、条件熵及两者之间的关系，平稳信源的信源熵和极限熵间的关系，平稳信源的信源熵和极限熵马尔可夫信源的概念及其信源熵的计算马尔可夫信源的概念及其信源熵的计算信源冗余度的定义信源冗余度的定义连续信源的相对熵，三种连续信源的最连续信源的相对熵，三种连续信源的最大熵，熵功率大熵，熵功率信息速率和信道容量的
2、概念，离散有噪信息速率和信道容量的概念，离散有噪信道的熵速率，可疑度的物理解释，连信道的熵速率，可疑度的物理解释，连续有噪信道的信道容量续有噪信道的信道容量三种多用户信道模型及其信道容量三种多用户信道模型及其信道容量信源编码原理，等长编码和变长编码信源编码原理，等长编码和变长编码常用的信源编码：山农费诺编码、哈夫常用的信源编码：山农费诺编码、哈夫曼编码和曼编码和L-D编码编码本章作业本章作业 P113： 1-9，11，15，17，20，212.1 信源及信源的不确定性信源及信源的不确定性实际有用的信源应具有不确定性实际有用的信源应具有不确定性信源的不确定性：信宿对信源某时刻发信源的不确定性：信
3、宿对信源某时刻发送哪个消息不能确定。送哪个消息不能确定。例1某二元信源发送1的概率为0.99，而发送0的概率为0.01。 猜错率：1%，信源的不确定性很小。例2 二元信源发1和发0的概率相等，均为0.5。 猜错率：50%，信源发什么消息相当不确定。例3如果信源具有更多的消息，例如发10个阿拉伯数字0，19，而且假定这10个消息是等概率分布的，均为十分之一。 猜错率更大，信源发什么消息更不确定了。例4若信源只发送一种消息，即永远只发送1或者永远只发送0。 猜错率：0，信源的不确定性为零。一、不确定性的概念对于信源X，其概率空间为：信源不确定度：0=例4例1例2例3信源的不确定程度与其概率空间的消
4、息信源的不确定程度与其概率空间的消息数及其概率分布有关数及其概率分布有关信源的消息为等概率分布时，不确定度信源的消息为等概率分布时，不确定度最大最大信源的消息为等概率分布且其数目越多，信源的消息为等概率分布且其数目越多，其不确定度也越大其不确定度也越大只发送一个确定的消息的信源，其不确只发送一个确定的消息的信源，其不确定度为零定度为零二、信源不确定度的定义Hartley定义了信源不确定度：概率空间的概率的倒数的对数。等概率分布时，信源的平均不确定度：不等概率分布时，信源的非平均不确定度：表示事件发生前，某事件 发生的不确定性。某事件必然发生，不确定性为零某事件几乎不发生，不确定性趋向无穷大发生
5、概率小的事件不确定性大，发生概率大的事件不确定性小4）两个独立事件的联合信息量应等于它们分别信息量之和三、信息度量也表示通信发生前，信源发送消息 的不确定度。即信源的非平均不确定度表示信源发出一个消息 所含有（或所提供）的非平均自信息量信源消息 的自信息量：条件自信息量信宿接收到消息 后，对信源发送消息 尚存的不确定度。从信宿端看，信息量的定义： I（信息量）=不肯定程度的减少量即信宿收到消息后获得的信息量 =收到消息前后对信源不肯定程度的减少量交互信息量信宿收到消息yj后所获得的关于xi的信息量=收到消息yj后关于xi的不确定性减少的程度=关于xi的先验不确定度收到消息yj后对xi尚存的不确
6、定度信息量的单位量纲取2为底：比特（bit）取e为底：奈特（nat）取10为底：哈特莱（Hartley）四、离散信源的熵离散信源：仅输出有限个消息的信源离散信源的熵：物理意义：-概率空间中每个事件（消息）所含有的自信息量的数学期望-信源的平均不确定度（输出消息前）-信源输出一个消息所提供的平均信息量（输出消息后）若信源的N个消息等概率分布：p=1 / N，则信源熵：条件熵-联合概率空间XY上的条件自信息量的数学期望-信宿收到消息集Y后对信源X尚存的平均不确定度例一个口袋内有100个球，其中90个红球，10个黄球，每次摸出一个球然后放回，求：1）摸到一个红球获得的信息量；2）摸到一个黄球获得的信
7、息量；3）摸一次球获得的平均信息量。解：信源的概率空间：1）摸到一个红球获得的信息量：2）摸到一个黄球获得的信息量：3）摸一个球获得的平均信息量：例计算分析某二元数字通信系统中输出1，0两个消息的信源的信源熵。解：1）如果信源消息等概率p(0)=p(1)=0.5 ，则：2）如果p(0)=1，p(1)=0，则：3）如果p(0)=0，p(1)=1，则：p(0)=1-p(1)1100.50.5H(X)例例 计算能输出计算能输出26个英文字母的信源的信源熵。个英文字母的信源的信源熵。假设各字母等概率分布，且互相独立。假设各字母等概率分布，且互相独立。解：解：五、熵函数H(X)的性质1、非负性、非负性2
8、、确定性、确定性3、熵函数、熵函数H(X)是是p(x)的连续函数的连续函数只要有一个消息出现的概率为1，则信源的不确定度为0，信源熵为0 。4、熵函数熵函数H(X)具有极值性具有极值性最最大离散熵定理大离散熵定理设信源X中包含n个不同离散消息，对信源熵H(X)，有：当且仅当信源X中各消息为等概率分布时，上式取等号。证明：自然对数具有性质：当且仅当x=1时，上式取等号5、当p(x)为等概率，且p(x)=1/n，则熵函数H(X)为n的单调增函数6、条件熵小于等于无条件熵已知Y时（即完成通信），对X的不确定度对Y一无所知时（即通信前），对X的不确定度证明：7、对称性8、扩展性9、可加性统计独立的两信源联合熵：相互关联的两信源联合熵：10、上凸性：熵函数存在极大值六、加权熵的概念相应地再构建一个信源的权重空间对于信源X，其概率空间为：信源X的加权熵：
