《信息论-离散信源的熵》由会员分享，可在线阅读，更多相关《信息论-离散信源的熵（60页珍藏版）》请在金锄头文库上搜索。
1、离散信源特性： 根据Shannon信息论的观点，信源要含有一定的信息，必然具有随机性，即有 不确定性，可以用其概率来表示。2、离散信源的熵2.1 离散信源的数学模型2.1.1 单符号离散信源的数学模型Date1离散信源空间：信源的符号（状态）随机地取值于一个离散集合X=（x1,x2,xn）中，一个离散信源可以用一个离散随机变量的概率空间表示。P=(p1,p2,pn)这种表示称为离散无记忆信源的信源空间。信源空间必为一个完备空间，即其概率和为1。Date2信源数学模型描述的条件：用信源空间（离散随机变量）来表示信源 的条件是信源符号（状态）的先验概率是 可知的，这是Shannon信息论的一个基本
2、假说。Date3信息的理解1 只有信息的概念没有信息的定义； 2 山农信息论认为：“正如熵表示分子无组织程度的 度量一样，离散信源中所包含的信息就是信源符号不 确定程性的度量”。 组织程度的度量； 有序程度的度量； 用以减少不确定性的东西； 3 还有其它的描述： 信息就是使概率分布发生变化的东西； 信息是反映事物的形式、关系和差异的东 西，信息包含在事物的差异之中，而不在 事物本身。Date4不确定性： 只有不确定性存在，才有信息存在，获得 消息后消除了不确定性才得到信息。在一 个通信系统中，收信者所获取的信息量， 在数量上等于通信前后对信源的不确定性 的减少量。 不确定性的度量（不确定度）：
3、 不确定度应该等于猜测某一随机事件是否 会发生的难易程度。2.1.2 信源符号不确定性的度量 (uncertainty)Date5Hartly公式：信源不确定度的大小与信源的消息符号数有关 ；符号数越多，不确定度越大； 信源不确定度的大小与信源的消息符号概率有 关；概率越小，不确定度越大； 信源不确定度应具有可加性； 同时应当满足：如果p(xi)=0，则I(xi)=，如果 p(xi)=1，则I(xi)=0。因此为了满足以上四个条件，应把信源不确定度写为 对数形式： Date6自信息量的定义：收信者收到一个消息状态得到的信息量，等于收到后对这个消息状态不确定度的减少量。I（信息量）=不确定度的减
4、少量。2.1.3 信源符号的自信息量Date7无噪声信道下的自信息量：在假设信道没有干扰（无噪声）的情况下，信 源发出信源状态xi，接收者就会收到xi，这时 接收者收到的信息量就等于信源状态xi本身含 有的信息量（不确定度），称为信源状态xi的 自信息量，记为I(xi)。 这时，接收到xi所获得的信息量等于信源输出发出的信息量。Date8有噪声信道下的互信息量： 在有噪声信道下，信源发出的状态为xi，接收者 收到的状态为yj，接收者收到yj后，从yj中获取 到关于xi的信息量，就是信源发出xi后，接收者 收到的信息量，称为互信息量。记为I(xi,yj)。 接收到yj后，信源实际发出xi时接收者
5、所获得的信 息量。 由于噪声的干扰，接收者收到的信息量小于信源 发出的信息量。Date9H(xi)为信源状态xi本身具有的不确定性；H(xi/yj)为接收到一个yj后，信源状态xi仍存在的不确定度；收到yj后，信源状态xi的不确定性应有所变化，这个变化量就称为 信源状态xi的互信息量。这个互信息量在什么条件下为大于零？等于零？小于零？Date10（1）信源熵的定义： 信源一个消息状态所具有的平均信息量。 离散无记忆信源的熵（独立熵）：2.2 单符号离散信源的熵2.2.1 信源熵的概念(Entropy)H(X)表示信源发出任何一个消息状态所携带的平均信息量，也 等于在无噪声条件下，接收者收到一个
6、消息状态所获得的平均 信息量。 Date11（2）熵的物理意义：熵的本意为热力学中表示分子状态的紊乱程度；信息论中熵表示信源中消息状态的不确定度；（3）信源熵与信息量有不同的意义；qH(X)表示信源X每一个状态所能提供的平均信息量；qH(X)表示信源X在没有发出符号以前，接收者对信源的平均不确定度；qH(X)表示随机变量X的随机性； Date12熵函数可以表示为：2.2.2 熵函数的性质性质1：非负性； H(X)0 性质2：对称性；性质3：确定性；Date13性质4：连续性；性质5：扩展性；2.2.3 离散信源的最大熵（一）一般离散信源的最大熵 在数学上可以证明熵函数存在最大值，离散信源 的熵
7、函数有n个变量，有一个约束条件，作一个 辅助函数：Date14Hmax(X)=H(1/n, 1/n,1/n)=logn这个结果称为离散信源得最大熵定理。它表明，在所有符号数相同，而概率分布不同的离散信源中，当先验概率相等时得到的熵最大。最大熵的值取决于符号状态数，状态数越多，熵越大。Date15这时可求得离散信源得最大熵为（二）均值受限的离散信源的最大熵在增加一个约束条件的情况下，求离散信源的 最大熵，做辅助函数：Date16加权熵上面定义的信源熵是没有考虑信息的主观因素，也 称为“概率信息”或客观信息。我们可以利用加权 熵描述不同信息对于不同对象的重要性差异。Date17联合信源的概率空间：
8、联合信源可以认为有两个信源X，Y组成：X:x1, x2, xi xnP(X):p(x1),p(x2),p(xi),p(xn)Y:y1, y2, yi, ymP(Y):p(y1),p(y2),p(yi),p(ym)2.3 共熵与条件熵2.3.1 联合信源的共熵(Joint Entropy) Date18联合信源X：x1,x2,x3,xnY：y1,y2,y3,ym多元随机变量的概率。 P(X), P(Y), P(X,Y) P(X/Y) P(Y/X)Date19用这两个信源组成一个联合信源，其联合概率空间为 ： (X,Y):x1y1, x1ym, x2y1, x2ym, xny1,xnymP(X,Y
9、):P(x1,y1) p(x1,ym), p(x2,y1)p(x2,ym),p(xny1)p(xn,ym)其中状态（xi, yj）为联合信源输出的一个状态。Date20联合信源共熵的表达式： 联合信源的共熵：联合信源输出一个组合消息 状态(xi,yj)所发出的平均信息量。 联合信源的独立熵：将联合信源看成两个独立的信源（当然实际上 可能并不是相互独立的）时，各自信源的熵即 为独立熵。Date21概率的基本关系：当X，Y独立时，有p(x,y)=p(x)p(y)。Date22Date232.3.1 联合信源的条件熵(Conditional Entropy)一个联合信源（X，Y）的条件熵定义为： 信
10、源Y（或X）输出任一状态后，信源X（或Y）输出任一状态所发出的平均信息量。Date24以上讨论的信源符号状态的自信息量和信源的熵是描述信源的特性，但是对于一个通信系统来说，最主要的问题是接收者收到信息的能力。在信源与接收者之间是由信道连接的，这里要开始讨论信道的问题。2.4 离散信源的平均交互信息量Date25设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示：规定一个离散信道应有三个参数：q输入符号集：X=x1, x2, . xnq输出符号集：Y=y1, y2, . ymq信道转移概率：P(Y/X)=p(y1/x1),p(y2/x1),p(ym/x1),p(y1/xn)p(
11、ym/xn)2.4.1 离散信道的数学模型Date26离散信道主要有三种描述方法。概率空间描述X=x1,x2,xnP(Y/X)=p(yj/xi) (i=1,2,n; j=1,2,m)Y=y1,y2,ym0p(yj/xi)1这表明信道有一个输入就一定有一个输出。 Date27转移矩阵描述 矩阵P称为转移矩阵或信道矩阵；表示为：P=y1y2 ymx1p(y1/x1)p(y2/x1) p(ym/x1)x2p(y1/x2)p(y2/x2) p(ym/x2) xnp(y1/xn)p(y2/xn) p(ym/xn)P矩阵为一个nm矩阵，其每行元素之和等于1。Date28图示法描述离散信道的图示法描述如图所
12、示。Date292.4.2 X与Y的关系当信道输出一个符号yj时，一定是有一个输入符号xi输入信道。对于给定的信道P，如果已知先验概率p(xi)，则可以求出p(xi,yj)、P(xi/yj)和p(yj)。先验概率；联合概率；信道转移概率；后验概率；Date302.4.3 交互信息量(Mutual Information)定义：信息传输的根本问题是，对于给定的信道计算收到一 个yj后，从yj中获取关于xi的信息量。这个信息量称为互信息量，记为I(xi, yj)。I(xi, yj)=接收yj前接收者对xi存在的不确定度-接收yj后接收者对xi仍存在的不确定度=通信前后接收者对xi不确定度的变化量（
13、减少量）I(xi, yj) =H(xi)-H(xi/yj)=I(xi)-I(xi/yj)Date31交互关系由p(xi, yj)=p(xi) p(yj/xi)=p(yj) p(xi/yj)可以得到如下结果：I(xi, yj)=I(xi)-I(xi/yj)=I(yj)-I(yj/xi)I(xi,yj)=I(yj, xi) 称为交互信息量Date32两个公式由以上两个公式可以看到： 只要已知某一个信源符号的先验概率及相应的转移概率，就 可以得到相应的交互信息量。Date33后验概率与交互信息量已知交互信息量=log(后验概率/先验概率)，这里分析后验概率对交互信息量的影响。 H(xi/yj)=0收
14、到yj后可以准确无误地判断xi，相当于无噪声信道，收到yj获得的信息量就等于xi的自信息量。H(xi)H(xi/yj) 收到yj后判断信源发出xi的概率，大于收到yj之前判断信源发出xi的概率，通信后接收者对信源符号xi的不确定度减少了，获得的信息量大于0。 Date34H(xi)=H(xi/yj)收到yj后判断信源发出xi的概率，等于收到yj之前判断信源发出xi的概率，通信后接收者对信源符号xi的不确定度没有变化，获得的信息量等于0。H(xi)H(xi/yj)收到yj后判断信源发出xi的概率，小于收到yj之前判断信源发出xi的概率，通信后接收者对信源符号xi的不确定度不但没减少，反而增加了，
15、获得的信息量小于0。 Date35离散无记忆信道DMC离散无记忆信道是一种简单的通信信道模型。离散：某一时刻的输入输出为有限的符号集合；无记忆：某一时刻的输出只与这一时刻的输入有关；X: x1,x2,xn Y: y1,y2,ym Date36二元对称信道BSC01101-p1-pppn=m=2Date37二元删除信道01101-p1-qpq?n=2; m=3Date38后验熵H(X/Y)接收者(观测者)收到Y后,对信源X仍然存在的不确定量Date39定义： 交互信息量接收者通过某一个信道P从一个信宿 符号yj中获得某一信源符号xi信息量的问题，但它没有反映一个信道的整体特性，因此，这里定 义平
16、均交互信息量。 对于给定的信道模型；X, P(Y/X), Y，其平均互信息量为：I(X,Y)=H(X)-H(X/Y)2.4.4 平均交互信息量Date40关系：进一步还可以得到： 平均交互信息量给出了信道传输一个信源符号所传 递的平均信息量，对于给定的信道和信源平均交互 信息量是一个确定的量， 平均交互信息量实际上就是接收者收到一个符号通 过信道从信源所获得的平均信息量，因此也称为平 均接收信息量。 Date41利用熵的概念来描述交互信息量： 疑义度 I(X,Y)=H(X)-H(X/Y) 其中条件熵H(X/Y)称为疑义度，可疑度，它表示接收者 收到Y后，对信源X仍然存在的平均不确定度。扩散度（噪声熵） I(X,Y)=H(Y)-H(Y
