《Informationtheory(信息论与编码)》由会员分享，可在线阅读，更多相关《Informationtheory(信息论与编码)（15页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码总结1. 关于率失真函数的几点总结原理(需要解决什么问题？或者是受什么的启发，能达到什么目的)。与无失真信源编码相比，限失真信源编码的原理是什么？我们知道无失真信源编码是要求使信 源的所发送的信息量完全无损的传输到信宿，我们常见的编码方式有哈夫曼编码、费诺编码和香农 编码。他们的中心思想是使序列的中0和1出现的概率相等。也就是说长的码字对应的信源符号出现的概率较小，而短的码字对应的信源符号出现的概率较大，这样就能实现等概。若编码能实现完 全的等概，则就能达到无失真的传输。此时传输的信息量是最大的，和信源的信息量相等，此时传 输的信息速率达到信道容量的值。(其实这是编码的思想，与之对
2、应的为限失真编码的思想。香农本人并没有提出明确的编码方法，但是给出指导意义)与无失真的信道相比，如信道存在一定的损耗，即表明有传递概率。此时我们换一个角度。我们使信源概率分布固定不变，因为平均交互信息量？?(?務?是信道传递概率？?(?/?的下凸函数，因此我们设想一种信道，该信道的传递概率？?(?/?能使平均交互信息达到最小。注意，此时的传递概率?(?/?就相当于“允许一定的失真度”，此时我们能这样理解：即在允许的失真度的条件下，能使平均交互信息量达到最小，就表明我们传输的信息可以达到最小，原来的信息量还是那么大。现在只 需传输较小信息，表明压缩的空间是非常大的。无失真压缩和限失真压缩其实是数
3、学上的对偶问题。即无失真压缩是由平均相互信息量的上凸性，调整信源概率分布，使传输的信息量达到最大值？这个值就是信道容量。(信道容量是不随信源概率分布而改变的，是一种客观存在的东西，我们只是借助信源来描述这个物理量，事实上也肯 定存在另外一种描述方式。)限失真压缩则是相反，他考虑的是信源概率分布固定不变，是调节信道 转移概率的大小，使平均交互信息量达到最小。此时信道容量还是相同，只是我们要传输的信息量 变小了，(时效性)有效性得到提高。问题自然产生，允许“一定的失真条件”是怎么衡量的？平均交互信息量与传递概率到底是什么样的 函数关系？为了理解上的方便，我们先讨论简单的BSC信道。同时度量的标准采
4、用汉明失真矩阵来度量。我们需要解决的概念是？?？?？?？?？?(?等。还能够画出R(D)随失真度D的函数曲线关 系(至少要描3-4个点)。例：对于某个BSC信道，信源概率空间为:(?(?) = (? 1 - ?1/2，规定失真度为汉明失真度，即其汉明失真矩阵为?=【0(1 )?和?(?根据公式可得?=刀？(？ ？?？?(?？ = 3 ?0 + (1 - 3)?0 = 0?=?得到满足保真度准则为 ?= ?= 0.因此？?？= ?0) = ? = ?(?)表明在失真度为 0时, 即相当于没有损失，要传输的信息量即为信源熵。(2) ?和 ?(?根据公式可得?= ?瓦？?？(?？?= m?n (1
5、- ?;?=?=?即是满足保真度准则 ?= ?= ?条件下，？?= ? = ?= ?g?- ?(?/?)这时必须 记住，构造的试验信道是满足 平均交互信息等于 0的条件。即此时？?= ? = 0为什么？即 是说，在保真度要求很低，此时相当于信道独立，不需要传输任何信息。但是这种情况也不可取， 因为没有意义。(3)?(?)此时我们来看一般的情况，两种极端我们都分别验证了。不失一般性，可以这样理解平均失真度。可以理解为信道把符号 ？賢?= 0,1,r)错误的传输为符号？?労？?的错误传递概率。即错误概率？初? H?工?(?？?。对于?个符号信源来说，平均失真度？?就等于信道的平均错误传递概率?,即
6、? ? ?=刀刀？(?)?？(？?？=刀？?(?刀?(?/?=刀？?(?刃?？ ?=1 ?工?=1?工?=1?=?= ?- ?/? ?;?;?=?(?=? ?-?(?) A 7 V对于一般的二元离散无记忆信源？来说，r = 2，所以？ = ?:? - ?.因此，在概率分布为(?,1 - ?)(? 1/2)的二元离散无记忆信源 ？?在汉明失真度下的信息率-失真函 数?3 = ?彳？)-?,?客? ? / V 7?-? ? ?/?/?当r=2时，此时表明在汉明失真度下，二元等概离散无记忆信源X的信息率-失真函数为:? = ?. ?(? ? ?/? ?.? TX 实际求解条件熵？?(?/?？?-?)
7、在?TX时的极限值，就相当于把信源X当作无限记忆长度的信源来处理(unbelievable, harsh!).然而对于某些特殊的离散平稳有记忆信源，如马尔科夫(Markov)信源，不需测定无穷多维条件概率和联合概率，就可求出条件熵？?(?？/?-?在? t X时的极限值，极限熵?.马尔科夫信源的特征：信 源序列中某个符号只于前面m个信源符号有关，与更前面的符号没有任何关系。这种信源序列 X称为m阶Markov信源(简称m-M信源)。其是有记忆信源，但是记忆 不会延伸至无限长， 只有m阶。离散平稳m阶Markov信源的消息的n步转移概率矩阵p(n),等于 消息的一步转移概率矩阵P的n次连乘.即有
8、? = ?离散平稳各态历经的 m-M信源X的符号集X: ?，则离散平稳各态历经m-M信源的X的极限熵？X即卩?X = ?(?+?/?. ?)我们考试中遇到的有记忆信源都是马尔科夫信源，不会是无限长记忆的信源，那样根本不现实，计算太复杂了。另外也只会出现2次扩展，2次扩展的信源其是就可以理解为 2阶的马尔科夫信源，这样我们计算极限熵就可以直接等于条件熵，这就是理论来源。在实际的解题中也会经常会给出条件转移概率，然后需要联立方程组求解每个消息的概率。为什么要联立方程组？其实这也是各信源 符号之间还存在相互依赖关系的体现，只有通过联立求解才能得出结果。例如，某个信源概率空间分布未知，但是已知条件转移概率矩阵如下P = (0.90.1)(0.20.8)矩阵的含义为：p(ee1)=0.9, p(e2/e”=0.1, p
