通信的数学理论

《通信的数学理论》由会员分享，可在线阅读，更多相关《通信的数学理论（6页珍藏版）》请在金锄头文库上搜索。

1、通信的数学理论克劳德香农著近年来的多种调制方法，例如PCM（脉冲编码调制）和PPM（脉冲相位调制），它们都是通过带 宽和信噪比之间的交换，增加了人们对通信普遍理论的兴趣。在奈奎斯特和哈特莱有关这方 面的重要文献奠定了该理论。在本文中，我们将推广该理论，使它含有一些新的因素，特别 是信道中噪声的影响，和利用原始消息的统计结构和最终受信者的性质来改善通信的可能 性。通信的基本间题是在一端精确地或者近似地复现另一端选择的消息，通常这些消息是有 意义的。那就是说它们按照某一系统与特定的物质或概念的实体相互联系。通信的语义方面 与工程间题是没有关系的，重要的方面是一个实际消息是从一组可能的消息集里面选择

2、出来 的，系统必须被设计成对所有可能的选择都能工作，而不是只适合工作于某一种选择，因为 在设计时这是不知道的。如果集合中消息的数目是有限的，则这个数目或这个数目的单调函数能被用来作为当一 个消息被选出时所产生信息的度量，所有选择都是等概率的，正如哈特莱指出的，最自然的 选择是取对数函数。肃然当我们考虑到消息统计特性的影响和当我们有一组连续的消息，这 一定义必须大大的推广。但是我们在所有的情况下采用本质的对数度量。对数度量更方便是因为有以下几个原因；1. 实用性。工程上的重要参量，如时间，带宽，中继器的数目等，都趋于随可能数目 的对数关系作线性变化。例如，在一组中继器中增加一个中继器则可能的状态

3、就增 加1倍。这个数目以2为底的对数加1,时间加倍使得消息的数目成平方增加或是数 目对数的2倍。2. 相对于合适的度量，对数更直观。这与（1）密切相关，因为我们用与普通标准进行线 性比较的方法来直观地测量事物。例如，我们感觉两张凿孔卡应该具有两倍于一张 凿孔卡的信息量，两个完全相同的信道信息容量是一个信道的一倍。3. 它在数学上更合适。很多极限运算在对数方面要简单的多，但如果用可能性的数目 那就要求笨拙的重述。对于对数基底的选择与信息度量的单位选择相一致。当基底是2时，所得到的单位可称 为比特，这个字由TUKEY建议的，一个双稳态设备，如中继器或者触发器，能存储一个二 进制单位的信息，N个双稳

4、态设备就可以存储N比特，因为可能状态的总数为 ，而11- 。如果取基底为10，则单位被称为十进制。因为凫一1加烦H叫烦N 一弘挝故一个十进制单位约为一个二进制单位。一架台式计算机有十个稳定状态，因此有一 个十进制单位的信息存储量。在含有积分和微分的分析计算中，有时候取基底e，所以所得 的单位叫自然单位，把基底a换为基底b仅仅需要乘以匹就可以。通信系统可以用图1表示，它包含五个基本部分；iW 林汁化/ 叫一二与哙H刖1侃性Vi斤图1； 一般通信系统的示意图1. 信息源。它产生将要传输给接收端的消息或消息序列。消息可以有各种类 型;(a)在电报通信系统中的一系列字母。(b)如电话或无线电中的单独时

5、间函数f(t)(c)如 黑白电视中的时间函数和其它变量，在这里，消息可以看成是二维空间和时间函数 f(x,y,t),即在t时刻摄像管上(x,y)点的光。(d)两个或更多个时间函数f(t)，g(t)，h(t)。 例如在彩色电视中消息是由三个所谓的三维连续函数f(x,y,t)，g(x,y,t)，h(x,y,t)，组成的， 我们可以把这三个函数定义为在这个区域上的矢量场的分量。同样，几个黑白电视源 可以产生由几个三变量的函数所组成的消息。(f.)各种情况的组合，例如在电视中配有 声音信道。2. 发送机。它是采用某种方法把消息变换为适合于信道上传输的信号。在电话 中，这个工作就是把声压编程相应的电流。

6、在电报中，这个工作就是把消息变换为点， 划，间隔序列的编码工作。在多路脉冲编码调制系统中，不同的语言函数必须经过取 样，压缩，量化和编码，而且最最后构成交叉信号。除此之外把消息变成相应信号的 例子还有自动语音合成系统，电视和调频等。3. 信道。它是发送机到接收机之间用以传输信号的媒质。它可以是一对导线， 一条同轴电缆，一段射频的频带，一束光线等等。在传输过程中，或在某一个端点上， 信号都可能被噪声所干扰，这种噪声干扰的作用可以看做一个噪声源作用在所传输的 信号上构成接收机的信号，如图1所示。4. 接收机。它通常完成与发送机相反的工作，把信号重新构成消息。5. 消息收受者。是接受消息的人或物。我

7、们将研究关系到通信系统的某些一般间题。为此，首先必须通过理想化，把各 单元用数学来表示。我们可以粗略地把通信系统划分为三个主要类型;离散的，连续的 和混合的。离散系统指的是消息和信号都是离散符号的序列。典型的情况是电报，其 中，消息是字母序列，而信号是点，划和间隔的序列。在连续系统中，信号和消息都 是连续函数，例如无线电话和电视。在混个系统中，离散的和连续的变量都有，例如 传输语言的脉冲编码调制系统。我们首先研究离散情况。这种情况不但可用于信息论，而且也可用于计算机理论， 电话交换的设计以及其他场合。此外离散情况也是研究连续和混合情况的基础，后者 将在本文后半部分讨论。第一部分无噪声的离散系统

8、1. 无噪声的离散信道电报和电传打字机是用来传输离散信息的两个简单例子。通常指的离散信道 是这样一种系统;它能把选自有限基本符号集合金金土的序列从一方传输到另一方。假设每个符号熟持续时间为持续的时间为 秒(不同的，其t:不一定相同， 例如电报中的点和划)。其实，并不要求所以可能的符号序列都能在系统上传输，而只 要求某些序列能够获得传输，这就是对信道的可能的信号。在电报中假设基本符号是;(1) 点，它是由一个单位时间的线段和一个单位时间的间歇所组成;(2)划，它是由三个单位 时间的线段和一个单位时间的间歇所组成;(3)字母间隔，它是由三个单位时间的间歇组 成；(4)单词间隔，它是由六个单位时间的

9、间歇组成。我们可以对序列加以限制，即不允 许有间隔相连的情况，因为两个字母间隔连在一起时会变成一个单词间隔。现在我们 要考虑的间题是，采用怎样的方法来度量这种信道的容量(或称为信道的传输能力)。在打字电报，所有的符号都具有相同的持续时间，并且由32个符号所构成的任何 序列都被允许传输。每个符号都代表五个二进制单位的信息。如果系统每秒能传输T1 个符号，则可以自然地认为此信道具有每秒5n个二进制单位的容量。这并不是说，打 字电报信道经常能以这个速率传输信息，这是最大可能的速率，实际上未必能达到这 个最大值，下面将谈到，它取决于信道输入端上的信息源。在一般的情况中，各符号有不同的长度，并且允许的序

10、列是有限制的，我们可以 给出下面的定义;离散信道的容量C为其中N(T)是时间间隔T内允许信号的数目。很容易看出，在打字电报中这将简化为前面的结果。可以证明，在大多数情况中，极限是存在的。假设符号金的所有序列都是允许的，并且这些符号的 持续时间为一那么这种信道的容量是多少呢?如果N(T)表示t时间内序列的数 目，则即这个总数等于终端符号为3上-山，的序列数目的综合，并且这些数分别为；W【.)-W 匕)，-M tn)根据有限差分运算，在t很大时，N(t)就渐近于是下列特征方程式的最大实数解;X h十汽她十-十上r- - I故该信道的容量为；UK心 j当允许的符号序列有限制时，仍然经常可以得到这种形

11、式的差分方程式，并可以从特 征方程式求得C例如，在上述的电报情况下，则；为十国1)十W 5)十理T)十MLU)这正和按最后一个符号或最后第二个符号计算符号序列的结果一样。所以c为， 其中是心 十 户 I + 心 + 尸.IJ的正根。解上式，得C=0.539。下面是允许序列的一般限制形式。我们假想有一系列可能的状态。在 每个状态下，只有3 -上“集合中的某些符号可以被传输（这些是不同状态的不同子 集）。当其中某一符号被传输后，状态就转变为新的状态。电报情况就是一个简单例子。它 有两个状态，取决卜终端符号是否是间隔。如果是间隔的话，那么下一个传输的只能是点或 划这两个符号，并且状态总发生变化。如果

12、不是间隔，那么任何符号都可以传输，而且状态 只能传输间隔符号后才会转变，否则状态不变。所有这些都可用图2来表示。图中结点代表状态，而线条则表示一状态中的可能符号和它即将转成的状态。在 附录I中将证明，如果加在允许序列上的条件可以用这种形式来阐述时，那么信道容量C将 存在，并可用下列定理来计算;定理1；设 是第 个符号的长度，这个符号的状态是可允 许的，并且将转移到J状态，则信道容量C等于logW，其中W为下列行列式方程式中的最 大实数根；如果i=j，则其中七如果 ，贝。例如，在电报情况下（图2），其行列 式为;(H ：s+ H V (11- -FU J L)展开这个行列式将可得到上面那个限制方

13、程式。2. 离散信息源我们已经看到，在很普遍化的条件下，离散信道中的可能信号数目的对数将随时 间作线性增长。因此传输信息的容量可由这个增长速率来确定，即对某一信号需要每秒多少 个二进制单位数。现在我们来讨论信息源。怎样利用数学来描述信息源? 一个给定的信息源究竟能产生多 少个二进制单位的信息？本文的要点在于研究在采用合理的编码以减少对信道容量要求方 面，有关信息源的统计知识有什么作用。例如，在电报中。所传输的消息是由字母序列组成 的，但是这些序列并不是完全随机的。通常，它们构成句子而且还是有统计结构例如英文统 计结构的句子。字母E的出现要比Q经常的多，序列TH的出现要比XP出来的多等等。这 种

14、统计结构的存在，允许我们采用合理的编码来节省时间（或信道容量）。其实，这种措施在 电报中，已经在一定程度上被采用了。它用最短的信道符号一点来代表最常用的字母E,而 不常用的字母Q，X，Z，等则用较长的点划序列来表示。这种概念在某些商用电码中得到 了进一步的改进，它采用四个到五个字母所组成的码组来表示最常用的单词和短语，因而大 大地节省了平均时间。现用标准化的间候语和节日贺电中则更简化到整个一句话或两句话用 很短的一个数字序列的编码来表示。可以这样设想，离散源是一个符号接着一个符号地产生消息的。连续符号的选择是根 据某些概率，通常这些概率取决于前面符号的选择及待选择的符号。任何一个能产生由一组概

15、率控制的符号序列的物理系统或物理系统的数学模型都可以称为随机过程。因此，我们可 用随机过程来表示离散源。反过来，任何从有限集中选择符号而产生离散符号序列的随机过 程都可看成离散源。这包括下列一些情况；1. 自然语言如英语，德语，汉语。2. 经过某些量化处理而离散化的连续信息源。例如，在脉冲编码调制发送机中量化以 后的语言，或量化以后的电视信号。3. 在数学上抽象定义的随机过程，该随机过程能够产生序列。下面是最后一种信息源 的例子。(A)设有五个字母A,B,C,D,E，各以概率U.2独立选取，这样就会导致如下典型序列；BDCBCECCCADCBDDAAECEEAABBDAEECACEEBAEEC

16、BCEAD.这个例子是用随机数表构成的。(B) 采用同样五个字母，令概率依次为U.4 ,U.1 ,U.2 ,U.2 ,U.1，各个字母的选择仍是独立的，那么从这种源得到的典型消息为；AAACDCBDCEAADADACEDAEADCABEDADDCECAAAAAD.(C) 如果前后字母的选择是不独立的，它们的概率还取决于前面的字母则就得到一 个比较复杂的结构。这种类型的最见到情况是每一个字母的选择只与前一个字母有关， 与更前面的字母无关。则统计结构可以用转移概率1一二来描述，八芸表示字母i后出 现字母J的概率。i和J表示符号索引。另一种描述统计结构的等效方法是采用两个字 母(i, j)的联合概率*!，即两个字母一起出