《时间序列分析与动态数据建模》由会员分享，可在线阅读，更多相关《时间序列分析与动态数据建模（25页珍藏版）》请在金锄头文库上搜索。
1、第五章目录第五章 极大熵谱估计 .15.1 谱熵和极大熵准则 .11问题的提出 .12高斯过程的熵和熵率 .13功率谱和熵率的关系 .35.2 极大熵准则的谱估计 .65.3 极大熵谱估计的伯格算法 .95.4 极大熵谱估计的 LSLUD 算法 .161第五章 极大熵谱估计1967 年伯格(JP Burg)刚一发表：极大熵谱分析”的方法就在工程和科技界产生很大影响，成为相当流行的功率谱密度估计方法。伯格在谱估计准则的提出和具体算法上有所创新，由此演变出来的算法有很多种，被统称为“现代谱分析” 。5.1 谱熵和极大熵准则1问题的提出从 19 世纪未舒斯特(Schuster) 在利用富氏级数分析信
2、号隐含的周期特性时提出了“周期图” ，到 1985 年由伯来克曼和杜奇提出了谱估计的“间接法”和 1965 年 FFT 算法提出后流行的“直接法” ，它们本质上都是把原序列经过开窗截取处理来获得对序列谱密度的估计。不论对数据加窗还是对自相关函数加窗，其目的都在于使谱估计的方差减小，然而加窗不可避免地产生频域“泄漏” ，使功率谱失真，尽管在窗函数形式的选择和处理方法上做了很多分析研究，使得以周期图为基础的方法达到相当成熟和实用的程度，但是任何抑制旁瓣的方法都是以损失谱分辨力为代价的，这个难题在数据量少的情况下更为突出。问题的实质是：在周期图估计中，我们对数据或是它的相关函数所做的加窗处理，等于是
3、假定在窗口外数据(或自相关 )为零，而窗口内的部分则加上某种形式的修正。这些人为措施使来自观察的信息受到了一定程度的歪曲。伯格提出的新概念是；和估计的功率谱相对应的自相关和由观察数据算得的自相关一致，同时对已有的区段之外的自相关值采用外推的办法求取，而不是一概假定为零，外推的原则是使相应的序列在未知点上取值的可能性具有最大的不确定性，亦即不对结果人为地强添任何增加的信息。数学家申农最早提出“熵”的概念，在统计学中用它作为各种随机试验的不肯定性程度的度量。在热力学和信息论中， “熵”都有其具体的物理背景和应用。后面介绍将会看到，满足熵极大的谱估计是自回归模型的谱。1971 年凡登包士（Van D
4、en Bos）证明，一维极大熵谱估计和自回归谱的最小二乘估计是等效的。尽管如此，伯格关于熵谱估计的概念和他对自回归参数的递推算法却独树一帜，随后还有人提出了各种改进算法，但要注意把极大熵概念本身同等法区别开来。2高斯过程的熵和熵率 假定我们研究的随机试验 a 只有有限个不相容的结果 ，它们相应的概率12,nAL为 ，且满足 ，简单描述如下：12(),()nPAPAL1()niip12,:,()nAPPL2申农找到并证明了可以用 这个量来度量 的不肯定性的程度：()H1log()niiiPA或简写成： 1()lniiHp称为试验 的熵()H当随机变量的可能取值是连续的，则 H 定义式中的和式用积
5、分代替(5-1-1)()loglog()pxdxEpx其中 为随机变量，对数可以取 10 或取 e 为底，在比较熵的大小时并没有影响，()px下面为计算方便均以自然对数 ln 来定义，如 x 为正态随机变量，则有2/()1()xxe(5-1-2)12xHne进一步，如果讨论的是时间序列的实现 则这一过程的熵用下面 N 维积,NL分表示：(5-1-3)()lnpxd其中 是联合概率密度函数 ，若时间序列是高斯的，则()px12(,NL(5-1-4)1/ 1()det()()2NxxTxpxRR其中 为自协方差阵xR(5-1-5)(0)1(1)(0)2(1)2(0)xxxxxxNRRN LL它的
6、i 行 j 列元素为 的均值， 表均值)(),xiixifjiE为 或 x向量。将式（5-1-4）代入式（5-1-3）求过程 x 的熵3(5-1-6)1/2 111()2det()()1lnt()2(de)ln21lnt2N Tx x xxNx xxxHplRpRdtrPRte 式（5-1-6）就是长度为 N 的正态时间序列的熵。若有正态白噪声 （方差为 ） ，则2112(,)()(lndetlnlNNPppRLL可求得其熵为(5-1-7)12l()()lnNHEe 由于 H 随 N 增长而发散，定义熵率 h 为(5-1-8)limH故白噪声过程的熵率为(5-1-9)2loe3功率谱和熵率的关
7、系 下面给出功率谱和熵率间的一些重要性质和关系。（1）如果随机向量 是随机向量 ，则由于12(,)NyyTL12(,)NxxL(5-1-10)A其中 A 是 NN 非奇异矩阵， X 的联合概率密度为 ，则由于12(,)Npx(5-1-11)1212(,),NpyLL可得(5-1-12)121212,(,)ln,ln,lln(,)lyNMNHypxEAxpxLL4（2）若 是一个稳定的因果系统的输入，该系统的传递函数为 G(B)（这在单位园内tx无极点） ，系统单位脉冲响应为 。设 在 时开始输入，因而系统输出 是平稳的，tgtxty以 xyhxy和 分 别 表 示 和 的 熵 率 ， 则(5-
8、1-13)1/22()yxhnGf 其中(5-1-14)2exp(2)()jfBjfGfe证明：若 在 t=0 时开始输入，则系统输出为tx(5-1-15)1itigyx。式（5-1-15）是随机变量 通过线性变换 Axttyt时 趋 于 平 稳 的 01,txL成为随机变量 ，这里,L01t010ttgAgLK1de根据式(5-1-12)得 0()lnxyHtg除以（t+1）并令 则t0lyxh现在只要证明 等于式（5-1-13）中的第二项积分就够了。由于0lng， 情况下有2()Gffexp(2)Bjf12 11lnlnGfdGBdj-顺这里的线积分是沿单位园进行的，因 11llB-1顺
9、顺5故式（5-1-13）中的第二项积分等于 ，所以需要证明1ln2BGdj顺 10lnlgj顺由于 G(B)在单位园内是解析的，所以上式中的积分路线可以任意小，当。故上式右边等于 ，0BGg时 1000lln2ln2Bdgjgjj顺证明完成。（3）若 是正态过程，其功率谱 满足txxGf(5-1-15)12lnxf则有(5-1-16)12llx xheGfd注： 顺 逆和 分 别 表 示 顺 时 针 和 逆 时 针 方 向 的 围 道 积 分 。这一结论是不难看出的，因为非白正态过程的功率谱密度 可以看作是方差为 1xf的白噪声通过频率响应模的平方等 的线性系统所产生的过程的谱，因此利用式（5
10、-xGf1-13）和（ 5-1-9）就可导出式（ 5-1-16） 。式（5-1-16）给出了过程的功率谱密度和它的熵率之间的关系式，由于右边第一项是常数，比较 的大小等价于比较第二项积分的大小，因此称 的xh 12lnxtGfdx为 序 列谱熵，并以它作为推导极大熵谱估计的出发点。例如已知过程 的方差为 ，即tx(5-1-17)12xGfd要导出能使 为最大的功率谱 。这个问题可以通过求泛函极值来解决。以 表拉xhx 格伦日乘子作泛函 121212()lnxxxJfdGfd其变为61212(ln()()xxx dfxxxxJGJGGfdf达到极值的条件为 ,故应有 代回式（5-1-17）可得
11、，0J1G ()xxf即 必须为常数 ，因此只有当过程为白噪声时才能使熵率达到最大，这里约束条()xGfx件是方差为 。x5.2 极大熵准则的谱估计根据伯格所提出的概念，功纺谱密度估计的准则应当是：设 表示估计的谱，则它在满足约束条件()xGf(5-2-1)122()()jfrxedR Mr的同时，应使谱熵 达到极大，其中 是 的正、实、偶函数，这样12lnf()xGf对应的 R(r)自然也是 r 的偶函数。下面论证满足以上要求的 所应具有的形式。()xf设已知自相关函数 R(r)在 内的 2M1 个值，以 表拉格伦日乘子作泛Mr函 12 22112()ln ()jkfxx xKjfMJGfd
12、GedRf2122l()jkfx xKjkfxx dfJeGdfGf 由 得0J(5-2-2)2()jkfxfeMK=- 1这里应有7(5-2-3)以保证 是实的。将式（5-2-2）代入式（5-2-1）得()xGf(5-2-4)21jkfeRrdMK=-()0rM用后移算子 代替变量 ，上式所写成2jkfBef1 10() 2r rMMk kKKrBRrddj jB顺 逆(5-2-5)该积分沿 B 平面单位园进行，基于式（ 5-2-3）有(5-2-6)*1MkMKB其中： *10kM0mkKB不难看出 1*1*010*010MBMMmaaBLL故 0Mkiia多项式 的全部零点均在 B 平面单位圆外，而 的全部零点均在单位B*1MB圆内，两部分零点是互为倒数分布的。将式（5-2-6）代入式（ 5-2-5）得1*1()2rMRrdj逆 0r构造和式8
