性能曲线和最优点

《性能曲线和最优点》由会员分享，可在线阅读，更多相关《性能曲线和最优点（3页珍藏版）》请在金锄头文库上搜索。

1、神经网络设计 （美） Martin T. Hagan Howard B. Demuth Mark H. Beale 著 戴葵等译第八章 性能曲面和最优点性能指数：衡量网络性能的定量标准。性能指数在网络性能良好的时候，是很小的，反之则很大。在这里我们假设性能指数是已知的，以后讨论性能指数的选择方法。优化过程的第二步是搜索减小性能指数的参数空间（调整网络权值和偏置值）。1.泰勒级数用函数F(x)表示要最小化的性能指数，其中x是要调整的参数。假设F(x)的各级导数均存在。那么F(x)可表示成灾某些指定点x*伤的泰勒级数展开。通过泰勒级数展开项的数量，可以用泰勒级数近似估计性能指数，例如设2.向量的情

2、况神经网络的性能参数并不是一个纯量x的函数，它是所有网络参数（各个权值和偏置值）的函数，参数的数量可能是很大的。因此要将泰勒级数展开形式扩展为多变量形式。这个函数在x*的泰勒级数展开为这个表达式有些复杂，可以写成矩阵形式这里为梯度，定义为为赫森矩阵，其定义为：3.方向导数梯度的第i个元素，是性能指数F在轴的一阶导数，赫森矩阵的第i个对角元素是性能指数F沿轴的二阶导数。这就要求我们能够求出函数在任意方向上的一阶、二阶导数。设为沿所求导数方向上的 一个向量，此方向导数可由下式求出：沿的二阶导数也可以写成我们观察上面的两个式子会发现，分子部分是方向向量与梯度的内积，所以，最大斜率出现在方向向量和梯度

3、同向时。4.极小点强极小点 如果存在某个纯量，使得当时，对所有都有成立，这个点称为的强极小点。换句话说，从一个强极小点出发，沿任意方向移动任何一个小的距离都将使增大。全局最小点 如果点使得对所有的都成立，则称该点为全局最小点。对于一个强极小点，在较小的邻域之外可能会存在比更小的点，故又称局部最小点。对于一个全局最小点，在参数空间内任何其他点的值都比大。弱极小点 一个弱极小点，无论向任何方向移动，函数值都不会减小，但可能沿某些方向的值不变。5.优化的必要条件定义了最优点后，必须给出这种点需要满足的条件。此处 （1）一阶条件 要使为极小点，则要使函数在时增大或不减小。这就要求但是，如果这一项为正，即 ，则推导出：这是自相矛盾的。所以，只有唯一选择所以一个极小点处的梯度一定为零，这就是局部极小点的一节必要条件。这个点称之为驻点。（2）二阶条件 函数在驻点处的梯度为0，由泰勒级数的展开式可得：要使上式对于任意的成立，赫森矩阵必须为正定矩阵。正定矩阵定义为：对于任意的向量有如果对于任意向量，有则称为半正定矩阵。如果所有特征值为正，则矩阵为正定矩阵，如果所有特征值不为负，则矩阵为半正定矩阵。