《基于ls-svm求解非线性常微分方程组的近似解》由会员分享，可在线阅读，更多相关《基于ls-svm求解非线性常微分方程组的近似解（8页珍藏版）》请在金锄头文库上搜索。
1、基于 LS-SVM 求解非线性常微分方程组的近似解 赵毅 张国山 天津大学电气与自动化工程学院 摘 要： 提出了一种基于最小二乘支持向量机 (LS-SVM) 的改进方法求解非线性常微分方程组初值问题的近似解。利用径向基核函数 (RBF) 可导的特点对 LS-SVM 模型进行改进, 将含核函数导数形式的 LSSVM 模型转化为优化问题进行求解。方法可在原始对偶集中获得近似解的最佳表示, 所得近似解连续可微, 且精度较高。给出数值算例, 通过与真实解的对比验证了所提方法的准确性和有效性。关键词： 最小二乘支持向量机; 非线性常微分方程; 近似解; 核函数; 作者简介：赵毅 (1991-) , 男,
2、 硕士研究生, 主要研究方向为数据驱动, 机器学习。作者简介：张国山 (1961-) , 男, 教授, 博士生导师, 主要从事非线性系统控制理论与智能控制的研究工作。收稿日期：2016-11-21基金：国家自然科学基金资助项目 (61473202) Approximate solution of nonlinear ordinary differential equations based on LS-SVMZHAO Yi ZHANG Guo-shan School of Electrical Engineering & Automation, Tianjin University; Abst
3、ract： An improved approach based on least squares support vector machine (LS-SVM) is proposed for solving nonlinear ordinary differential equations initial value. LS-SVM model is improved by using the differentiable radial basis function (RBF) kernel function and transform the model with derivative
4、form of kernel into an optimization problem to solve. The proposed approach can obtain the optimal representation of the solution in the primal-dual setting and provides a continuous-differential form approximate solution with high precision. In addition, numerical experiments are presented and comp
5、ared with exact solutions to confirm the validity and accuracy of the proposed approach.Keyword： least squares support vector machine (LS-SVM) ; nonlinear ordinary differential equation; approximate solution; kernel function; Received： 2016-11-210 引言非线性微分方程一直以来都是备受关注的研究对象, 近代物理和科学工程计算中的一些关键问题归根结底均依赖
6、于某些特定的非线性微分方程的求解。因此, 对非线性微分方程解法的研究具有重要的理论和应用价值。文献1介绍了利用神经网络算法求解微分方程的方法, 将近似解的形式用神经网络模型代替, 通过调整权值函数对神经网络的权值进行优化, 使得计算的误差函数最小化, 从而获得方程满足特定条件的近似解。文献2讨论了径向基函数网络 (radial basis function networks, RBFN) 求微分方程数值解的计算过程, 优点在于仅依赖于域和边界, 不需要大量的数据即可获得方程的解。文献3, 4利用模糊神经网络模型可以逼近任意非线性连续函数的能力, 通过优化算法获得模型的最优可调参数, 获得微分方
7、程满足求解精度的近似解。文献5提出了一种基于遗传算法的常微分方程求解方法, 实现简单, 快速收敛。此外, 运用最小二乘支持向量机 (least square support vector machine, LS-SVM) 方法求解微分方程也得到了重视。Mehrkanoon S 等人在文献68中提出了运用 LS-SVM 求解线性常微分方程以及广义系统的近似解的问题, 并取得了比较好的效果。文献9改进 LS-SVM 模型, 得到了一类部分未知仿射非线性系统在有限区间上的近似解。文献10在文献9的 LS-SVM 模型中加入滚动时间窗, 同时消除偏置项, 提出了在线无偏 LS-SVM 模型求解一类部分
8、未知仿射非线性系统的实时近似解, 由于系统部分未知, 需要利用方程的真实解对模型进行训练。本文以 LS-SVM 模型处理函数回归估计问题为参考, 对 LS-SVM 模型进行改进, 利用径向基核函数可导的特点, 通过含核函数导数形式的 LS-SVM 模型求解非线性常微分方程组的初值问题, 不仅适用于求解一阶非线性常微分方程, 同时可将高阶微分方程转化为一阶方程进行求解。在保证精度的前提下, 利用本文所提方法可以得到非线性常微分方程组封闭形式 (连续可微) 的近似解。1 LS-SVM作为机器学习的研究热点, 已在模式识别11,12, 回归预测13等领域取得成功运用。在回归问题中, 对于给定的训练样
9、本集 (x i, yi) , i=1, , N, xiR 为样本输入, y iR 为输出。LS-SVM 利用非线性映射函数 (x) 将样本映射到高维特征空间, 从而将原样本空间中的非线性函数估计问题转化为高维特征空间中线性函数估计问题14。回归函数一般用 y (x) =w (x) +b 表示。基于结构风险最小化原则14, 得到 LS-SVM 约束优化模型如下式中 wR 为权向量; () :RR 为非线性特征映射函数;h 为特征空间的维数, 可以是有限维或无限维的;R 为惩罚因子, 用于控制训练误差和模型复杂度之间的平衡, 避免出现过拟合或欠拟合的情况, 使所求得的目标函数有较好的泛化能力;偏置
10、项 bR, 误差 eiR。为了求解上述优化问题, 可引入 Lagrange 函数, 将约束优化问题转化为无约束优化问题, 最终通过求解式 (2) 获得参数的最优值式中 1N=1, 1, , 1R;= 1, 2, , NR;y=y 1, y2, , yNR;R, 其第 ij 个元素可表示为 ij=K (xi, xj) = (x i) (x j) , K (xi, xj) 为满足 Mercer 定理15的核函数。最终, 回归函数的表达形式为2 非线性微分方程组的求解考虑式 (4) 非线性常微分方程组式中 f1, f2为已知的非线性函数;tt in, tf且式 (4) 满足初始条件 x (tin)
11、=p1, y (tin) =p2。本文的目标是求解此类非线性微分方程在已知区间上满足一定初始条件的近似解。当利用 LS-SVM 模型处理非线性微分方程求解问题时, 目标值 yi无法直接使用, 因此, LS-SVM 回归模型无法直接应用。为解决此问题, 将非线性微分方程所包含的信息加入到学习过程中并对核函数的导数进行定义。由 Mercer 定理可知, 特征映射函数的导数可以用核函数的形式表示 (假如核函数充分可微) , 例如, 如下关系式成立假设非线性方程组式 (4) 近似解的具体形式为x (t) =w 1 (t) +b 1, y (t) =w2 (t) +b 2, 其中, w 1, w2和 b
12、1, b2为模型需要确定的未知参数。为获得最优参数值, 本文采用文献16方法, 将区间t in, tf离散化, 得到配置点集tin=t1t2tN=tf, 将此点集作为模型的训练样本。通过 LS-SVM 模型与非线性微分方程近似解及初始条件相结合所构成的优化模型来获得方程在配置点t ii=1处的解。因此, 式 (4) 的近似解可通过式 (5) LS-SVM 优化模型得到式中 i=2, , N;w1, w2为权值向量; 为惩罚因子;e 1, e2为系统误差; 1, 2为 x (ti) 与x (t i) , y (ti) 与y (t i) 之间的误差变量。式 (5) 所描述的是非线性等式约束下的二次
13、最小化问题, 根据 LS-SVM 的求解思想, 可通过构造 Lagrange 函数进行求解式中 Lagrange 乘子 l, l, l (l=1, 2) R。根据 KKT 条件 (karush-kuhn-Tucker conditions) 16, 对式 (6) 中各变量求偏导数并令其等于零, 将所得结果化简整理可得式 (7) 非线性方程组式中 Sij=1K (ti, tj) , i, j=2, , N;式中 I 为 N-1 阶单位阵;O 为 N-1 阶零矩阵;D () 为将矩阵对角化。非线性方程组 (7) 可通过牛顿法进行求解, 最终所得微分方程组的近似解为3 参数整定由于高斯 RBF 具有
14、良好泛化能力且适用范围广, 因此, 选取 RBF 作为仿真实验的核函数, 即式中 为核函数的带宽。LS-SVM 模型的性能在很大程度上依赖于待优化参数的选择, 惩罚因子 以及核函数带宽 取值将直接影响到模型最终的求解结果。为了获得最优的参数值, 首先给定有效参数 (, ) 的取值范围, 其次在验证集上评估系统的性能。验证集取d i= (ti+ti+1) /2, i=1, , N-1, 其中t ii=1为训练点。验证集上均方误差的最小值所对应的参数对即为最优参数 (, ) 。此外, 与 LS-SVM 回归过程不同的是本文未设目标值, 因此, 求解过程不会产生噪声, 不必考虑噪声对结果的影响。4
15、数值仿真为了更好地评价所用方法的性能, 采用均方根误差 (mean square error, MSE) 表示所求得数值解的精确度以单摆为例, 说明如何应用本文所提方法求解非线性微分方程组的近似解。考虑到单摆的非线性振动, 幅角应满足方程x=-sin x, 其中 =g n/l。设x1=x, x2=6) x1, 则设初始值 x0=1.047 2, 0, 时间区间 t0, 10, 摆长为 l=1.0, 取gn=9.806 65。选取不同大小的样本分别对 LS-SVM 模型进行训练求解。将所获得的近似解与通过 ode45 求解器求得的真实解进行对比, 结果如图 1 所示。x 1 (t) 与近似解x
16、1 (t) , x2 (t) 与近似解x 2 (t) 之间的误差如图 2 所示, 不同训练样本下模型的求解精度如表 1。从图中可以看出, 非线性微分方程组近似解的变化与真实解的变化基本保持一致, 两者之间存在较小的误差, 因此, 利用 LS-SVM 方法求解非线性微分方程组所得近似解具有较高的精度。通过增大训练样本点的个数, 模型的均方差不断减小, 因此, 适当地增大训练样本, 可以提高求解的精度。但超出一定范围后, 再增大训练样本, 模型的求解精度不会再发生显著变化, 反而会增加求解的时间。图 1 N=100 时真实解与近似解比较 下载原图图 2 N=100 时真实解与近似解误差 下载原图表 1 不同训练样本下求解精度 (MSE) 下载原表 通过数值仿真可
