《相关向量回归元建模关键技术及其应用研究》由会员分享，可在线阅读，更多相关《相关向量回归元建模关键技术及其应用研究（153页珍藏版）》请在金锄头文库上搜索。
1、国防科学技术大学 博士学位论文 相关向量回归元建模关键技术及其应用研究 姓名：吴冰 申请学位级别：博士 专业：控制科学与工程 指导教师：梁加红 2011-01 国防科学技术大学研究生院博士学位论文 第 i 页 摘 要 仿真技术是复杂系统建模与分析的必要手段，广泛应用于系统设计、性能评 估与决策支持过程。在现代复杂系统仿真优化研究中，由于仿真模型呈现的高维、 高非线性和多极小特性，使得基于仿真模型的性能评估的计算开销过大，往往难 以承受。仿真元建模技术通过建立仿真模型的回归元模型，有效改善仿真优化的 运行效率，已成为当前系统仿真领域的研究热点。仿真元建模问题可归结为一类 有约束条件的、可以主动获
2、取样本点的小样本机器学习问题。本文从元建模技术 在仿真优化问题中的应用需求出发，将目前关于小样本统计学习与预测的贝叶斯 机器学习理论相关向量回归（Relevance Vector Regression，RVR）引入到元模 型建立中来，并根据相关向量回归的特点，借鉴机器学习领域的研究成果，有重 点地选择了元建模中的几个关键技术问题展开研究。本文研究内容及创新点如下： 1、将仿真元建模问题归结为一种小样本机器学习问题，提出将相关向量回归 引入到仿真元建模中来，并将相关向量回归元建模方法与多项式回归、Kriging、 径向基函数和支持向量回归四种元建模方法进行对比研究，分析相关向量回归元 建模方法的
3、适应特性。 2、 针对 RVR 元模型存在的核函数选择问题， 将多核学习方法引入到 RVR 中， 提出了基于进化算法的RVR元模型多核函数优化方法。 按照多核函数的组合形式， 将其分为线性多核函数和非线性多核函数两种情况。对于线性多核函数，本文采 用一种文化基因算法对线性多核函数进行优化，实现了线性多核函数权重和相关 核参数的同时优化。对于非线性多核函数，考虑其形式的不确定性，对其采用树 状编码方式，利用遗传规划方法对多核函数组合形式进行优化。仿真实验结果表 明，在预测性能上，线性多核函数和非线性多核函数均优于单一核函数。 3、为了改善元建模的适应能力和泛化能力，提出了一种 RVR 元模型的集
4、成 学习算法。 该方法采用 Bagging 算法与多核函数选择相结合的二重扰动机制来产生 具有差异度的个体学习器，然后利用文化基因算法对个体学习器进行选择性集成。 仿真实验结果表明，在多数情况下，该方法能够以较少数量的 RVR 个体学习器， 改善 RVR 元模型的泛化性能。 4、为满足在线元建模需求，提出了一种基于集成学习的 RVR 元模型增量学 习算法。在增量训练阶段，对于每个新增样本子集，将上一步中得到的相关向量 与新增样本结合在一起，用于新的个体学习器的训练；在预测阶段，根据所有个 体学习器在预测点的 K 个最邻近训练样本点的预测误差，动态选择在预测点的最 优个体学习器或者动态确定在预测
5、点上各个个体学习器的权重，以此组合成集成 学习器，用于在该点进行预测。仿真实验结果表明，在多数情况下，该方法可减 国防科学技术大学研究生院博士学位论文 第 ii 页 少训练时间，同时不降低预测精度，但其预测时间开销相应增加。 5、基于完成的 RVR 元模型基础研究工作，提出了基于 RVR 元模型的仿真优 化方法。具体而言，提出了基于 RVR 元模型的单目标和多目标遗传算法，通过 Wi-Fi 网络吞吐量优化问题和多目标优化算例初步验证了算法的有效性；以无人机 通信网络仿真系统为背景，利用提出的 RVR 元模型仿真优化方法对无人机通信网 络协议进行性能优化，实验结果证明了所提出的仿真优化方法的有效
6、性与可行性。 关键词：元模型；元建模；相关向量回归；多核函数；文化基因算法；集成 学习；增量学习；仿真优化 国防科学技术大学研究生院博士学位论文 第 iii 页 Abstract Simulation technology is an essential tool for complex system modeling and analysis, which is widely used in the system design, performance evaluation and decision support. Due to the simulation model with high
7、 dimension, high nonlinear and multi-modal characteristic, the simulation-based performance evaluation is too expensive to be accepted in the complex system simulation optimization research. Simulation metamodeling technique is often used to model the computation intensive simulation model in order
8、to improve efficiency and has become an emerging hot point in the field of system simulation. The simulation metamodeling can be described as a sort of constrained small-sample machine learning problems, which are able to gain sample points actively. For the metamodeling requirement of simulation op
9、timization, this dissertation introduces Relevance Vector Regression(RVR), currently the Bayesian machine learning theory about small sample statistical learning and forecast, into the simulation metamodel building. Combing the newest technique in machine learning, several key problems in simulation
10、 metamodeling are studied. The main contents and innovations of this thesis are as follows: 1. The simulation metamodeling is described as a small sample machine learning problem. RVR is introduced into the construction of the simulation metamodel. And the RVR metamodeling method is compared with Po
11、lynomial Regression, Kriging, Radial Basis Functions and Support Vector Regression metamodeling. Then its applicability is analyzed. 2. The evolutionary algorithm based RVR multiple kernel function optimization method is presented to solve the RVR metamodel kernel function selection. The multiple ke
12、rnel function is introduced into RVR metamodel. According to the difference of combination, the multiple kernel function can be divided into linear multiple kernel function and nonlinear multiple kernel function. For the linear multiple kernel, the memetic algorithm is used to optimize the weights a
13、nd kernel parameters simultaneously. The nonlinear multiple kernel function is coded as tree structure, owing to its shape uncertainty. And genetic programming is used to optimize the nonlinear multiple kernel function. Simulation experiment results show linear multiple kernel function and nonlinear
14、 multiple kernel function have better prediction performance than the standard kernel function. 3. To improve the applicability and generalization performance of metamodel, the ensemble of RVR metamodel is provided. This ensemble method uses Bagging and multiple kernel function selection to increase
15、 the diversity of individual learners, achieve the selective ensemble of individual learners by memetic algorithm. Simulation 国防科学技术大学研究生院博士学位论文 第 iv 页 results prove this method can improve its generalization performance with little RVR individual in most circumstances. 4. For the sake of online met
16、amodeling requirement, a RVR metamodel incremental learning method using ensemble algorithm is presented. In the train phase, every new sample set is incorporated relevance vectors from the last RVR training for training new RVR individual. In the ensemble predicting phase, the k points in the training set nearest to the predict point are found and the performance of each RVR metamodel on these k points is used as measurement. Dynamic selection and dynamically weighted schemes are employed t
