《优化超限学习机》由会员分享，可在线阅读，更多相关《优化超限学习机（1页珍藏版）》请在金锄头文库上搜索。
1、优化超限学习机（OELM ）相比传统的神经网络算法，输入权值和隐藏层偏置在超限学习机中是直接随 机赋值的64，输出层权值则是通过最小二乘方法计算得出65。即确定超限学习机神经网络参数的时候，不需要任何步骤的迭代，这也大大减少了原先传统神经 网络参数调节所花费的时间。参考Bartlett理论中所述，前馈型神经网络的输出权值的范数值与网络训练误差是正相关的，当训练误差较小时输出权值范数值越小，而相对应的该神经网络所具有的泛化性能越好66，67。依据该优化理论，最小化超限学习机训练误差和输出权值的模对它进行改进，如式（4.6）所示。酗人）(4.6)Nmin :i 1min : B在ELM理论中，任意
2、一个训练样本数据集都能够被准确地拟合， 即在ELM 的特征空间下能够保证任意的训练样本数据集都是线性可分的。然而，当 ELM 在准确地拟合所有训练样本数据的同时，训练得到的模型的推广性可能就会降低，从而出现过拟合的问题。为了避免过拟合的问题出现，需要引入误差容忍参数来解决，如式（4.7）所示。3h(Xi)1-gtj 1(4.7)3h(Xi)1 + gtj1其中，式（4.7）可以合并为，ti( 3h (xj)1gi ,i 1,2,N(4.8)根据Bartlett优化理论，本章采用代价参数C优化模型，使输出权值的模（3 与训练误差g的权重趋向最小化，那么优化超限学习机的数学模型，如式（4.9） 所示。min :丄|C g,2i 1ti 3h （xi） 1 gi, g 0, i 1,2,. N（4.9）最后，求解模型的输出权值，设为a和b分别代表输入权值和隐藏层节点偏 置值。由于OELM仍是随机地赋值a和b，那么就会选到一系列并非最佳的输入 权值和隐藏层节点偏置，影响OELM的预测精度。因此，可以通过选取最佳a和 b参数优化模型。
