《ELM极限学习机相关》

《《ELM极限学习机相关》》由会员分享，可在线阅读，更多相关《《ELM极限学习机相关》（13页珍藏版）》请在金锄头文库上搜索。

1、简单易学的机器学习算法一一极限学习机(ELM)一、极限学习机的概念极限学习机(Extreme Learning Machine) ELM是由黄广斌提出来的求 解单隐层神经网络的 算法。ELM最大的特点是对于传统的神经网络，尤其是单隐层前馈神经网 络(SLFNs)在保证学习精度的前提下比传统的学习算法速度更快。二、极限学习机的原理ELM是一种新型的快速学习算法，对于单隐层神经网络，ELM可以随机初始化输入权重和偏置并得到相应的输出权重。Output NeuronL Hidden Neuronsn Input Neurons（选自黄广斌老师的PPT）对于一个单隐层神经网络（见Figure 1）,假

2、设有8个任意的样本 gf）, 其中X% =怔眼，虹/ E正”f =阮姑技.标*旺R”。对于 一个有个隐层节点的单隐层神经网络可以表示为庆g （站,易-岫=% j = LZ=：1其中，93）为激活函数，的=”订工炊%为输入权重，国为输 出权重，化是第$个隐层单元的偏置。I虹Xj表示I臂和的内积。单隐层神经网络学习的目标是使得输出的误差最小，可以表示为N Ikj-ll =0即存在七，跖和味使得L刨，X了 一 bf）=与 =L，NJn如果神经网络能够无误差的预测训练样本，那么隐含层和输出层的权值是有解的，特别的，当L=N时，肯定有解。但是实际问题中，L往往是远小于N的，那么求解权值向量的问题是无解的

3、，即网络输出和实际值之间有误差，可以定义代价函数为：J 二（邸 一 T）（HW - T）,接下来如何求解最优的权值向量，使得损失函数J最小呢针对这个问题ELM分两种情况解决：a.如果H是列满秩的，那么可以通过最小二乘找到最佳的权值，其解为:B - arg min | H/3 - T |= H T,其中：b.如果H是非列满秩的，则使用奇异值分解求解H的广义逆来计算最佳权值。和BP使用梯度下降迭代更新所有层之间权值不同，ELM不调整SLFN的输入层和隐含层的权值，这些权值是随即设定的，因此 ELM的训练速度非常快。 ELM注重于隐含层到输出层 的权值的选取，其采用的方法是最小二乘。ELM算法一般可

4、以描述如下：ELM算法：Input:给定训练样本集M.G）以|史褒七隐层输出函数G50x）.和陷层节点 个数La）随机生成隐层节点参敷/曲二1, b）计算隐层输出矩阵H（确保H列浦秩;c）Output:网络最优杈 p - H 1在Huang的survey中描述了一种思想，该思想把 SVM也看成了神经网络，该思想把神经网 络的输入层到最后一层隐含层的部分或者SVM核函数映射的部分都看成了从输入空间到一个新的空间的转换，然后，BP会将误差反向传播更新权值使得误差最小化，而 SVM则力求找到最大分界间隔的分界面，将新空间映射到输出空间，从这个角度来看，SVM确实可以看成是一种神经网络。ELM最初算法

5、就如上所述，从 2004年至今，后来的学者对其进行了很多改进，主要包括对 输入层和隐含层权值随即确定权值的优化、求解隐含层和输出层权值的优化（使得ELM更适应于噪声数据集）、核函数ELM以及加入了正则化项的损失函数（求解结构风险而不再是经验风险）、ELM和其他方法相结合等。ELM为神经网络的结构设计提供了一个新的思路， 使我们更好地理解神经网络，但是还有很多问题需要解决，比如隐含层节点个数的确定，正则化项的选择等等。作为一个性能很好的机器， 我们也可以将其应用到诸多交叉学科的应用 中。极限学习机（ELMD算法的matlab与C+实现极限学习机的原理极限学习机（Extreme learning

6、machine , ELM）是单隐层神经网络的算法，其最大特点就是能在保证学习精度的前提下比传统的学习算法快。其结构如下图所示：Output NeuronL Hidden Neuronsn Inpvt Neurons对于一个单隐层神经网络，假设有 N个任意的样本(Xi,ti),其中，X=Xi1,Xi2,?XnTC Riti=ti1,ti2,?timT C Rm一个有L个隐层节点的单隐层神经网络可以表示为：2=iLph(Wi?+bi)=ojj=1,?,N其中，h(x)为激活函数， Wi=wi1,Wi2,?,WinT为输入权重，3为输出权重，bi是第个隐层单元的偏置。Wi Wj表示Wi和Wj的内积

7、。单隐层神经网络学习的目标是使得输出的误差最小，可以表示为：S=1N H / oj-tj/ / =0即存在3 ,i Wi和bi使得21L0h(Wi?X+bi)=tjj=1,?,N可以矩阵表示为：H6 =T其中，是H隐层节点的输出，6为输出权重，为T期望输出。H(Wi,?,WL,bi,?,bL,Xi,?,XL)=?h(Wi?Xi+bi)?h(Wi?XN+bi)?h(WL?Xi+bL)?h(WL?XN+bL)?6 今?？ (li?pTL?T=?TTi?TTN?NXm传统的一些基于梯度下降法的算法，可以用来求解这样的问题，但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中，一旦输入权重 Wi和隐层的偏置bi被随机确定，隐层的输出矩阵就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统H0 =T并且输出权重 6可以被确定。pA =H+T其中，H+是矩阵H的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。以一个简单的二分类为例，分别用 matlab和C+实现。matlab代码如下：traindata=load(”)；feature=traindata(:, 1:2);%# 征label=traindata(:, 3);%ft 签X=feature;N,n=size(X);L=100;