《神经网络的一般性介绍及局部搜索训练算法》由会员分享，可在线阅读，更多相关《神经网络的一般性介绍及局部搜索训练算法（34页珍藏版）》请在金锄头文库上搜索。
1、神经网络的一般性介绍及局部搜 索训练算法报告人 谭松波 时间 2004-3-18 主要内容l人工神经网络的发展过程 l人工神经网络的基本原理l前馈式神经网络模型及经典算法l局部搜索训练算法 人工神经网络是目前国际上信息领 域中迅速发展的前沿研究方向之一，具 有广泛的应用前景。对它的研究已取得 了很多丰硕的成果。神经网络系统是由 大量简单的处理单元（即神经元）广泛 连接而成的复杂网络系统。它反映了人 脑功能的许多基本特性，但它并不完全 是人脑神经网络系统的真实写照，而只 是对其作某种简化、抽象和模拟。 神经网络的发展历史神经网络的研究已有50多年的历史，它 的发展道路是曲折的，几经兴衰，目前已在
2、 许多领域得到了成功的应用。 人工神经网络的研究始于本世纪40年代。1943 年，心理学家McCulloch和数学家Pitts合作，融 合了生物物理学和数学，提出了第一个神经元计 算模型MP模型。这种单个神经元模型功能较弱 ，但连接而成的网络记忆能力巨大。这种巨大的 记忆能力存储在网络中足够多的神经元之间丰富 的连接强度上。MP模型虽然简单，但它开创了神经网络模型 的理论研究，为各种神经元模型及网络模型的研 究打下了基础。 1949年心理学家Hebb提出神经元之间突 触联系强度可变的假设。他认为学习过程是 在突触上发生的，突触的联系强度随其前后 神经元的活动而变化。根据这一假说提出了 改变神经
3、元连接强度的Hebb规则。它对以后 人工神经网络的结构及算法都有很大影响。 直到现在，Hebb的学习算法仍在不少人工神 经网络中应用。 50年代末，Rosenblatt提出感知器模型 ，第一次把神经网络的研究付诸工程实践。 这是一种学习和自组织的心理学模型，它基 本上符合神经生理学的知识，模型的学习环 境是有噪声的，网络构造中存在随机连接， 这符合动物学习的自然环境。这是第一个真 正的人工神经网络，他给出了两层感知器的 收敛定理。后来的一大类神经网络模型都是 感知器模型的变形。 60年代末，美国著名人工智能学者Minsky和Papart对 Rosenblatt的工作进行了深入的研究，写了很有影
4、响的 感知器一书，指出感知器的处理能力有限，单层感知器 只能作线性划分，对于非线性或其他分类会遇到很大的困 难。这时应采用含有隐单元的多层神经网络，但引入隐单 元后找到一个有效的学习算法非常困难，Minsky断言这种 感知器无科学研究价值可言，包括多层的也没有什么意义 。这个结论对当时的神经网络研究无疑是一个沉重的打 击，客观上对神经网络的研究起了一定的消极作用。同时 当时的微电子技术也无法为神经网络的研究提供有效的技 术保障。故在其后的十几年内，从事神经网络研究的人数 及经费支持大大下降，神经网络研究处于低潮。 然而在此期间，仍有为数不多的学者致力于 神经网络的研究，1969年Grossbe
5、rg等提出了自 适应共振理论模型。1972年Kohenen提出自组织 映射的理论模型，并称神经网络为联想存贮器。 所有这些理论为神经网络的进一步发展奠定了理 论基础。 1982年，美国加州工程学院物理学家Hopfield 提出了一个用于联想记忆及优化计算的新途径 Hopfield模型，并于1984年进行修改，提出了利用 模拟电路的基础元件构成了人工神经网络的硬件原 理模型，为实现硬件奠定了基础。1985年Hopfield 和Tank提出用神经网络解决优化问题。 这一时期还有一个以Rumelhart和McClelland 为首的并行分布处理（PDP）的研究小组，他们提 出了多层网络学习的误差反向
6、传播学习算法（BP 算法），解决了多层网络的学习问题 ，从实践上 证实 了人工神经网络具有很强的学习能力，并不 象Minsky等人预料的那样弱，相反它可以完成许 多学习任务，解决许多实际问题 ，也因此推动了 前馈式神经网络的研究。BP算法目前已成为迄今 为止应用最普遍的神经网络学习算法。 人工神经元的模型 输入函数 输入区的功能是将输入信号b的各分量以一定 的规则综合成一个总输入值p，不同的网络和不同 性质的神经元采用不同的综合规则，综合规则可以 形式化为用某个输入函数表示，最常用的输入函数 是“加权和”形式，如下所示： 活化函数 活化函数分为线性与非线性，最简单的线性 活化函数就可以采用恒同
7、函数；而非线性活化函 数中的常用函数即是Sigmoid函数，具有这种活 化功能的神经元组成的神经网络具有强大的表达 能力。 a=g(p)=1/(1+exp(-cp) 前馈式神经网络各种神经元以层状方式组成前馈式神经网络。 每一层由多个节点（神经元）组成，每层中的节点 与相邻层中的节点通过权值连接；但与同层中的其 他节点和非相邻层中的节点没有连接。第一层为输 入层，最后一层为输出层，中间为隐层。神经元的 输入函数为“加权和“的形式，输出函数为恒同函 数，活化函数为S型函数。 前馈式神经网络的逼近能力 前馈式神经网络的输入输出关系，可以看成是 一种映射关系，即每一组输入对应着一组输出。由 于网络中
8、神经元的活化函数的非线性，使网络实现 的是复杂的非线性映射。 Hornik的等人的研究还表明三层前馈式神经网 络不仅能以任意精度逼近任意函数，还能以任意精 度逼近其各阶导数。 BP算法Rumelhart和McClelland领导的PDP小组提出了 前馈式神经网络的学习算法，即BP算法，解决了 多层网络的学习问题，从实践上证实了人工神经网 络具有很强的运算能力，使BP算法成为前馈式神经 网络的经典算法。 BP算法BP算法采用的是最速下降法，它使期望输出 与实际输出之间的误差平方和最小，即权值修正公式BP算法的不足l1 收敛速度非常缓慢 l2 初始值比较敏感 l3权值调节路径常常呈现锯齿型局部搜索
9、训练算法 l 本文提出一种基于局部搜索的快速训练 算法。本算法的结构非常简单，收敛速度很 快，而且不依赖于初始点。实验结果表明本 算法不仅能有效地训练小样本问题，而且对 大样本的训练问题也取得了很好的效果。 局部搜索算法l 局部搜索算法是一类近似算法的通称， 它从一个初始解开始，每一步在当前邻域内 找到一个更好的解，使目标函数逐步优化， 直到不能进一步改进为止。局部搜索算法通 常得到的是局部最优解。为了得到全局最优 解，需要从多个初始解进行搜索。实验表明 ，局部搜索算法对很多著名的NP难度问题， 取得了很大的成功 l 局部搜索算法简单然而高效，究其原因 在于它的多次重复搜索操作，虽然从某个初
10、始点出发的成功的可能性较小，然而多次重 复之后，却能以很大的概率求得问题的解， 对此顾钧21从n重贝努利实验的角度做了非常 精彩的分析。因此，我们需要为算法设计一 个随机扰动策略，以得到较好的初始点。首 先，需要判断是否已陷入局部极小，为此我 们采用了两个标准来判断：(1)连续常数(比如 10)个训练步内没有搜索到更好的解；(2)连续 常数(比如100)个收敛步内收敛的程度太小。 l 基本算法在每一个训练步内只有一个变量 的值在改变，对三层感知器来说，也就只有一 个隐含层节点的隐含权或者输出层节点的输出 权发生改变。若是前者，就会导致一个隐含层 节点的输出发生改变，其它隐含层节点的输出 不变，
11、但所有输出层节点的输出都会改变；若 是后者，则所有隐含层节点的输出不变，只有 一个输出层节点的输出发生改变，其它输出层 节点的输出不变。因此，每一次搜索，我们没 有必要对所有的节点都计算一次输出，而只需 要计算发生改变的节点的输出。显然，计算量 会大大降低。 l l 实验数据均取自经典的神经网络训练样本数据。我 们采用三层感知器网络。用来对比的算法有：BP算法 和采用动量项的BP算法。对每一个实例的训练，我们 选取相同的网络结构和激化函数。R表示学习速率，M 表示动量项。我们选取四个实例，即数字识别问题27 、sin(x)函数拟和问题、TwoNorm问题和Building问题 。在这些实验中，BP算法依赖于初始点，不同的初始 点差距较大，我们就选取较好的结果进行比较。而局 部搜索多次运算都能得到非常类似的结果，我们就任 意选取一个结果进行比较。 实验结果数字识别问题 sin(x)函数拟和问题 Building问题 TwoNorm问题 TwoNorm问题 MUSHROOM PROBLEM MUSHROOM PROBLEM结论 l 本算法采用局部搜索来处理多层感 知器的训练问题。实验结果表明本算法 无论是小样本问题还是大样本问题，都 取得了很好的效果。因此，我们认为局 部搜索训练算法是一个简单而有效的多 层感知器的训练算法。
