《人工神经网络方法课件》由会员分享,可在线阅读,更多相关《人工神经网络方法课件(30页珍藏版)》请在金锄头文库上搜索。
1、人工神经网络方法 原理及应用,张倩倩、孙晶,人工神经网络方法,人工神经网络简介 应用实例长江三角洲地区城市体系的职能分类,人工神经网络,是一个具有高度非线性的超大规模连续时间动力系统,是由大量的处理单元(神经元)广泛互连而形成的网络。是人脑的某种抽象、简化与模拟。 人工神经网络的特点和优越性:具有自学习功能 ;具有联想存储功能 ;具有高速寻找优化解的能力。 在现代地理学中,人工神经网络方法特别适用于地理模式识别、地理过程模拟与预测、复杂地理系统的优化计算等问题的研究。,人工神经网络简介,神经元模型 神经网络的基本结构 人工神经网络的工作原理 人工神经网络的学习规则 神经网络模型的种类,神经元模
2、型 基于生物神经元构造,W.McCulloch和W.Pitts于1943年建立了一个模拟神经元功能的数学模型,这个模型被称为MP模型。,MP模型是一个多输出单输出的非线性元件。在MP模型中,f是二值函数,其输出值为0或1,分别代表神经元的抑制和兴奋状态,它可以用阶跃函数表示,即当wji0时,为兴奋性突触结合;当wji0为兴奋性连接时,若神经元1处于兴奋状态,则神经元2也处于兴奋状态;当w210为抑制性连接时,若神经元1处于兴奋状态,反而会使神经元2容易处于抑制状态。在(b)中,两个神经元处于相互结合性状态,若w12和w21均为正,则某一个神经元处于兴奋状态时,另一个神经元也倾向于兴奋状态,这称
3、为神经元之间的协调作用;若w12和w21均为均为负,则当某一个神经元处于兴奋状态时,另一神经元倾向于抑制状态,这称为神经元之间的竞争作用。协调和竞争是神经网络中并行信息处理的基本动态特性。,神经网络的基本结构 把大量的神经元通过一定的拓扑结构连接起来,就形成了神经网络。神经元之间的连接方式有相互结合型结构和层状结构两大类 。,图(a)所示的相互结合型神经网络系统中存在着反馈环。在神经元的学习过程中,进行误差反馈。反馈有正、负之分,正反馈使系统发生振荡,负反馈使系统稳定。在大脑神经系统中,由于负反馈的存在,使控制抑制的机构起着十分重要的作用。正反馈对大脑神经元的同步动作起着一定的作用。在图(b)
4、所示的层状神经网络结构中,信号依特定的方向传播。在生物体内,大脑皮质之间、感觉器官和大脑之间,就可以看作是一种分层结构,即功能模块级的分层。在大脑内确实存在各种机理不同的功能模块,这一点被大脑的解剖研究已经证明,而且每一个模块内部是由神经元组成的并行处理系统。,人工神经网络的工作原理,人工神经网络首先要以一定的学习准则进行学习,然后才能工作。网络学习的准则应该是:如果网络作出错误的判决,则通过网络的学习,应使得网络减少下次犯同样错误的可能性。将模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时,能够作出迅速、准确的判断和识别。神经网络的工作过程主要由两个阶段组成,一个阶段是
5、工作期,此时各连接权值固定,计算单元的状态变化,以求达到稳定状态。另一阶段是学习期(自适应期,或设计期),此时各计算单元状态不变,各连接权值可修改(通过学习样本或其他方法),前一阶段较快,各单元的状态亦称短期记忆(STM),后一阶段慢的多,权及连接方式亦称长期记忆(LTM)。,人工神经网络的学习规则 神经网络的学习过程,一般是,首先设定初时权值,如果无先验的知识,初时权值可设定为随机值。接着输入样本数据进行学习,参照评价标准进行评判。如果达到要求,就停止学习,否则按照给定的学习法则调整权值,继续进行学习,直到取得满意的结果为止。 神经网络的学习规则,主要包括误差传播式学习、联想学习、竞争性(C
6、ompetitive)学习和基于知识的学习等。各种学习规则都是以Hebb规则为基础的。,误差传播式学习 感知器(Perceptron)是神经网络中的一种最基本的神经网络模型,它是F.Rosenblatt于1961年提出来的。设神经元的输入输出关系为是学习速率,di是教师信号或希望输出,i是实际输出yi与希望输出di之差,yi和xj取1或0的离散值。,联想式学习 根据空间或时间上接近的事物之间,性质上相似或相反的事物之间,以及存在因果关系的事物都可能在人的大脑中产生联想的原理,人们提出了许多无教师的联想式学习模式,其学习规则可以表示为 在联想式学习中,权值变化仅是输入与输出同时兴奋的结果。由于联
7、想发生在输入与输出之间,所以这种联想被称为异联想(Hetroassociation)。,竞争性学习 在竞争性学习时,网络各输出单元相互竞争,最后达到只有一个最强者激活,最常见的一种情况是输出神经元之间有侧向抑制性连接,这样,原来输出单元中若有一个单元较强,则它将获胜并抑制其它单元,最后只有此强者处于激活状态。最常见的竞争性学习规则可以写为,神经网络模型的种类 按照拓扑结构可以分为反馈神经网络模型和前向神经网络模型;按照性能可以分为连续型和离散型神经网络模型,确定型和随机型神经网络模型;按照学习方式可以分为有教师学习和无教师学习神经网络;按照连接突触性质可以分为一阶线性关联神经网络模型和高阶非线
8、性关联神经网络模型。常见的人工神经网络模型,主要包括感知器(Perceptron)神经网络、线性神经网络、前馈神经网络、径向基函数神经网络、自组织竞争神经网络、回归神经网络等。,应用实例:长江三角洲地区城市体系的职能分类,建立城市职能分类的指标体系 Kohonen网络的原理 建立城市分类的Kohonen网络模型 结果及讨论,建立城市职能分类的指标体系,1选择反映城市社会发展的指标 在人口与劳动力构成中选取总人口、非农业人口、从业人员作为衡量城市规模的指标;将在校小学生数、中等学校学生数、高等学校学生数三项合并为一项,即在校学生数,同时选取各类专业技术人员、公共图书馆图书藏量、医院卫生院床位数作
9、为反映社会文化教育的指标。,2 选择反映城市社会经济的指标 在城市国民生产总值综合指标中,选取国内生产总值、人均国民生产总值、第一产业、第二产业、第三产业、工业产值、农林牧渔总产值以及有关财政、金融、保险等17项指标。 3 选择反映城市基础设施的指标 从交通运输、邮电事业的指标中,选取了公路客运量、公路客运量、邮电业务总量3项指标。,表城市职能分类指标体系,Kohonen网络的原理 Kohonen网络也称为自组织特征映射网络(Self-Organizing Feature Map,简称SOM网络),通过寻找最优权值矢量对输入模式集合进行分类。 1 Kohonen网络结构 由输入层和输出层(也称
10、竞争层)构成的两层网络,输入层用于接收输入模式,输出层的神经元一般按正则二维阵列排列,两层之间的各神经元实现双向权连接。,Kohonen网络结构,2 Kohonen网络的学习和工作规则 Kohonen网络的自组织学习过程可以描述为:对于每一个网络的输入,只调整一部分权值,使权向量更接近或更偏离输入矢量,这一调整过程,就是竞争学习,随着不断学习,所有权矢量都在输入矢量空间相互分离,形成了各自代表输入空间的一类模式,这就是Kohonen网络的特征自动识别的聚类功能 。,建立城市分类的Kohonen网络模型 1 指标数据的处理 在本模型中,采用标准差标准化,将原始数据转换为:,2 运用Matlab神
11、经网络工具箱建立Kohonen网络模型 将长江三角洲各城市的28项指标导入Kohonen网络中,作为网络的输入模式 ,因此输入层的神经元个数为28;而竞争层的神经元个数决定于需要分成几类,在不清楚分类数目的情况下,竞争层神经元个数从开始,然后依次加1,分别进行学习。 在Kohonen网络模型中,选择网络训练的迭代最大次数为1000次,初始的学习率为0.5。,3 Kohonen网络模型的分类结果,结果及讨论 从长江三角洲城市的分类模型结果来看,分类结果与实际情况大体一致,结果较为理想。该方法的最大的优点是避免了各层次权重带来的主观性。 运用Kohonen网络进行城市分类,存在很多需要改进的地方。比如,如果指标体系的合理选取和完善,加大学习样本以及输入模式,就可以加大网络的适应性;另外网络的学习算法也有待进一步改进,Kohonen网络是自适应学习的神经网络,其学习率随着时间减少,保证了全值的收敛性;但是这些学习率没有考虑输入模式和相应的聚类中心的逼近程度,如果引入代表这种逼近程度的模糊隶属度1来表示Kohonen网络的自适应学习的强度,将监督学习与非监督学习结合起来,分类的效果将更好。,Thank you!,