《2022医学课件人工神经网络基础知识》由会员分享，可在线阅读，更多相关《2022医学课件人工神经网络基础知识（63页珍藏版）》请在金锄头文库上搜索。
1、2 人工神经网络根底知识人工神经网络根底知识 2.1人工神经网络的生物学根底人工神经网络的生物学根底 人的智能来自于大脑，大脑是由大量的神经细胞或神经元组成的。人的智能来自于大脑，大脑是由大量的神经细胞或神经元组成的。每个神经元可以看作为一个小的处理单元，这些神经元按照某种方式互每个神经元可以看作为一个小的处理单元，这些神经元按照某种方式互相连接起来，构成了大脑内部的生物神经元网络，他们中各神经元之间相连接起来，构成了大脑内部的生物神经元网络，他们中各神经元之间连接的强弱，按照外部的鼓励信号作自适应变化，而每个神经元又随着连接的强弱，按照外部的鼓励信号作自适应变化，而每个神经元又随着接收到的多
2、个鼓励信号的综合大小呈现兴奋或抑制状态。据现在的了解，接收到的多个鼓励信号的综合大小呈现兴奋或抑制状态。据现在的了解，大脑的学习过程就是神经元之间连接强度随外部鼓励信息做自适应变化大脑的学习过程就是神经元之间连接强度随外部鼓励信息做自适应变化的过程，大脑处理信息的结果确由神经元的状态表现出来。显然，神经的过程，大脑处理信息的结果确由神经元的状态表现出来。显然，神经元是信息处理系统的最小单元。虽然神经元的类型有很多种，但其根本元是信息处理系统的最小单元。虽然神经元的类型有很多种，但其根本结构相似。结构相似。第一页，共六十三页。神经元是大脑处理信息的根本单元神经元是大脑处理信息的根本单元人脑约由人
3、脑约由101l-1012个神经元组成，其中，每个神经元约与个神经元组成，其中，每个神经元约与104-105个神经元通过突触联接，形成极为错纵复杂而且又灵活多变个神经元通过突触联接，形成极为错纵复杂而且又灵活多变的神经网络的神经网络神经元以细胞体为主体，由许多向周围延伸的不规那么树枝神经元以细胞体为主体，由许多向周围延伸的不规那么树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干状纤维构成的神经细胞，其形状很像一棵枯树的枝干主要由细胞体、树突、轴突和突触主要由细胞体、树突、轴突和突触(Synapse，又称神经键，又称神经键)组成组成 一、生物神经元一、生物神经元第二页，共六十三页。 生物神经元网
4、络结构生物神经元网络结构 树突是树状的神经纤维接收网络，它将电信号传送到细胞体树突是树状的神经纤维接收网络，它将电信号传送到细胞体细胞体对这些输入信号进行整合并进行阈值处理细胞体对这些输入信号进行整合并进行阈值处理轴突是单根长纤维，它把细胞体的输出信号导向其他神经元轴突是单根长纤维，它把细胞体的输出信号导向其他神经元一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触 神经元的排列和突触的强度神经元的排列和突触的强度( (由复杂的化学过程决定由复杂的化学过程决定) )确立了神经网络的功能。确立了神经网络的功能。 第三页，共六十三页。生物学
5、研究说明一些神经结构是与生俱来的，而其他局部那生物学研究说明一些神经结构是与生俱来的，而其他局部那么是在学习的过程中形成的。么是在学习的过程中形成的。在学习的过程中，可能会产生一些新的连接，也可能会使以前的在学习的过程中，可能会产生一些新的连接，也可能会使以前的一些连接消失。这个过程在生命早期最为显著。一些连接消失。这个过程在生命早期最为显著。第四页，共六十三页。二、突触的信息处理二、突触的信息处理生物神经元传递信息的过程为多输入、单输出；生物神经元传递信息的过程为多输入、单输出；神经元各组成局部的功能来看，信息的处理与传递主要发生在神经元各组成局部的功能来看，信息的处理与传递主要发生在突触附
6、近；突触附近；当神经元细胞体通过轴突传到突触前膜的脉冲幅度到达一定强当神经元细胞体通过轴突传到突触前膜的脉冲幅度到达一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质；递的化学物质；突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。抑制性后电位，后者产生负突触后电位。抑制性-神经元虽然接收到神经元虽然接收到其他神经元传递的信息，但没有向外传递信息，该神经元称其他神经元传递的信息，但没有向外传递信息，该神经元称“抑制性的；兴奋性抑制性
7、的；兴奋性-当一个神经元的树突接收的兴奋信息累当一个神经元的树突接收的兴奋信息累计超过阈值，该神经元被激活并传递出信息给其他神经元。计超过阈值，该神经元被激活并传递出信息给其他神经元。第五页，共六十三页。三、信息传递功能与特点三、信息传递功能与特点 具有时空整合能力具有时空整合能力时间整合时间整合各输入脉冲抵达神经元的先后时间不同，一个脉冲引起的突触后电位各输入脉冲抵达神经元的先后时间不同，一个脉冲引起的突触后电位很小，但随着时间延续，另有脉冲到达，总的突触后电位就增大。很小，但随着时间延续，另有脉冲到达，总的突触后电位就增大。空间整合空间整合在同一时刻产生的刺激所引起的膜电位变化，大致等于各
8、单独刺激引起的膜电位变化在同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。这种累加求和称空间整合。的代数和。这种累加求和称空间整合。不可逆性，脉冲只从突触前传到突触后，不逆向传递不可逆性，脉冲只从突触前传到突触后，不逆向传递 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在1150m1150ms s之间之间 信息传递时延和不应期，一般为信息传递时延和不应期，一般为0.30.3lmslms可塑性，突触传递信息的强度是可变的，即具有学习功能可塑性，突触传递信息的强度是可变的，即具有学习功能 存在学习、遗忘或疲劳饱
9、和效应存在学习、遗忘或疲劳饱和效应对应突触传递作用增强、减弱和饱和对应突触传递作用增强、减弱和饱和第六页，共六十三页。2、生物神经系统的六个根本特征：、生物神经系统的六个根本特征：1神经元及其联接；神经元及其联接；2神经元之间的联接强度决定信号传递的强弱；神经元之间的联接强度决定信号传递的强弱；3神经元之间的联接强度是可以随训练改变的；神经元之间的联接强度是可以随训练改变的；4信号可以是起刺激作用的，也可以是起抑制作用的；信号可以是起刺激作用的，也可以是起抑制作用的；5一个神经元接受的信号的累积效果断定该神经元的状态；一个神经元接受的信号的累积效果断定该神经元的状态；6) 每个神经元可以有一个
10、每个神经元可以有一个“阈值。阈值。第七页，共六十三页。2.人工神经元模型人工神经元模型人工神经网络是在现代神经生物学研究根底上提出的模拟生人工神经网络是在现代神经生物学研究根底上提出的模拟生物过程以反映人脑某些特性的计算结构。它不是人脑神经系统的物过程以反映人脑某些特性的计算结构。它不是人脑神经系统的真实描写，而只是它的某种抽象、简化和模拟。根据前面对生物真实描写，而只是它的某种抽象、简化和模拟。根据前面对生物神经网络的研究可知，神经元及其突触是神经网络的根本器件。神经网络的研究可知，神经元及其突触是神经网络的根本器件。因此，模拟生物神经网络应首先模拟生物神经元。因此，模拟生物神经网络应首先模
11、拟生物神经元。在人工神经网络中，神经元常被称为在人工神经网络中，神经元常被称为“处理单元。有时处理单元。有时从网络的观点出发常把它称为从网络的观点出发常把它称为“节点。人工神经元是对生物节点。人工神经元是对生物神经元的一种形式化描述，它对生物神经元的信息处理过程进神经元的一种形式化描述，它对生物神经元的信息处理过程进行抽象，并用数学语言予以描述；对生物神经元的结构和功能行抽象，并用数学语言予以描述；对生物神经元的结构和功能进行模拟，并用模型图予以表达。进行模拟，并用模型图予以表达。 第八页，共六十三页。目前人们提出的神经元模型已有很多，其中最早提出且影响最大目前人们提出的神经元模型已有很多，其
12、中最早提出且影响最大的，是的，是1943年心理学家年心理学家McCulloch和数学家和数学家WPitts在分析总结神在分析总结神经元根本特性的根底上首先提出的经元根本特性的根底上首先提出的MP模型。该模型经过不断改进模型。该模型经过不断改进后，形成目前广泛应用的形式神经元模型。后，形成目前广泛应用的形式神经元模型。关于神经元的信息处理机制，该模型在简化的根底上提出以关于神经元的信息处理机制，该模型在简化的根底上提出以下下6点约定进行描述：点约定进行描述：1每个神经元都是一个多输入单输出的信息处理单元；每个神经元都是一个多输入单输出的信息处理单元；2突触分兴奋性和抑制性两种类型；突触分兴奋性和
13、抑制性两种类型；3神经元具有空间整合特性和阈值特性；神经元具有空间整合特性和阈值特性；4神经元输入输出间有固定的时滞，主要取决于突触延搁；神经元输入输出间有固定的时滞，主要取决于突触延搁；5忽略时间整合作用和不应期；忽略时间整合作用和不应期；6神经元本身是非时变的，即其突触时延和突触强度均为常数。神经元本身是非时变的，即其突触时延和突触强度均为常数。第九页，共六十三页。MP模型：模型：称为作用函数或激发函数称为作用函数或激发函数第十页，共六十三页。 MP模型模型n 作用函数作用函数n 求和操作求和操作第十一页，共六十三页。 MP模型模型 f(x)是作用函数是作用函数(Activation Fu
14、nction)，也称激发函数。，也称激发函数。MP神经元模型中的作用函数为单位阶跃函数：神经元模型中的作用函数为单位阶跃函数： 其表达式为：其表达式为：第十二页，共六十三页。激发函数的根本作用激发函数的根本作用控制输入对输出的激活作用控制输入对输出的激活作用对输入、输出进行函数转换对输入、输出进行函数转换将可能无限域的输入变换成指定的有限范围内的输出将可能无限域的输入变换成指定的有限范围内的输出 可知当神经元可知当神经元i i的输入信号加权和超过阈值时，输出为的输入信号加权和超过阈值时，输出为“1“1，即即“兴奋状态；反之输出为兴奋状态；反之输出为“0“0，是，是“抑制状态。抑制状态。 MP模
15、型模型第十三页，共六十三页。例、实现逻辑函数例、实现逻辑函数“与门与门AND gate运算。运算。1 真，真，0假假第十四页，共六十三页。第十五页，共六十三页。人工神经元的数学模型描述人工神经元的数学模型描述： 第第j个神经元，接受多个其它神经元个神经元，接受多个其它神经元i在在t时刻的输入时刻的输入xi(t)，引起神，引起神经元经元j的信息输出为的信息输出为yj(t):式中式中 wij神经元神经元i到到j的突触连接系数，即加权值；的突触连接系数，即加权值； j神经元神经元j的阈值；的阈值； ij输入、输出间的突触时延；输入、输出间的突触时延； f()神经元转移激活函数神经元转移激活函数.为简
16、单起见，将上式中的突触时延取为单位时间，那么为简单起见，将上式中的突触时延取为单位时间，那么 式中式中 netjj单元激活值；单元激活值；netj=第十六页，共六十三页。其它各单元对第其它各单元对第j个单元的输入，通过加权，按某种运算把输入信号个单元的输入，通过加权，按某种运算把输入信号的综合作用整合起来，给出它们的总效果称净输入。净输入整合表的综合作用整合起来，给出它们的总效果称净输入。净输入整合表达应有多种方式，人们探索到的人脑空间整合方式近似为线性求和。达应有多种方式，人们探索到的人脑空间整合方式近似为线性求和。即单元净输入表为即单元净输入表为 为简便起见，省去式中为简便起见，省去式中t,而且常用向量表示而且常用向量表示 式中式中 均为列向量：均为列向量：假设令假设令 第十七页，共六十三页。至此，人工神经元数学模型可简化为至此，人工神经元数学模型可简化为看到，人工神经元模型较全面表现了前述点约定：看到，人工神经元模型较全面表现了前述点约定：单输入多输出显见；单输入多输出显见；用突触的正负表达突触的用突触的正负表达突触的“兴奋与抑制兴奋与抑制；净输入关系净输入关系net和阈值和阈值
