《概率神经网络》由会员分享，可在线阅读，更多相关《概率神经网络（8页珍藏版）》请在金锄头文库上搜索。
1、概率神经网络概述概率神经网络(ProbabilisticNeuralNetwork,PNN)就是由DXF、Specht在1990年提出的。主要思想就是贝叶斯决策规则，即错误分类的期望风险最小，在多维输入空间内分离决策空间。它就是一种基于统计原理的人工神经网络，它就是以Parazen窗口函数为激活函数的一种前馈网络模型。PNN收了径向基神经网络与经典的概率密度估计原理的优点，与传统的前馈神经网络相比，在模式分类方面尤其具有较为显著的优势。1、1概率神经网络分类器的理论推导由贝叶斯决策理论：ifp(wi|x)p(wj|x)ji,thenxwi(1-1)其中p(w|x)p(w)p(x|w)。一般情况
2、下，类的概率密度函数p(w|x)就是未知的，用高斯核的Parzen估计如下：p(x|wi)1 NixxiklNi k1 2 2:exp(1-2)其中，xik就是属于第w类的第k个训练样本,l就是样本向量的维数，就是平滑参数，Ni就是第w类的训练样本总数。去掉共有的元素，判别函数可简化为：gi(x)P(wi) Ni/ki exP(x xikNi(1-3)1、2概率神经元网络的结构模型PNN勺结构以及各层的输入输出关系量如图1所示，共由四层组成，当进行并行处理时，能有效地进行上式的计算。InputPatternSummationOutputLayerLayerLayerLayer(Training
3、Set)图1概率神经网络结构如图1所示,PNN网络由四部分组成：输入层、样本层、求与层与竞争层。PNN的工作过程：首先将输入向量x输入到输入层，在输入层中，网络计算输入向量与训练样本向量之间的差值|xXk|的大小代表着两个向量之间的距离，所得的向量由输入层输出，该向量反映了向量间的接近程度；接着，输入层的输出向量x-Xik送入到样本层中，样本层节点的数目等于训练样本数目的总iM与，NNi，其中m就是类的总数。样本层的主要工作就是：先判断哪些类i1别输入向量有关，冉将相关度高的类别集中起来，样本层的输出值就代表相识度；然后,将样本层的输出值送入到求与层，求与层的结点个数就是M,每个结点对应一个类
4、，通过求与层的竞争传递函数进行判决；最后，判决的结果由竞争层输出输出结果中只有一个1,其余结果都就是0,概率值最大的那一类输出结果为1。2.基本学习算法第一步：首先必须对输入矩阵进行归一化处理，这样可以减小误差，避免较小的值呗较大的值“吃掉”。设原始输入矩阵为：Xii X12X21 X22X m1Xm2X1nX2nXmn(2-1)从样本的矩阵如式（2-1）中可以瞧出，该矩阵的学习样本由m个，每一个样本的特征属性有n个。在求归一化因子之前，必须先计算BT矩阵:1二 X1k21n 2k 1X2k1,二 Xmk2然后计算:Cm nBm1 11X11X12X1nM1M1M1X21X22X2nM2M2M
5、2Xm1Xm2XmnMmMmM mCllCl2CinC21C22C2nCm1Cm2Cmn(2-2)式中，M 1X1k , M 2X2k ,k 1k 1,M mk1Xmk则归一化后的学习矩阵为C。在式(2-2)中，符号?表示矩阵在做乘法运算时，相应元素之间的乘积。第二步：将归一化好的m个样本送入网络样本层中。因为就是有监督的学习算法，所以很容易就知道每个样本属于哪种类型。假设样本有m个，那么一共可以分为c类，并且各类样本的数目相同，设为k,于就是m=k*c。第三步：模式距离的计算，该距离就是指样本矩阵与学习矩阵中相应元素之间的距离。假设将由P个n维向量组成的矩阵称为待识别样本矩阵，则经归一化后，
6、需要待识别的输入样本矩阵为：d11d12dmDd21d22d2ndp1dp2dpn(2-3)计算欧氏距离：就就是需要就是别的样本向量，样本层中各个网络节点的中心向量,这两个向量相应量之间的距离：dlkClk/k1d1kC2kdlkCmkd2kC2kd2kC2kd2kCmkdpkClkdpkC2kdpkCmkE11E12E1mE21E22E2mEp1Ep2Epm(2-4)第四步：样本层径向基函数的神经元被激活。学习样本与待识别样本被归化后,通常取标准差0.1的高斯型函数。激活后得到出事概率矩阵E11e22E21Pe2E12e22E22e22E1me22E2me22PllP12P1mP21P22P
7、2mEp1e22Ep2e22Epme22Pp1Pp2Ppm(2-5)第五步：假设样本有m,那么一共可以分为c类，并且各类样本的数目相同设为k,则可以在网络的求与层求得各个样本属于各类的初始概率与：k2kmSPiil1kP2ll1P1llk12kP2llk1Piilmk1mP2llmk1S11S21S12S22ScS2ck2kmPpil1Ppilk1Ppilmk1SpiSp2Spc(2-6)上式中，Sij代表的意思就是：将要被识别的样本中，第i个样本属于第j类的初始概率与。第六步：计算概率probj,即第i个样本属于第j类的概率probjScSill1(2-7)3.特点概率神经网络具有如下特性：
8、(1)训练容易，收敛速度快，从而非常适用于实时处理；(2)可以完成任意的非线性变换，所形成的判决曲面与贝叶斯最优准则下的曲面相接近；(3)具有很强的容错性；(4)模式层的传递函数可以选用各种用来估计概率密度的核函数，并且，各分类结果对核函数的形式不敏感;（5）各层神经元的数目比较固定,因而易于硬件实现。4、不足之处概率神经网络的不足主要集中在其结构的复杂性与网络参数的选择上。PNN网络进行模式分类的机理就是基于贝叶斯最小风险决策,为了获得贝叶斯准则下的最优解，必须保证有足够多的训练样本。PNN勺拓扑结构与训练样本数目成直接比例关系,每个训练样本决定一个隐含层神经元,所以当训练样本数量巨大时,将导致规模庞大的神经网络结构，阻碍了PNNR络的推广与应用。而且,PNN的网络参数（比如连接权重,Parzen窗函数的平滑因子等）,也很大程度的决定着网络的性能。此外PNW训练样本的彳t表性要求高；需要的存储空间更大。5.应用领域概率神经网络主要应用于分类个模式识别领域,其中分类方面应用最为广泛这种网络已较广泛地应用于非线性滤波、模式分类、联想记忆与概率密度估计当中。
