《概率神经网络(修改 )》由会员分享，可在线阅读，更多相关《概率神经网络(修改 )（20页珍藏版）》请在金锄头文库上搜索。
1、概率神经网络摘 要：本文介绍了概率神经网络（PNN）的结构模型、功能、基本学习算法。基于 PNN 的模式分类功能，介绍了它在车牌识别方面的具体应用。论文的最后介绍了遗传算法以及用遗传算法对 PNN 的优化。关键词：概率神经网络；Parzen 窗估计法；遗传算法Probabilistic Neural NetworksGao Fei, Zhao Zhenzhen, Song YanAbstract: The basic structure model of probabilistic neural network (PNN) is introduced in this paper, as wel
2、l as the function of the model, the basic learning algorithm. The application of PNN in the field of Vehicle License Plate Recognition is interpreted in details. At the end of the paper,genetic algorithm( GA ) and its application in optimizing the PNN model are mainly focused on. Keywords: PNN; Parz
3、en window estimate method; Genetic Algorithm 1. 概率神经网络模型概率神经网络(Probabilistic Neural Networks，PNN)是由 D. F. Specht1在 1990 年提出的。主要思想是用贝叶斯决策规则，即错误分类的期望风险最小，在多维输入空间内分离决策空间。它是一种基于统计原理的人工神经网络，它是以 Parzen 窗口函数为激活函数的一种前馈网络模型。PNN 吸收了径向基神经网络与经典的概率密度估计原理的优点，与传统的前馈神经网络相比，在模式分类方面尤其具有较为显著的优势 2。1.1 概率神经网络分类器的理论推导 3由
4、贝叶斯决策理论：(1-1)iji wxthenijxwpif ,)|()|(其中 。 |)|(iii xwpx一般情况下，类的概率密度函数 是未知的，用高斯核的 Parzen 估计如下 10：)|(xi(1-2)iNk iklii xxp122)ep()()|( 其中， 是属于第 类的第 k 个训练样本， 是样本向量的维数， 是平滑参数， 是第 类ikxiwl iNiw的训练样本总数。去掉共有元素，判别函数可简化为：(1-3)iNkikii xpxg12)e()(1.2 概率神经元网络的结构模型PNN 的结构以及各层的输入输出关系量如图 1 所示，共由四层组成，当进行并行处理时，能有效地进行上
5、式的计算。图 1 概率神经网络结构（以3个类别为例）如图1-1所示，PNN 网络由四部分组成：输入层、样本层、求和层和竞争层。PNN 的工作过程：首先将输入向量 输入到输入层，在输入层中，网络计算输入向量与训练样本向量之间的差值 ，差值绝x ikx对值 的大小代表这两个向量之间的距离，所得的向量由输入层输出，该向量反映了向量间的接ik近程度；接着，输入层的输出向量 送入到样本层中，样本层结点的数目等于训练样本数目的总和，ikx，其中 M 是类的总数。样本层的主要工作是：先判断哪些类别与输入向量有关，再将相关度iiiN1高的类别集中起来，样本层的输出值就代表相识度；然后，将样本层的输出值送入到求
6、和层，求和层的结点个数是 M，每个结点对应一个类，通过求和层的竞争传递函数进行判决；最后，判决的结果由竞争层输出，输出结果中只有一个1，其余结果都是0，概率值最大的那一类输出结果为1。2基本学习算法以下几步构成了PNN神经网络的算法：第一步：首先必须对输入矩阵进行归一化处理，这样可以减小误差，避免较小的值被较大的值“吃掉”。设原始输入矩阵为：XmnmnX.2122 1121(2-1)从样本的矩阵如式（2-1）中可以看出，该矩阵的学习样本有m个，每一个样本的特征属性有n个。在求归一化因子之前，必须先计算 BT矩阵：nkmnknkT xx121212.然后计算： XCnmnmn 1=Mxxmnmm
7、n 11 2221 112Cmnmn 21221121(2-2)式中， nknknk xMx1212,则归一化后的学习矩阵为C。在式（2-2）中，符号“ ”表示矩阵在做乘法运算时，相应元素之间的乘积。 第二步：将归一化好的m个样本送入到网络样本层中。因为是有监督的学习算法，所以很容易就知道每个样本属于那种类型。假设样本有m个，那么一共可以分为c类，并且各类样本的数目相同，设为k，于是m=k*c。第三步：模式距离的计算，该距离是指样本矩阵与学习矩阵中相应元素之间的距离。假设将由P个n维向量组成的矩阵称为待识别样本矩阵，则经归一化后，需要待识别的输入样本矩阵为：(2-3)ddpnpp nD 21
8、22 1121计算欧式距离：就是需要识别的样本向量，样本层中各个网络节点的中心向量，这两个向量相应量之间的距离： Ecdcdpmpnkmkpnkkpnkp nkknkknkkE 2121121212121 1212121 m(2-4)第四步：样本层径向基函数的神经元被激活。学习样本与待识别样本被归一化后，通常取标准差=0.1的高斯型函数。激活后得到初始概率矩阵： PPee pmpp mpmpp mEEP 21 22 11212221 2221 11(2-5)第五步：假设样本有m个，那么一共可以分为c类，并且各类样本的数目相同，设为k，则可以在网络的求和层求得各个样本属于各类的初始概率和： pc
9、pp cmklplklplklpl kllkllkll mllllll SSS PP 212211211211 12211 111(2-6)在上式中， 代表的意思是：将要被识别的样本中，第i个样本属于第j类的初始概率和。S第六步：计算概率 ，即第i个样本属于第j类的概率。prob(2-7)clilijijS13应用领域概率神经网络主要用于分类和模式识别领域，其中分类方面应用最为广泛，它的优势在于用线性学习算法来完成非线性学习算法所做的工作，同时保证非线性算法的高精度等特性。在模式分类中，Bayes 分类规则是具有最小期望风险的优化决策规则，可以处理大量样本的分类问题，一般情况下，应用于Baye
10、s分类规则中的概率密度函数是未知的，但是大量的模式样本是已知的，用它们来训练网络。4实际应用PNN 神经网络主要是用于模式分类，在此我们就运用它实现一个识别车牌号图像中的号码与背景的程序，也就是车牌号图像的二值化。本文仅用这个程序作为 PNN 神经网络运用的简单例子，因此对图像进行些处理以简化编程，采用8位 BMP 带调色板的图片格式存储。图4-1 车牌图像人眼能够识别这个车牌号码是由于车牌的号码白色和它周围的背景蓝色有着鲜明的不同。对于要完成的程序同样也可以运用颜色差来完成识别。计算机显示 bmp 图片时采用的是 RBG 的值来描绘每一点的像素颜色，虽然看到图像车牌背景都是蓝色，但是如果放大
11、来看蓝色并不完全相同而且还有夹杂着些其他颜色，同样车牌号也并非全部白色。分析到这里目标就清楚了，运用 PNN 神经网络采集图片中每个像素点的颜色RBG 值，将接近蓝色或者背景中出现的其他颜色分为 A 类，表示背景色；将接近白色的颜色分为 B 类，表示车牌号色。再用0、1这两个数值来表示 A 类、B 类，重新设置图片中像素的颜色实现了车牌号图像的二值化。程序的流程可分为三步：第一步，选取背景色和号码色的样本图片，收集它们各自的颜色样本数据；第二步，运用收集的颜色数据训练 PNN 神经网络；第三步，将需要识别的车牌图片中每个像素的颜色数据输入 PNN 神经网络完成分类，然后重置图片颜色数据完成二值
12、化。PNN 神经网络的设计：将 RBG 三个值作为输入数据，样本层里的每个神经元代表一种样本颜色，竞争层的两个单元分别代表背景色类和号码色类。输入层和样本层之间的权重存储在二维指针 *w 中，样本层到求和层的关系存储在*a 中， *a 中的值只能是0和1，每个样本层里的神经元对应的类别有且仅有一条边值为1，用来说明该样本层神经元存储的样本颜色属于该边连接的类别。数据收集及神经网络结构实现的伪代码如下：读取号码颜色样本；记录号码颜色样本的颜色，并统计总数 countHM；读取背景颜色样本；记录背景颜色样本的颜色，并统计总数 countBJ；w = (long double *)malloc(co
13、untBJ+countHM)*sizeof(long double *);a = (int *)calloc(countBJ+countHM),sizeof(int *);for(i=0; iGenetic Algorithms in Search, Optimization and Machine Learning is by far the bestselling introduction to genetic algorithms. Goldberg is one of the preeminent researchers in the field-he has published ov
14、er 100 research articles on genetic algorithms and is a student of John Holland, the father of genetic algorithms-and his deep understanding of the material shines through. The book contains a complete listing of a simple genetic algorithm in Pascal, which C programmers can easily understand. The bo
15、ok covers all of the important topics in the field, including crossover, mutation, classifier systems, and fitness scaling, giving a novice with a computer science background enough information to implement a genetic algorithm and describe genetic algorithms to a friend.附录 B：任务完成表姓名 任务高菲 概率神经网络的优化改进方法，论文格式整理，论文最终稿确定赵珍珍 中英文摘要，PPT 制作及讲解人宋艳 资料整理，神经网络的模型、功能、基本学习算法以及实际应用function test_predict = PNN(train_data, train_class, test_data, sig
