《数字识别的支持向量机方法》由会员分享，可在线阅读，更多相关《数字识别的支持向量机方法（26页珍藏版）》请在金锄头文库上搜索。
1、数字识别的支持向量机方法目 录摘要- 1 -Abstract- 2 -第一章 绪论- 3 -1.1研究背景- 3 -1.1.1数字识别概述- 3 -1.1.2数字识别的问题和困难- 3 -第二章 数字识别技术- 4 -2.1数字识别的方法- 4 -2.1.1神经网络的BP学习算法- 4 -2.1.2 SVM算法- 5 -2.2支持向量机与多层前向网络区别- 6 -第三章 统计学理论与支持向量机- 7 -3.1统计学习理论的核心内容- 7 -3.1.1VC维- 7 -3.1.2推广能力的界- 7 -3.1.3结构构风险最小化- 8 -3.2线性支持向量机- 8 -3.3非线性支持向量机- 11
2、-3.4支持向量机的评价- 12 -第四章 数字识别的支持向量机的方法- 13 -4.1 SVM学习算法步骤- 13 -4.2应用SVM算法识别数字字符和结果分析- 14 -4.2.1数字识别的实现- 14 -4.2.2 识别结果分析- 15 -4.3支持向量机与多层前向网络BP算法结果的比较- 16 -第五章 结论- 17 -致谢- 18 -参考文献- 19 -附录- 20 -摘要数字作为世界经济发展的信息的载体，利用计算机数字识别和文档处理技术成为人们迫切要解决的问题。本文先介绍数字识别和数字识别的几种技术，主要包括多层神经网络BP算法和支持向量机等,并对这两种方法的比较，找出他们的区别。
3、接下来介绍支持向量机的工作原理以及在其图像识别中的应用，指出了该方法与BP识别法的优势所在，并在以数字字符的识别为例进行实现，通过把字符图像转化为数据矩阵，并MATLAB下给出识别结果，实验结果表明了该方法识别准确性较高，而且SVM（support ector machine）样本训练的收敛速度比较快。关键词：数字识别 支持向量机 数据矩阵 MATLABAbstract Digital as the development of the world economy by computer information carrier, digital identification and docum
4、ent processing technology to become people urgent problems to solve. This paper first introduces digital identification and several kinds of numeral recognition technology, mainly including multilayer neural network based on BP algorithm and support vector machine, etc, and on the comparison of the
5、two methods, find out their differences. Next the introduced support vector machine working principle and its application in image recognition, points out the method and BP recognition method advantage, and, in the digital character recognition as an example, through the chatacter image into data ma
6、trix and MATLAB recognition result gives, and experimental results show that the new method is accurate, and the SVM (support ector machine) sample training convergence speed is faster.The keywords：digital identification support ector machine data matrixmatlab第一章 绪论1.1研究背景 1.1.1数字识别概述阿拉伯数字是人类文明的标志之一
7、，也是人们进行交流与沟通的主要媒介。数字作为世界经济发展的信息载体，展示了世界各族人民的思维和认知方式。在我们的日常生活中，每天都要进行大量的文档处理工作，税单、银行支票、汇款单、信用卡账单的处理，以及邮局信函的分检等等，如何利用计算机字符识别和文档处理技术，使人们从这些繁重的手工劳动中解放出来已成为一个迫切需要解决的问题。计算机文字识别，是计算机和人之间进行信息沟通的一座桥梁。计算机文字识别一直是图像识别领域中十分活跃的研究课题。它被认为是典型的图像识别应用研究课题。随着信息时代的到来，如何实习数字识别的自动识别与处理将直接关系到我国信息事业的发展。数字识别是一种类别的识别问题，在理论和技术
8、上都具有较大的研究价值。其中，数字识别特别是手写数字识别因其需要较高的识别精度和较快的识别速度被视为识别领域中“最难的领域”，成为国内外研究的热点。1.1.2数字识别的问题和困难 数字的类别只有十种，笔划也比较简单，其识别问题似乎不是很困难，但事实上，一些测试结果表明，数字的正确识别率并不如印刷体汉字识别正确率高，甚至也不如连机手写提汉字识别率高。这其中的主要原因如下：第一， 手写数字字形相差不大，比如“1”和“7”，“3”和“ 8”很相似，使得准确区分某些数字相当困难；第二， 在实际应用中，对数字识别单字识别正确率的要求要比文字要苛刻得多。这是因为，数字没有上下文关系，每个单字的识别都事关重
9、要，而且数字识别经常涉及的财会、金融领域其严格性使其准确率要求更高。此外，大批量数据处理对系统速度又有相当的要求，许多理论上很完美但速度过低的方法行不通的。因此研究高性能的数字识别算法是一个有相当的挑战性的任务。第二章 数字识别技术 2.1数字识别的方法 数字识别是图像内容识别的一个应用领域，且有被识别的数较少，只有十个数字，阿拉伯数字笔画少的特点。所以手写阿拉伯数字的识别采用的方法相对于人脸识别、汉字识别等应用领域来说可以采用更为灵活的方法，例如基于神经网络的BP学习算法、SVM方法等。但无论使用那种方法，都需要通过基本的图像处理技术来对图像进行预处理，才能获得这些方法的输入信息。下面我们来
10、介绍这两种方法。2.1.1神经网络的BP学习算法神经网络是模拟人脑内部结构，在模拟推理、自动学习等方面接近人脑的自组织和并行处理的数学模型，包括输入层、隐含层、输出层。其优点之一是，不依赖于对象，通过学习将输入、输出以权值的方式编码，把它们联系起来。神经网络在数据挖掘中的优势是：噪声数据的强承受能力，对数据分类的高准确性，以及可用各种算法进行规则提取。因此，常常借助神经网络来进行数据挖掘。BP学习过程可以描述如下： 1）工作信号正向传播。输入信号从输入层经隐单元，传向输出层，在输出端产生输出信号，这是工作信号的正向传播。在信号的向前传递过程中网络的权值是固定不变的，每一层神经元的状态只影响下一
11、层神经元的状态。如果在输出层不能得到期望的输出，则转入误差信号方向传播。2）误差信号方向传播。网络的实际输出与期望输出之间的差值即为误差信号，误差信号由输出端开始逐层向前传播，这是误差信号的反向传播。在误差信号方向传播的过程中，网络的权值由误差反馈进行调节。通过权值的不断修正使网络的实际输出更接近期望输出。- 1 -工作信号误差信号图为多层感知器的一部分，其中有两种信号：一是用实线表示的工作信号，工作信号正向传播；二是用虚线表示的误差信号，误差信号反向传播。2.1.2 SVM算法SVM方法定义最优线性超平面，并把寻找最优线性超平面的算法归结为求解一个凸规划问题。进而基于Mercer核展开定理，
12、通过非线性映射，把样本空间映射到一个高维乃至于无穷维的特征空间（Hilbert空间），使在特征空间中可以应用线性学习机的方法解决样本空间中的高度非线性分类和回归等问题。 简单地说就是升维和线性化。升维，即是把样本向高维空间做映射，一般只会增加计算的复杂性，甚至会引起“维数灾”，因而人们很少问津。但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间却可以通过一个线性超平面实现线性划分（或回归）。SVM的线性化是在变换后的高维空间中应用解线性问题的方法来进行计算。在高维特征空间中得到的是问题的线性解，但与之相对应的却是原来样本空间中问题的非线性解。 一般的升维都会
13、带来计算的复杂化。SVM方法巧妙地解决了这两个难题：由于应用了核函数的展开定理，所以根本不需要知道非线性映射的显式表达式；由于是在高维特征空间中建立线性学习机，所以与线性模型相比不但几乎不增加计算的复杂性，而且在某种程度上避免了“维数灾”。这一切要归功于核的展开和计算理论。因此人们又称SVM方法为基于核的一种方法。核方法研究是比SVM更为广泛和深刻的研究领域。 2.2支持向量机与多层前向网络区别（1） 采用径向基核函数时，支持向量机实现的是一种径向基核函数分类器，径向基核函数的中心位置以及中心数目、网络的权值都是又训练过程中自动确定，而传统RBF网络对这些参数的确定则依赖于经验知识。（2） 当
14、采用SIGMOID 函数作为核函数时，支持向量机实现的是一种多层感知齐神经网络。应用SVM 方法，隐结点的权值都是在设计（训练）的过程中自动确定的.而多层感知器的隐结点数目是需要依赖经验知识事先确定的.此外，在多层感知器中，模型复杂性的控制是通过使特征数目尽量小，也就是使隐层神经元数目尽可能小来实现的，而支持向量即与此不同，它是通过控制与维树无关的模型复杂性来实现学习机器的设计。（3） 与径向函数网络和多层感知器相比，支持向量机避免了在前者的设计中经常使用的启发式结构，它不依赖于设计者的经验知识；而且支持向量机的理论基础决定了它最终求得的是全局最优值而不是局部极小值，也保证了它对于未知样本的良
15、好泛化能力而不会出现过学习现象。第三章 统计学理论与支持向量机3.1统计学习理论的核心内容统计学习理论被认为是目前针对小样本统计估计和预测学习的最佳理论，它在理论上较系统地研究了经验风险最小化原则成立的条件、有限样本下经验风险与希望风险的关系以及如何利用这些理论找到新的学习原则和方法等问题。主要内容包括四个方面： （1）经验风险最小化准则下统计学习的一致性的条件； （2）在这些条件下关于统计学习方法推广性的界大的结论。 （3）在这些界得基础上建立的小样本归纳推理准则； （4）实现新的准则的实际方法（算法）3.1.1VC维为了研究学习过程一致收敛的速度和推广性，统计学习理论定义了一系列有关函数集学习性能的指标，其中最重要的是VC维。模式识别方法中VC维的定义是：对一个指标函数集，如果存在h个样本能够被函数集中的函数按所有可能的种形式分开，则称函数能够把h个样本打散；函数集得VC维就是它能打散的最大样本数目h。若对任意数目的样本都有函数能将它们打散，则函数集得VC维是无穷大。VC维反映了函数集得学习能
