《智能检测理论与技术08》由会员分享，可在线阅读，更多相关《智能检测理论与技术08（45页珍藏版）》请在金锄头文库上搜索。
1、 第八章第八章 基于支持向量机的智能基于支持向量机的智能检测检测 Intelligent Detection Theory and Technology智能检测理论与技术智能检测理论与技术智能检测智能检测第七章内容回顾第七章内容回顾一、基于神经网络智能检测的概述一、基于神经网络智能检测的概述二、二、神经网络与智能检测建模神经网络与智能检测建模三、三、基于神经网络智能检测的通用模型基于神经网络智能检测的通用模型四、基于神经网络智能检测应用实例四、基于神经网络智能检测应用实例智能检测智能检测第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测智能检测智能检测一、一、统计学习理论统计学习理
2、论二、二、支持向量机基本理论支持向量机基本理论三、三、用于智能检测的支持向量机回归模型用于智能检测的支持向量机回归模型四、基于支持向量机的智能检测应用实例四、基于支持向量机的智能检测应用实例第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测智能检测智能检测8.1 8.1 统计学习理论统计学习理论统计学习理论统计学习理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 支持向量机（支持向量机（支持向量机（支持向量机（SVMSVMSVMSVM）是基于）是基于）是基于）是基于结构风险最小化原则结构风险最小化原则结构风险最小化原则结构风险最小化原则的统计学习的统计学习的
3、统计学习的统计学习方法，能够避免人工神经网络方法的方法，能够避免人工神经网络方法的方法，能够避免人工神经网络方法的方法，能够避免人工神经网络方法的过拟合、容易陷入局部极过拟合、容易陷入局部极过拟合、容易陷入局部极过拟合、容易陷入局部极小小小小等缺陷。由于支持向量机不但较好地解决了以往困扰很多学等缺陷。由于支持向量机不但较好地解决了以往困扰很多学等缺陷。由于支持向量机不但较好地解决了以往困扰很多学等缺陷。由于支持向量机不但较好地解决了以往困扰很多学习方法的习方法的习方法的习方法的小样本、过学习、高维数、局部最优小样本、过学习、高维数、局部最优小样本、过学习、高维数、局部最优小样本、过学习、高维数
4、、局部最优等实际难题，而等实际难题，而等实际难题，而等实际难题，而且具有且具有且具有且具有很强的泛化能力很强的泛化能力很强的泛化能力很强的泛化能力，因此，支持向量机在，因此，支持向量机在，因此，支持向量机在，因此，支持向量机在函数估计函数估计函数估计函数估计和和和和软测软测软测软测量建模量建模量建模量建模方面逐步得到应用。方面逐步得到应用。方面逐步得到应用。方面逐步得到应用。n 支持向量机是一种新的机器学习算法，该方法由于采用了支持向量机是一种新的机器学习算法，该方法由于采用了支持向量机是一种新的机器学习算法，该方法由于采用了支持向量机是一种新的机器学习算法，该方法由于采用了结结结结构风险最小
5、化原则构风险最小化原则构风险最小化原则构风险最小化原则，与传统机器学习方法相比，在，与传统机器学习方法相比，在，与传统机器学习方法相比，在，与传统机器学习方法相比，在最小化学习最小化学习最小化学习最小化学习误差的同时可以保证具有较小的泛化误差误差的同时可以保证具有较小的泛化误差误差的同时可以保证具有较小的泛化误差误差的同时可以保证具有较小的泛化误差。智能检测智能检测8.1 8.1 统计学习理论统计学习理论统计学习理论统计学习理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 过学习问题过学习问题过学习问题过学习问题uu某些情况下，当某些情况下，当某些情况下，当某些情况下，
6、当训练误差过小训练误差过小训练误差过小训练误差过小反而会导致反而会导致反而会导致反而会导致推广能力推广能力推广能力推广能力的的的的下降。下降。下降。下降。 例如：对一组训练样本例如：对一组训练样本例如：对一组训练样本例如：对一组训练样本( ( ( (x,yx,yx,yx,y) ) ) )，x x x x分布在实数分布在实数分布在实数分布在实数范围内，范围内，范围内，范围内，y y y y取值在取值在取值在取值在0000，1111之间。无论这些样本是由什么之间。无论这些样本是由什么之间。无论这些样本是由什么之间。无论这些样本是由什么模型产生的，总可以用模型产生的，总可以用模型产生的，总可以用模型
7、产生的，总可以用y=y=y=y=sin(wsin(wsin(wsin(w*x)*x)*x)*x)去拟合，使得训练去拟合，使得训练去拟合，使得训练去拟合，使得训练误差为误差为误差为误差为0 0 0 0。智能检测智能检测8.1 8.1 统计学习理论统计学习理论统计学习理论统计学习理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 机器学习的目的是根据给定的训练样本求对某系统输入输出机器学习的目的是根据给定的训练样本求对某系统输入输出机器学习的目的是根据给定的训练样本求对某系统输入输出机器学习的目的是根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它能够之间依赖关系的
8、估计，使它能够之间依赖关系的估计，使它能够之间依赖关系的估计，使它能够对未知输出作出尽可能准确的对未知输出作出尽可能准确的对未知输出作出尽可能准确的对未知输出作出尽可能准确的预测预测预测预测。n n 变量变量变量变量y y y y与与与与x x x x存在一定的未知依赖关系，即遵循某一未知的联合存在一定的未知依赖关系，即遵循某一未知的联合存在一定的未知依赖关系，即遵循某一未知的联合存在一定的未知依赖关系，即遵循某一未知的联合概率概率概率概率 ，（，（，（，（x x x x和和和和y y y y之间的确定性关系可以看作是其特例，机器之间的确定性关系可以看作是其特例，机器之间的确定性关系可以看作是
9、其特例，机器之间的确定性关系可以看作是其特例，机器学习问题就是根据学习问题就是根据学习问题就是根据学习问题就是根据n n n n个独立同分布观测样本个独立同分布观测样本个独立同分布观测样本个独立同分布观测样本 ，在一组函数，在一组函数，在一组函数，在一组函数 中求一个最优的函数中求一个最优的函数中求一个最优的函数中求一个最优的函数 对依赖关系进行估计，对依赖关系进行估计，对依赖关系进行估计，对依赖关系进行估计，使使使使期望风险期望风险期望风险期望风险最小最小最小最小。是由于是由于是由于是由于对对y y的的的的预测误预测误差而造成差而造成差而造成差而造成的的的的损损失。失。失。失。 智能检测智能
10、检测8.1 8.1 统计学习理论统计学习理论统计学习理论统计学习理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 学习的目标在于使学习的目标在于使学习的目标在于使学习的目标在于使期望风险最小化期望风险最小化期望风险最小化期望风险最小化，但是由于可以利用，但是由于可以利用，但是由于可以利用，但是由于可以利用的信息只有的信息只有的信息只有的信息只有样本样本样本样本，期望风险并无法计算，因此在传统的学习，期望风险并无法计算，因此在传统的学习，期望风险并无法计算，因此在传统的学习，期望风险并无法计算，因此在传统的学习方法中，采用了所谓方法中，采用了所谓方法中，采用了所谓方法中，
11、采用了所谓经验风险最小化（经验风险最小化（经验风险最小化（经验风险最小化（ Empirical Risk Empirical Risk Empirical Risk Empirical Risk MinimizationMinimizationMinimizationMinimization，ERMERMERMERM）准则）准则）准则）准则，即用样本定义，即用样本定义，即用样本定义，即用样本定义经验风险经验风险经验风险经验风险设计学习算法使设计学习算法使设计学习算法使设计学习算法使 最小化，作为对期望风险的估计。最小化，作为对期望风险的估计。最小化，作为对期望风险的估计。最小化，作为对期望风险
12、的估计。智能检测智能检测8.1 8.1 统计学习理论统计学习理论统计学习理论统计学习理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 用用用用经验风险最小化准则经验风险最小化准则经验风险最小化准则经验风险最小化准则代替代替代替代替期望风险最小化期望风险最小化期望风险最小化期望风险最小化并没有经过充分并没有经过充分并没有经过充分并没有经过充分的理论论证，但这种思想却在传统的机器学习方法研究中占据了的理论论证，但这种思想却在传统的机器学习方法研究中占据了的理论论证，但这种思想却在传统的机器学习方法研究中占据了的理论论证，但这种思想却在传统的机器学习方法研究中占据了主要的地位
13、。以前大量研究都将注意力集中到如何更好地最小化主要的地位。以前大量研究都将注意力集中到如何更好地最小化主要的地位。以前大量研究都将注意力集中到如何更好地最小化主要的地位。以前大量研究都将注意力集中到如何更好地最小化经验风险上，而实际上，即使可以假定当经验风险上，而实际上，即使可以假定当经验风险上，而实际上，即使可以假定当经验风险上，而实际上，即使可以假定当n n n n趋向于无穷大时，在很趋向于无穷大时，在很趋向于无穷大时，在很趋向于无穷大时，在很多问题中的样本数目也离无穷大相差很远。多问题中的样本数目也离无穷大相差很远。多问题中的样本数目也离无穷大相差很远。多问题中的样本数目也离无穷大相差很
14、远。有限样本下有限样本下有限样本下有限样本下ERMERMERMERM准则得准则得准则得准则得到的结果并不能使真实风险也较小到的结果并不能使真实风险也较小到的结果并不能使真实风险也较小到的结果并不能使真实风险也较小。n n 神经网络的过学习问题神经网络的过学习问题神经网络的过学习问题神经网络的过学习问题：很多注意力都集中在如何使经验风：很多注意力都集中在如何使经验风：很多注意力都集中在如何使经验风：很多注意力都集中在如何使经验风险更小，但是训练误差小并不总能导致好的预测效果。某些情况险更小，但是训练误差小并不总能导致好的预测效果。某些情况险更小，但是训练误差小并不总能导致好的预测效果。某些情况险
15、更小，但是训练误差小并不总能导致好的预测效果。某些情况下，训练误差过小反而会导致推广能力的下降，即真实风险的增下，训练误差过小反而会导致推广能力的下降，即真实风险的增下，训练误差过小反而会导致推广能力的下降，即真实风险的增下，训练误差过小反而会导致推广能力的下降，即真实风险的增加，这就是加，这就是加，这就是加，这就是神经网络的过学习问题神经网络的过学习问题神经网络的过学习问题神经网络的过学习问题。（。（。（。（过拟合过拟合过拟合过拟合）智能检测智能检测8.1 8.1 统计学习理论统计学习理论统计学习理论统计学习理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 有限样本的
16、情况下，经验风险最小并不一定意味着期望风险最有限样本的情况下，经验风险最小并不一定意味着期望风险最有限样本的情况下，经验风险最小并不一定意味着期望风险最有限样本的情况下，经验风险最小并不一定意味着期望风险最小；学习机器的复杂性不但应与所研究的系统有关，而且要和有限小；学习机器的复杂性不但应与所研究的系统有关，而且要和有限小；学习机器的复杂性不但应与所研究的系统有关，而且要和有限小；学习机器的复杂性不但应与所研究的系统有关，而且要和有限数目的样本相适应。需要一种能够指导在数目的样本相适应。需要一种能够指导在数目的样本相适应。需要一种能够指导在数目的样本相适应。需要一种能够指导在小样本情况下建立有
17、效的小样本情况下建立有效的小样本情况下建立有效的小样本情况下建立有效的学习和推广方法的理论学习和推广方法的理论学习和推广方法的理论学习和推广方法的理论。n n 统计学习理论就是研究统计学习理论就是研究统计学习理论就是研究统计学习理论就是研究小样本统计估计和预测的理论小样本统计估计和预测的理论小样本统计估计和预测的理论小样本统计估计和预测的理论，主要内，主要内，主要内，主要内容包括下面四个方面：容包括下面四个方面：容包括下面四个方面：容包括下面四个方面：uu经验风险最小化准则下经验风险最小化准则下经验风险最小化准则下经验风险最小化准则下统计学习一致性的条件统计学习一致性的条件统计学习一致性的条件
18、统计学习一致性的条件；uu在这些条件下关于统计学习方法在这些条件下关于统计学习方法在这些条件下关于统计学习方法在这些条件下关于统计学习方法推广性的界的结论推广性的界的结论推广性的界的结论推广性的界的结论；uu在这些界的基础上建立的小样本归纳推理准则；在这些界的基础上建立的小样本归纳推理准则；在这些界的基础上建立的小样本归纳推理准则；在这些界的基础上建立的小样本归纳推理准则；uu实现新的准则的实际方法（算法）实现新的准则的实际方法（算法）实现新的准则的实际方法（算法）实现新的准则的实际方法（算法）。SVM智能检测智能检测8.1 8.1 统计学习理论统计学习理论统计学习理论统计学习理论第八章第八章
19、 基于支持向量机的智能检测基于支持向量机的智能检测n n VCVCVCVC维维维维uu 为了研究学习过程一致收敛的速度和推广性，为了研究学习过程一致收敛的速度和推广性，为了研究学习过程一致收敛的速度和推广性，为了研究学习过程一致收敛的速度和推广性，VapnikVapnikVapnikVapnik V N V N V N V N在在在在统计学习理论定义了一系列有关函数集学习性能的指标，其中统计学习理论定义了一系列有关函数集学习性能的指标，其中统计学习理论定义了一系列有关函数集学习性能的指标，其中统计学习理论定义了一系列有关函数集学习性能的指标，其中最重要的是最重要的是最重要的是最重要的是VCVC
20、VCVC维（维（维（维（Vapnik-ChervonenkisVapnik-ChervonenkisVapnik-ChervonenkisVapnik-Chervonenkis Dimension Dimension Dimension Dimension）。uu 模式识别方法中模式识别方法中模式识别方法中模式识别方法中VCVCVCVC维的直观定义维的直观定义维的直观定义维的直观定义t t 对一个指示函数集，如果存对一个指示函数集，如果存对一个指示函数集，如果存对一个指示函数集，如果存l l个样本能够被函数集中的函个样本能够被函数集中的函个样本能够被函数集中的函个样本能够被函数集中的函数按所有
21、可能的数按所有可能的数按所有可能的数按所有可能的2 2 2 2 l l种形式分开，则称函数集能够把种形式分开，则称函数集能够把种形式分开，则称函数集能够把种形式分开，则称函数集能够把l l个样本个样本个样本个样本打散；打散；打散；打散；函数集的函数集的函数集的函数集的VCVCVCVC维就是它能打散的最大样本数目维就是它能打散的最大样本数目维就是它能打散的最大样本数目维就是它能打散的最大样本数目l l 。t t 若对任意数目的样本都有函数能将它们打散，则函数集若对任意数目的样本都有函数能将它们打散，则函数集若对任意数目的样本都有函数能将它们打散，则函数集若对任意数目的样本都有函数能将它们打散，则
22、函数集的的的的VCVCVCVC维是无穷大。有界实函数的维是无穷大。有界实函数的维是无穷大。有界实函数的维是无穷大。有界实函数的VCVCVCVC维可以通过用一定的阈值维可以通过用一定的阈值维可以通过用一定的阈值维可以通过用一定的阈值将它转化成指示函数来定义。将它转化成指示函数来定义。将它转化成指示函数来定义。将它转化成指示函数来定义。智能检测智能检测8.1 8.1 统计学习理论统计学习理论统计学习理论统计学习理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n VCVCVCVC维维维维uu反映了函数集的学习能力，反映了函数集的学习能力，反映了函数集的学习能力，反映了函数集的学
23、习能力，VCVCVCVC维越大则学习机器越复杂维越大则学习机器越复杂维越大则学习机器越复杂维越大则学习机器越复杂。uu目前尚目前尚目前尚目前尚没有通用的关于任意函数没有通用的关于任意函数没有通用的关于任意函数没有通用的关于任意函数VCVCVCVC维计算的理论维计算的理论维计算的理论维计算的理论，只对一些，只对一些，只对一些，只对一些特殊的函数集知道其特殊的函数集知道其特殊的函数集知道其特殊的函数集知道其VCVCVCVC维。维。维。维。t t 在在在在n n维实数空间中线性分类器和线性实函数的维实数空间中线性分类器和线性实函数的维实数空间中线性分类器和线性实函数的维实数空间中线性分类器和线性实函
24、数的VCVCVCVC维是维是维是维是n n+1+1+1+1。 t t 对于一些比较复杂的学习机器（如神经网络），其对于一些比较复杂的学习机器（如神经网络），其对于一些比较复杂的学习机器（如神经网络），其对于一些比较复杂的学习机器（如神经网络），其VCVCVCVC维维维维除了与函数集（神经网结构）有关外，还受学习算法等的除了与函数集（神经网结构）有关外，还受学习算法等的除了与函数集（神经网结构）有关外，还受学习算法等的除了与函数集（神经网结构）有关外，还受学习算法等的影响，其影响，其影响，其影响，其VCVCVCVC维的确定更加困难。维的确定更加困难。维的确定更加困难。维的确定更加困难。uu对于给
25、定的学习函数集，如何（用理论或实验的方法）计算对于给定的学习函数集，如何（用理论或实验的方法）计算对于给定的学习函数集，如何（用理论或实验的方法）计算对于给定的学习函数集，如何（用理论或实验的方法）计算其其其其VCVCVCVC维是当前统计学习理论中有待研究的一个重要问题。维是当前统计学习理论中有待研究的一个重要问题。维是当前统计学习理论中有待研究的一个重要问题。维是当前统计学习理论中有待研究的一个重要问题。智能检测智能检测8.1 8.1 统计学习理论统计学习理论统计学习理论统计学习理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 结构结构结构结构风险最小化风险最小化风险
26、最小化风险最小化uu经验风险和实际风险之间的关系，即经验风险和实际风险之间的关系，即经验风险和实际风险之间的关系，即经验风险和实际风险之间的关系，即推广性的界推广性的界推广性的界推广性的界。 得到的结论是：经验风险得到的结论是：经验风险得到的结论是：经验风险得到的结论是：经验风险 和实际风险和实际风险和实际风险和实际风险 之间以至少之间以至少之间以至少之间以至少 的概率满足如下关系的概率满足如下关系的概率满足如下关系的概率满足如下关系 其中其中其中其中l l是函数集的是函数集的是函数集的是函数集的VCVCVCVC维，维，维，维，n n是样本数。这一结论从理论上说是样本数。这一结论从理论上说是样
27、本数。这一结论从理论上说是样本数。这一结论从理论上说明了学习机器的实际风险是由两部分组成的：一是明了学习机器的实际风险是由两部分组成的：一是明了学习机器的实际风险是由两部分组成的：一是明了学习机器的实际风险是由两部分组成的：一是经验风险经验风险经验风险经验风险（训练误差），另一部分称作（训练误差），另一部分称作（训练误差），另一部分称作（训练误差），另一部分称作置信范围置信范围置信范围置信范围，它和学习机器的，它和学习机器的，它和学习机器的，它和学习机器的VC VC VC VC 维及训练样本数有关。维及训练样本数有关。维及训练样本数有关。维及训练样本数有关。智能检测智能检测8.1 8.1 统计
28、学习理论统计学习理论统计学习理论统计学习理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 结构结构结构结构风险最小化风险最小化风险最小化风险最小化 uu经验风险和实际风险之间的关系，即推广性的界。经验风险和实际风险之间的关系，即推广性的界。经验风险和实际风险之间的关系，即推广性的界。经验风险和实际风险之间的关系，即推广性的界。上式表上式表上式表上式表明，在有限训练样本下，学习机器的明，在有限训练样本下，学习机器的明，在有限训练样本下，学习机器的明，在有限训练样本下，学习机器的VCVCVCVC维越高则置信范围维越高则置信范围维越高则置信范围维越高则置信范围越大，导致真实风
29、险与经验风险之间可能的差别越大。这越大，导致真实风险与经验风险之间可能的差别越大。这越大，导致真实风险与经验风险之间可能的差别越大。这越大，导致真实风险与经验风险之间可能的差别越大。这就是为什么会出现过学习现象的原因。就是为什么会出现过学习现象的原因。就是为什么会出现过学习现象的原因。就是为什么会出现过学习现象的原因。机器学习过程不但机器学习过程不但机器学习过程不但机器学习过程不但要使经验风险最小，还要使要使经验风险最小，还要使要使经验风险最小，还要使要使经验风险最小，还要使VCVCVCVC维尽量小以缩小置信范围维尽量小以缩小置信范围维尽量小以缩小置信范围维尽量小以缩小置信范围，才能取得较小的
30、实际风险，即对未来样本有较好的推广性。才能取得较小的实际风险，即对未来样本有较好的推广性。才能取得较小的实际风险，即对未来样本有较好的推广性。才能取得较小的实际风险，即对未来样本有较好的推广性。智能检测智能检测8.1 8.1 统计学习理论统计学习理论统计学习理论统计学习理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 结构结构结构结构风险最小化风险最小化风险最小化风险最小化uu统计学习理论给出了合理的统计学习理论给出了合理的统计学习理论给出了合理的统计学习理论给出了合理的函数子集结构应满足的条件函数子集结构应满足的条件函数子集结构应满足的条件函数子集结构应满足的条件及在
31、及在及在及在SRMSRMSRMSRM准则下实际风险收准则下实际风险收准则下实际风险收准则下实际风险收敛的性质。敛的性质。敛的性质。敛的性质。uu构造一组嵌套的函数子集，构造一组嵌套的函数子集，构造一组嵌套的函数子集，构造一组嵌套的函数子集，使其使其使其使其VCVCVCVC维由内向外依次递增，维由内向外依次递增，维由内向外依次递增，维由内向外依次递增，然后在该嵌套子集中寻找能然后在该嵌套子集中寻找能然后在该嵌套子集中寻找能然后在该嵌套子集中寻找能够使够使够使够使经验风险和置信范围之经验风险和置信范围之经验风险和置信范围之经验风险和置信范围之和最小的子集和最小的子集和最小的子集和最小的子集，从而使
32、得实，从而使得实，从而使得实，从而使得实际风险上界达到最小化。际风险上界达到最小化。际风险上界达到最小化。际风险上界达到最小化。支支支支持向量机方法持向量机方法持向量机方法持向量机方法实际上就是这实际上就是这实际上就是这实际上就是这种思想的具体实现。种思想的具体实现。种思想的具体实现。种思想的具体实现。结构风险最小化示意图结构风险最小化示意图结构风险最小化示意图结构风险最小化示意图智能检测智能检测8.2 8.2 支持向量机基本理论支持向量机基本理论支持向量机基本理论支持向量机基本理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 用于线性分类的支持向量机用于线性分类的支持
33、向量机用于线性分类的支持向量机用于线性分类的支持向量机uuSVMSVMSVMSVM是从线性可分情况下的是从线性可分情况下的是从线性可分情况下的是从线性可分情况下的最优分类面发展而来的，基最优分类面发展而来的，基最优分类面发展而来的，基最优分类面发展而来的，基本思想可用右图的两维情况本思想可用右图的两维情况本思想可用右图的两维情况本思想可用右图的两维情况说明。说明。说明。说明。uu最优分类线就是要求分类最优分类线就是要求分类最优分类线就是要求分类最优分类线就是要求分类线不但能将两类正确分开线不但能将两类正确分开线不但能将两类正确分开线不但能将两类正确分开（训练错误率为（训练错误率为（训练错误率为
34、（训练错误率为0 0 0 0），而且），而且），而且），而且使分类间隔最大。使分类间隔最大。使分类间隔最大。使分类间隔最大。uu使分类间隔最大实际上就使分类间隔最大实际上就使分类间隔最大实际上就使分类间隔最大实际上就是对推广能力的控制是对推广能力的控制是对推广能力的控制是对推广能力的控制，这是，这是，这是，这是SVMSVMSVMSVM的核心思想之一。的核心思想之一。的核心思想之一。的核心思想之一。线性可分情况下的最优分类线线性可分情况下的最优分类线线性可分情况下的最优分类线线性可分情况下的最优分类线智能检测智能检测8.2 8.2 支持向量机基本理论支持向量机基本理论支持向量机基本理论支持向量机
35、基本理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 用于线性分类的支持向量机用于线性分类的支持向量机用于线性分类的支持向量机用于线性分类的支持向量机uu在线性分类在线性分类在线性分类在线性分类SVMSVMSVMSVM算法中，假设训练样本集为算法中，假设训练样本集为算法中，假设训练样本集为算法中，假设训练样本集为 其中其中其中其中 （R R表示为实数域）。对于表示为实数域）。对于表示为实数域）。对于表示为实数域）。对于两类的分类问题，两类的分类问题，两类的分类问题，两类的分类问题， 。支持向量机分支持向量机分支持向量机分支持向量机分类算法的原始形式可归结为下列类算法的原
36、始形式可归结为下列类算法的原始形式可归结为下列类算法的原始形式可归结为下列二次规划问题二次规划问题二次规划问题二次规划问题（Quadratic Quadratic Quadratic Quadratic ProgrammingProgrammingProgrammingProgramming，QPQPQPQP）uu当无错分样本时，最小化目标函数的第一项等价于最大化两当无错分样本时，最小化目标函数的第一项等价于最大化两当无错分样本时，最小化目标函数的第一项等价于最大化两当无错分样本时，最小化目标函数的第一项等价于最大化两类间的间隔，类间的间隔，类间的间隔，类间的间隔，可降低分类器的可降低分类器的
37、可降低分类器的可降低分类器的VCVCVCVC维维维维，实现，实现，实现，实现结构风险最小化原结构风险最小化原结构风险最小化原结构风险最小化原则则则则。为松弛项，表示错分样本的惩罚程度；为松弛项，表示错分样本的惩罚程度；为松弛项，表示错分样本的惩罚程度；为松弛项，表示错分样本的惩罚程度； C C为常数，用于控制对错分样本惩罚的程为常数，用于控制对错分样本惩罚的程为常数，用于控制对错分样本惩罚的程为常数，用于控制对错分样本惩罚的程度，实现在错分样本数与模型复杂性之间度，实现在错分样本数与模型复杂性之间度，实现在错分样本数与模型复杂性之间度，实现在错分样本数与模型复杂性之间的折衷；的折衷；的折衷；的
38、折衷；智能检测智能检测8.2 8.2 支持向量机基本理论支持向量机基本理论支持向量机基本理论支持向量机基本理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 用于线性分类的支持向量机用于线性分类的支持向量机用于线性分类的支持向量机用于线性分类的支持向量机uu上述二次规划的对偶形式为上述二次规划的对偶形式为上述二次规划的对偶形式为上述二次规划的对偶形式为uu根据最优化理论中的根据最优化理论中的根据最优化理论中的根据最优化理论中的KKTKKTKKTKKT条件条件条件条件，只有少量样本的，只有少量样本的，只有少量样本的，只有少量样本的 值不为值不为值不为值不为零，零，零，零，V
39、apnikVapnikVapnikVapnik V N V N V N V N等人称之为等人称之为等人称之为等人称之为支持向量支持向量支持向量支持向量，这便是支持向量机名，这便是支持向量机名，这便是支持向量机名，这便是支持向量机名称的由来。称的由来。称的由来。称的由来。uu SVMSVMSVMSVM的最优求解基于的最优求解基于的最优求解基于的最优求解基于结构风险最小化思想结构风险最小化思想结构风险最小化思想结构风险最小化思想，因此比其它非线，因此比其它非线，因此比其它非线，因此比其它非线性函数逼近方法具有性函数逼近方法具有性函数逼近方法具有性函数逼近方法具有更强的泛化能力更强的泛化能力更强的泛
40、化能力更强的泛化能力。其中其中其中其中 为为为为LagrangeLagrangeLagrangeLagrange乘子。乘子。乘子。乘子。 智能检测智能检测8.2 8.2 支持向量机基本理论支持向量机基本理论支持向量机基本理论支持向量机基本理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 用于非线性回归的支持向量机用于非线性回归的支持向量机用于非线性回归的支持向量机用于非线性回归的支持向量机最小化最小化最大化最大化非线性回归模型非线性回归模型智能检测智能检测8.2 8.2 支持向量机基本理论支持向量机基本理论支持向量机基本理论支持向量机基本理论第八章第八章 基于支持向量机
41、的智能检测基于支持向量机的智能检测n n 用于非线性回归的支持向量机用于非线性回归的支持向量机用于非线性回归的支持向量机用于非线性回归的支持向量机uu概括地说，支持向量机就是概括地说，支持向量机就是概括地说，支持向量机就是概括地说，支持向量机就是首先通过用首先通过用首先通过用首先通过用内积函数内积函数内积函数内积函数定义的定义的定义的定义的非线性变换非线性变换非线性变换非线性变换将输入空间变换将输入空间变换将输入空间变换将输入空间变换到一个高维空间，在这个空到一个高维空间，在这个空到一个高维空间，在这个空到一个高维空间，在这个空间中求（广义）间中求（广义）间中求（广义）间中求（广义）最优分类面
42、最优分类面最优分类面最优分类面。SVMSVMSVMSVM形式上类似于一个形式上类似于一个形式上类似于一个形式上类似于一个神经网神经网神经网神经网络络络络，输出是中间节点的线性，输出是中间节点的线性，输出是中间节点的线性，输出是中间节点的线性组合，每个中间节点对应一组合，每个中间节点对应一组合，每个中间节点对应一组合，每个中间节点对应一个个个个支持向量支持向量支持向量支持向量。支持向量机结构示意图支持向量机结构示意图支持向量机结构示意图支持向量机结构示意图智能检测智能检测8.2 8.2 支持向量机基本理论支持向量机基本理论支持向量机基本理论支持向量机基本理论第八章第八章 基于支持向量机的智能检测
43、基于支持向量机的智能检测n n SVMSVMSVMSVM常用核函数常用核函数常用核函数常用核函数智能检测智能检测8.2 8.2 支持向量机基本理论支持向量机基本理论支持向量机基本理论支持向量机基本理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n SVMSVMSVMSVM训练算法训练算法训练算法训练算法uu传统的利用传统的利用传统的利用传统的利用标准二次型优化技术标准二次型优化技术标准二次型优化技术标准二次型优化技术解决解决解决解决对偶问题对偶问题对偶问题对偶问题的方法的方法的方法的方法，是是是是SVMSVMSVMSVM训练算法慢及受到训练样本集规模制约的主要原因。训练算
44、法慢及受到训练样本集规模制约的主要原因。训练算法慢及受到训练样本集规模制约的主要原因。训练算法慢及受到训练样本集规模制约的主要原因。uu目前已提出了许多解决方法和改进算法目前已提出了许多解决方法和改进算法目前已提出了许多解决方法和改进算法目前已提出了许多解决方法和改进算法，主要是从如何，主要是从如何，主要是从如何，主要是从如何处理大规模样本集的训练问题、提高训练算法收敛速度处理大规模样本集的训练问题、提高训练算法收敛速度处理大规模样本集的训练问题、提高训练算法收敛速度处理大规模样本集的训练问题、提高训练算法收敛速度等方面改进。等方面改进。等方面改进。等方面改进。uu代数算法：代数算法：代数算法
45、：代数算法：QPQPQPQP算法、算法、算法、算法、ChunkingChunkingChunkingChunking算法、算法、算法、算法、OsunaOsunaOsunaOsuna算法、算法、算法、算法、SMOSMOSMOSMO算算算算法。法。法。法。uu几何算法：几何算法：几何算法：几何算法：SKSKSKSK算法、算法、算法、算法、GilbertGilbertGilbertGilberts s s s算法、算法、算法、算法、MDMMDMMDMMDM算法、算法、算法、算法、NPANPANPANPA算算算算法。法。法。法。智能检测智能检测8.2 8.2 支持向量机基本理论支持向量机基本理论支持向
46、量机基本理论支持向量机基本理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n SVMSVMSVMSVM训练算法：训练算法：训练算法：训练算法：序贯最小优化序贯最小优化序贯最小优化序贯最小优化(SMO)(SMO)(SMO)(SMO)uuSVMSVMSVMSVM的训练问题实际上是一个凸规划问题，或者其对偶的训练问题实际上是一个凸规划问题，或者其对偶的训练问题实际上是一个凸规划问题，或者其对偶的训练问题实际上是一个凸规划问题，或者其对偶问题问题问题问题一个二次规划问题。在最优化理论中的许多成一个二次规划问题。在最优化理论中的许多成一个二次规划问题。在最优化理论中的许多成一个二次
47、规划问题。在最优化理论中的许多成熟的算法都需要利用整个熟的算法都需要利用整个熟的算法都需要利用整个熟的算法都需要利用整个HessianHessianHessianHessian矩阵矩阵矩阵矩阵，但是受计算机，但是受计算机，但是受计算机，但是受计算机内存容量的限制，这些算法仅适用于学习样本较少的内存容量的限制，这些算法仅适用于学习样本较少的内存容量的限制，这些算法仅适用于学习样本较少的内存容量的限制，这些算法仅适用于学习样本较少的情况，而无法处理大量学习样本数据的训练问题。因情况，而无法处理大量学习样本数据的训练问题。因情况，而无法处理大量学习样本数据的训练问题。因情况，而无法处理大量学习样本数
48、据的训练问题。因此设计适于大量学习样本的训练算法成为此设计适于大量学习样本的训练算法成为此设计适于大量学习样本的训练算法成为此设计适于大量学习样本的训练算法成为SVMSVMSVMSVM建模研究建模研究建模研究建模研究中的一个重要内容。其中中的一个重要内容。其中中的一个重要内容。其中中的一个重要内容。其中序贯最小优化序贯最小优化序贯最小优化序贯最小优化(Sequential (Sequential (Sequential (Sequential Minimal OptimizationMinimal OptimizationMinimal OptimizationMinimal Optimiza
49、tion，SMO)SMO)SMO)SMO)算法算法算法算法是一种比较有效的是一种比较有效的是一种比较有效的是一种比较有效的训练算法，在训练算法，在训练算法，在训练算法，在SVMSVMSVMSVM大样本训练中得到广泛应用。大样本训练中得到广泛应用。大样本训练中得到广泛应用。大样本训练中得到广泛应用。智能检测智能检测8.2 8.2 支持向量机基本理论支持向量机基本理论支持向量机基本理论支持向量机基本理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n SVMSVMSVMSVM训练算法：训练算法：训练算法：训练算法：序贯最小优化序贯最小优化序贯最小优化序贯最小优化uu序贯最小优化
50、是由序贯最小优化是由序贯最小优化是由序贯最小优化是由Platt J CPlatt J CPlatt J CPlatt J C提出的，提出的，提出的，提出的，该算法工作集中只有该算法工作集中只有该算法工作集中只有该算法工作集中只有2 2 2 2个样本个样本个样本个样本，其优点是针对其优点是针对其优点是针对其优点是针对2 2 2 2个样本的二次规划问题可以有解析解的形式，从而避免个样本的二次规划问题可以有解析解的形式，从而避免个样本的二次规划问题可以有解析解的形式，从而避免个样本的二次规划问题可以有解析解的形式，从而避免了多样本情形下的数值解不稳定及耗时问题，同时也不需要大的矩阵了多样本情形下的数
51、值解不稳定及耗时问题，同时也不需要大的矩阵了多样本情形下的数值解不稳定及耗时问题，同时也不需要大的矩阵了多样本情形下的数值解不稳定及耗时问题，同时也不需要大的矩阵存储空间，非常适合稀疏样本。存储空间，非常适合稀疏样本。存储空间，非常适合稀疏样本。存储空间，非常适合稀疏样本。uu Platt J CPlatt J CPlatt J CPlatt J C利用两条行之有效的经验利用两条行之有效的经验利用两条行之有效的经验利用两条行之有效的经验确定工作集确定工作集确定工作集确定工作集。外层循环在某个乘。外层循环在某个乘。外层循环在某个乘。外层循环在某个乘子集合中遍历，将第一个不满足优化条件的乘子作为第
52、一个被优化对子集合中遍历，将第一个不满足优化条件的乘子作为第一个被优化对子集合中遍历，将第一个不满足优化条件的乘子作为第一个被优化对子集合中遍历，将第一个不满足优化条件的乘子作为第一个被优化对象。第一次遍历全部乘子，以后遍历非有界乘子；如果所有非有界乘象。第一次遍历全部乘子，以后遍历非有界乘子；如果所有非有界乘象。第一次遍历全部乘子，以后遍历非有界乘子；如果所有非有界乘象。第一次遍历全部乘子，以后遍历非有界乘子；如果所有非有界乘子都满足优化条件，则再次遍历全部乘子。一旦找到第一个乘子，内子都满足优化条件，则再次遍历全部乘子。一旦找到第一个乘子，内子都满足优化条件，则再次遍历全部乘子。一旦找到第
53、一个乘子，内子都满足优化条件，则再次遍历全部乘子。一旦找到第一个乘子，内层循环寻找第二个乘子，使其在当前迭代步中具有最大的改变量。层循环寻找第二个乘子，使其在当前迭代步中具有最大的改变量。层循环寻找第二个乘子，使其在当前迭代步中具有最大的改变量。层循环寻找第二个乘子，使其在当前迭代步中具有最大的改变量。uu为减少计算量，为减少计算量，为减少计算量，为减少计算量，Platt J CPlatt J CPlatt J CPlatt J C直接根据直接根据直接根据直接根据当前分类器对样本的分类错误量来当前分类器对样本的分类错误量来当前分类器对样本的分类错误量来当前分类器对样本的分类错误量来大致估计大致
54、估计大致估计大致估计。对估计值不满足要求的情况还设计出了相应对策。一旦确。对估计值不满足要求的情况还设计出了相应对策。一旦确。对估计值不满足要求的情况还设计出了相应对策。一旦确。对估计值不满足要求的情况还设计出了相应对策。一旦确定了工作集，就得到一个二阶的定了工作集，就得到一个二阶的定了工作集，就得到一个二阶的定了工作集，就得到一个二阶的QPQPQPQP问题，可以求得解析解，而无需其问题，可以求得解析解，而无需其问题，可以求得解析解，而无需其问题，可以求得解析解，而无需其他复杂的优化软件包。他复杂的优化软件包。他复杂的优化软件包。他复杂的优化软件包。智能检测智能检测8.2 8.2 支持向量机基
55、本理论支持向量机基本理论支持向量机基本理论支持向量机基本理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n SVMSVMSVMSVM训练算法：训练算法：训练算法：训练算法：序贯最小优化序贯最小优化序贯最小优化序贯最小优化uu在许多实际问题中，样本数据的各分量中有很多在许多实际问题中，样本数据的各分量中有很多在许多实际问题中，样本数据的各分量中有很多在许多实际问题中，样本数据的各分量中有很多是零。是零。是零。是零。SMOSMOSMOSMO算法充分利用了这种算法充分利用了这种算法充分利用了这种算法充分利用了这种稀疏性稀疏性稀疏性稀疏性，优化某些，优化某些，优化某些，优化某些核
56、函数的计算，减少了核函数的计算量。核函数的计算，减少了核函数的计算量。核函数的计算，减少了核函数的计算量。核函数的计算，减少了核函数的计算量。uu SMOSMOSMOSMO算法主要包括两个步骤：算法主要包括两个步骤：算法主要包括两个步骤：算法主要包括两个步骤：一是求解最小工作一是求解最小工作一是求解最小工作一是求解最小工作集中两个集中两个集中两个集中两个LagrangeLagrangeLagrangeLagrange乘子优化问题的分解步骤乘子优化问题的分解步骤乘子优化问题的分解步骤乘子优化问题的分解步骤；二二二二是如何选择这两个是如何选择这两个是如何选择这两个是如何选择这两个LagrangeL
57、agrangeLagrangeLagrange乘子乘子乘子乘子。将。将。将。将SMOSMOSMOSMO算法应用算法应用算法应用算法应用到到到到SVMSVMSVMSVM大量学习样本的训练中，可以大大缩短训练大量学习样本的训练中，可以大大缩短训练大量学习样本的训练中，可以大大缩短训练大量学习样本的训练中，可以大大缩短训练时间，提高程序效率。时间，提高程序效率。时间，提高程序效率。时间，提高程序效率。智能检测智能检测8.2 8.2 支持向量机基本理论支持向量机基本理论支持向量机基本理论支持向量机基本理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n SVMSVMSVMSVM方法的特
58、点方法的特点方法的特点方法的特点uu由于由于由于由于SVM SVM SVM SVM 的求解最后转化成的求解最后转化成的求解最后转化成的求解最后转化成二次规划问题二次规划问题二次规划问题二次规划问题的求解，的求解，的求解，的求解，因此因此因此因此SVM SVM SVM SVM 的解是的解是的解是的解是全局唯一的最优解全局唯一的最优解全局唯一的最优解全局唯一的最优解。uu非线性映射非线性映射非线性映射非线性映射是是是是SVMSVMSVMSVM方法的理论基础，方法的理论基础，方法的理论基础，方法的理论基础，SVMSVMSVMSVM利用利用利用利用内积核内积核内积核内积核函数函数函数函数代替向代替向代
59、替向代替向高维空间的非线性映射高维空间的非线性映射高维空间的非线性映射高维空间的非线性映射。uuSVMSVMSVMSVM在解决在解决在解决在解决小样本、非线性及高维模式识别小样本、非线性及高维模式识别小样本、非线性及高维模式识别小样本、非线性及高维模式识别问题中问题中问题中问题中表现出许多特有的优势，并能够推广应用到表现出许多特有的优势，并能够推广应用到表现出许多特有的优势，并能够推广应用到表现出许多特有的优势，并能够推广应用到函数拟函数拟函数拟函数拟合合合合等其他机器学习问题中。等其他机器学习问题中。等其他机器学习问题中。等其他机器学习问题中。智能检测智能检测8.2 8.2 支持向量机基本理
60、论支持向量机基本理论支持向量机基本理论支持向量机基本理论第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n SVMSVMSVMSVM方法的特点方法的特点方法的特点方法的特点uuSVM SVM SVM SVM 的最终决策函数只由少数的支持向量所确定的最终决策函数只由少数的支持向量所确定的最终决策函数只由少数的支持向量所确定的最终决策函数只由少数的支持向量所确定，计算的，计算的，计算的，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，复杂性取决于支持向量的数目，而不是样本空间的维数，复杂性取决于支持向量的数目，而不是样本空间的维数，复杂性取决于支持向量的数目，而不是样本空
61、间的维数，这在某种意义上避免了这在某种意义上避免了这在某种意义上避免了这在某种意义上避免了“维数灾难维数灾难维数灾难维数灾难”。uu少数支持向量决定了最终结果，这不但可以抓住少数支持向量决定了最终结果，这不但可以抓住少数支持向量决定了最终结果，这不但可以抓住少数支持向量决定了最终结果，这不但可以抓住关键样本关键样本关键样本关键样本、“剔除剔除剔除剔除”大量冗余样本大量冗余样本大量冗余样本大量冗余样本，而且注定了该方法不但算法简单，而且注定了该方法不但算法简单，而且注定了该方法不但算法简单，而且注定了该方法不但算法简单，而且具有较好的而且具有较好的而且具有较好的而且具有较好的“鲁棒鲁棒鲁棒鲁棒”
62、性性性性。这种。这种。这种。这种“鲁棒鲁棒鲁棒鲁棒”性主要体现在：性主要体现在：性主要体现在：性主要体现在：t t 增、删非支持向量样本对模型没有影响增、删非支持向量样本对模型没有影响增、删非支持向量样本对模型没有影响增、删非支持向量样本对模型没有影响; ; ; ;t t 支持向量样本集具有一定的支持向量样本集具有一定的支持向量样本集具有一定的支持向量样本集具有一定的鲁棒性鲁棒性鲁棒性鲁棒性; ; ; ;t t 有些成功的应用中，有些成功的应用中，有些成功的应用中，有些成功的应用中，SVM SVM SVM SVM 方法对核的选取不敏感。方法对核的选取不敏感。方法对核的选取不敏感。方法对核的选取
63、不敏感。智能检测智能检测 8.3 8.3 基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n 近年来近年来近年来近年来SVMSVMSVMSVM方法已经在图像识别、信号处理和基因图方法已经在图像识别、信号处理和基因图方法已经在图像识别、信号处理和基因图方法已经在图像识别、信号处理和基因图谱识别等方面得到了成功的应用，显示了它的优势。谱识别等方面得到了成功的应用，显示了它的优势。谱识别等方面得到了成功的应用，显示了它的优势。谱识别等方面得到了成功的应用，显示
64、了它的优势。n SVM SVM SVM SVM 通过核函数实现到高维空间的非线性映射通过核函数实现到高维空间的非线性映射通过核函数实现到高维空间的非线性映射通过核函数实现到高维空间的非线性映射, , , ,所以所以所以所以适合于解决本质上适合于解决本质上适合于解决本质上适合于解决本质上非线性的分类、回归非线性的分类、回归非线性的分类、回归非线性的分类、回归和密度函数估计和密度函数估计和密度函数估计和密度函数估计等问题。等问题。等问题。等问题。n 支持向量方法也为样本分析、因子筛选、支持向量方法也为样本分析、因子筛选、支持向量方法也为样本分析、因子筛选、支持向量方法也为样本分析、因子筛选、信息压
65、缩信息压缩信息压缩信息压缩、知识挖掘知识挖掘知识挖掘知识挖掘和和和和数据修复数据修复数据修复数据修复等提供了新工具。等提供了新工具。等提供了新工具。等提供了新工具。 n 支持向量机用于智能检测的方法是通过建立支持向支持向量机用于智能检测的方法是通过建立支持向支持向量机用于智能检测的方法是通过建立支持向支持向量机用于智能检测的方法是通过建立支持向量机回归模型构造软测量仪表量机回归模型构造软测量仪表量机回归模型构造软测量仪表量机回归模型构造软测量仪表。智能检测智能检测 8.3 8.3 基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型基于智能检测的支持
66、向量机回归模型第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测 n n n 最小二乘支持向量机最小二乘支持向量机最小二乘支持向量机最小二乘支持向量机(LS-SVM) (LS-SVM) (LS-SVM) (LS-SVM) uu 加权最小二乘支持向量机加权最小二乘支持向量机加权最小二乘支持向量机加权最小二乘支持向量机uu 模糊最小二乘支持向量机模糊最小二乘支持向量机模糊最小二乘支持向量机模糊最小二乘支持向量机智能检测智能检测 8.3 8.3 基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型第八章第八章 基
67、于支持向量机的智能检测基于支持向量机的智能检测 n uu 原始问题：原始问题：原始问题：原始问题： 其对偶问题其对偶问题其对偶问题其对偶问题：智能检测智能检测 8.3 8.3 基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测 n uu 原始问题：原始问题：原始问题：原始问题： 其对偶问题其对偶问题其对偶问题其对偶问题：智能检测智能检测 8.3 8.3 基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型基于智能
68、检测的支持向量机回归模型第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测 n 最小二乘支持向量机最小二乘支持向量机最小二乘支持向量机最小二乘支持向量机uu 最小二乘支持向量机用最小二乘支持向量机用最小二乘支持向量机用最小二乘支持向量机用最小二乘线性系统最小二乘线性系统最小二乘线性系统最小二乘线性系统作为损失函数，作为损失函数，作为损失函数，作为损失函数，代替传统的二次规划方法。因此，代替传统的二次规划方法。因此，代替传统的二次规划方法。因此，代替传统的二次规划方法。因此，LS-SVMLS-SVMLS-SVMLS-SVM在利用结构风险在利用结构风险在利用结构风险在利用结构风险原则时
69、，其优化问题变为：原则时，其优化问题变为：原则时，其优化问题变为：原则时，其优化问题变为： 其其其其LagrangeLagrangeLagrangeLagrange函数函数函数函数为：为：为：为：智能检测智能检测 8.3 8.3 基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型基于智能检测的支持向量机回归模型第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测 n 最小二乘支持向量机最小二乘支持向量机最小二乘支持向量机最小二乘支持向量机uu 求求求求LagrangeLagrangeLagrangeLagrange函数最小值函数最小值函数
70、最小值函数最小值整理得到整理得到整理得到整理得到(n+1)(n+1)(n+1)(n+1)维线性方程维线性方程维线性方程维线性方程uu LS-SVMLS-SVMLS-SVMLS-SVM最小二乘向量机估计函数为最小二乘向量机估计函数为最小二乘向量机估计函数为最小二乘向量机估计函数为智能检测智能检测 8.4 8.4 基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 发酵过程包括大量复杂的生化反应和迁移现象。发酵过程中发酵过程包括大量复杂的生化反应和迁移现
71、象。发酵过程中发酵过程包括大量复杂的生化反应和迁移现象。发酵过程中发酵过程包括大量复杂的生化反应和迁移现象。发酵过程中底物浓底物浓底物浓底物浓度度度度、菌体浓度菌体浓度菌体浓度菌体浓度、产物浓度产物浓度产物浓度产物浓度随时间变化，发酵液物料的性质，如密度、随时间变化，发酵液物料的性质，如密度、随时间变化，发酵液物料的性质，如密度、随时间变化，发酵液物料的性质，如密度、黏度、流变学特性、表面张力、氧及其他性质如扩散系数、氧饱和浓黏度、流变学特性、表面张力、氧及其他性质如扩散系数、氧饱和浓黏度、流变学特性、表面张力、氧及其他性质如扩散系数、氧饱和浓黏度、流变学特性、表面张力、氧及其他性质如扩散系数
72、、氧饱和浓度也随时间发生变化。由于一系列分解代谢和合成代谢的结果，引起度也随时间发生变化。由于一系列分解代谢和合成代谢的结果，引起度也随时间发生变化。由于一系列分解代谢和合成代谢的结果，引起度也随时间发生变化。由于一系列分解代谢和合成代谢的结果，引起了了了了温度温度温度温度、pHpHpHpH值值值值、氧化还原电位氧化还原电位氧化还原电位氧化还原电位、排气二氧化碳排气二氧化碳排气二氧化碳排气二氧化碳和和和和溶解氧溶解氧溶解氧溶解氧的变化。为了的变化。为了的变化。为了的变化。为了能够有效地控制发酵，就需要获得发酵过程变量的变化信息，对能够有效地控制发酵，就需要获得发酵过程变量的变化信息，对能够有效
73、地控制发酵，就需要获得发酵过程变量的变化信息，对能够有效地控制发酵，就需要获得发酵过程变量的变化信息，对发酵发酵发酵发酵过程关键生物参量过程关键生物参量过程关键生物参量过程关键生物参量的变化进行检测。的变化进行检测。的变化进行检测。的变化进行检测。n n 目前，生物参量测量大多采用手工离线取样测量，如干重法、离心目前，生物参量测量大多采用手工离线取样测量，如干重法、离心目前，生物参量测量大多采用手工离线取样测量，如干重法、离心目前，生物参量测量大多采用手工离线取样测量，如干重法、离心叠集细胞体积法、直接染色法、光密度法和细胞计数法等。这些方法叠集细胞体积法、直接染色法、光密度法和细胞计数法等。
74、这些方法叠集细胞体积法、直接染色法、光密度法和细胞计数法等。这些方法叠集细胞体积法、直接染色法、光密度法和细胞计数法等。这些方法操作复杂，滞后时间长，测量误差大，且测量精度受死细胞影响，不操作复杂，滞后时间长，测量误差大，且测量精度受死细胞影响，不操作复杂，滞后时间长，测量误差大，且测量精度受死细胞影响，不操作复杂，滞后时间长，测量误差大，且测量精度受死细胞影响，不能及时反映发酵状态，难以满足发酵过程实时控制的要求，且取样测能及时反映发酵状态，难以满足发酵过程实时控制的要求，且取样测能及时反映发酵状态，难以满足发酵过程实时控制的要求，且取样测能及时反映发酵状态，难以满足发酵过程实时控制的要求，
75、且取样测量容易污染杂菌，影响发酵的正常进行。量容易污染杂菌，影响发酵的正常进行。量容易污染杂菌，影响发酵的正常进行。量容易污染杂菌，影响发酵的正常进行。智能检测智能检测 8.4 8.4 基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 生物参量在线测量对发酵工程的优化和控制具有重要意义生物参量在线测量对发酵工程的优化和控制具有重要意义生物参量在线测量对发酵工程的优化和控制具有重要意义生物参量在线测量对发酵工程的优化和控制具有重要意义，国内外的研究者
76、，国内外的研究者，国内外的研究者，国内外的研究者一直致力于生物参量在线测量的研究。在以硬件形式直接在线测量的方法中，一直致力于生物参量在线测量的研究。在以硬件形式直接在线测量的方法中，一直致力于生物参量在线测量的研究。在以硬件形式直接在线测量的方法中，一直致力于生物参量在线测量的研究。在以硬件形式直接在线测量的方法中，代表性的有光浊度法、荧光法、介电常数法、超声波法等。这些方法在使用上代表性的有光浊度法、荧光法、介电常数法、超声波法等。这些方法在使用上代表性的有光浊度法、荧光法、介电常数法、超声波法等。这些方法在使用上代表性的有光浊度法、荧光法、介电常数法、超声波法等。这些方法在使用上都有局限
77、性，每种测量方法都有各自的特点和适用范围，且在线分析仪器价格都有局限性，每种测量方法都有各自的特点和适用范围，且在线分析仪器价格都有局限性，每种测量方法都有各自的特点和适用范围，且在线分析仪器价格都有局限性，每种测量方法都有各自的特点和适用范围，且在线分析仪器价格昂贵、维护费用高、测量滞后大，昂贵、维护费用高、测量滞后大，昂贵、维护费用高、测量滞后大，昂贵、维护费用高、测量滞后大，不能适用于所有发酵过程的生物参量的在线不能适用于所有发酵过程的生物参量的在线不能适用于所有发酵过程的生物参量的在线不能适用于所有发酵过程的生物参量的在线测量测量测量测量。n n 近年来，随着软测量技术的研究进展，应用
78、软测量技术研究生物参量在线估近年来，随着软测量技术的研究进展，应用软测量技术研究生物参量在线估近年来，随着软测量技术的研究进展，应用软测量技术研究生物参量在线估近年来，随着软测量技术的研究进展，应用软测量技术研究生物参量在线估计已成为一个重要研究领域。计已成为一个重要研究领域。计已成为一个重要研究领域。计已成为一个重要研究领域。uuWang J L, Yu T, Jin C Y. On-line estimation of biomass in fermentation Wang J L, Yu T, Jin C Y. On-line estimation of biomass in ferm
79、entation process using process using support vector support vector machinemachineJJ. Chinese Journal of Chemical . Chinese Journal of Chemical Engineering, 2006, 14(3): 383-388Engineering, 2006, 14(3): 383-388. .uu Desai K, Desai K, BadheBadhe Y, Y, TambeTambe S S, et al. Soft-sensor development for
80、 fed- S S, et al. Soft-sensor development for fed-batch bioreactors using batch bioreactors using support vector regressionsupport vector regression J. Biochemical J. Biochemical Engineering Journal, 2006, 27(3):225-239.Engineering Journal, 2006, 27(3):225-239.智能检测智能检测 8.4 8.4 基于支持向量机的智能检测应用实例基于支持向量
81、机的智能检测应用实例基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 有关有关有关有关SVMSVMSVMSVM在发酵过程软测量中应用的中文文献在发酵过程软测量中应用的中文文献在发酵过程软测量中应用的中文文献在发酵过程软测量中应用的中文文献uu马勇，黄德先，金以慧马勇，黄德先，金以慧马勇，黄德先，金以慧马勇，黄德先，金以慧. . 基于支持向量机的软测量建模方法基于支持向量机的软测量建模方法基于支持向量机的软测量建模方法基于支持向量机的软测量建模方法J. J. 信息与信息与信息与信息与控制，控制，控制，控制，200
82、4, 33(4): 417-421.2004, 33(4): 417-421.uu常玉清，王福利，王小刚，等常玉清，王福利，王小刚，等常玉清，王福利，王小刚，等常玉清，王福利，王小刚，等. . 基于支持向量机的软测量方法及其在生基于支持向量机的软测量方法及其在生基于支持向量机的软测量方法及其在生基于支持向量机的软测量方法及其在生化过程中的应用化过程中的应用化过程中的应用化过程中的应用J. J. 仪器仪表学报仪器仪表学报仪器仪表学报仪器仪表学报，2006, 27(3): 241-244.2006, 27(3): 241-244.uu高学金，王普，孙崇正，等高学金，王普，孙崇正，等高学金，王普，孙
83、崇正，等高学金，王普，孙崇正，等. . 基于动态基于动态基于动态基于动态 的发酵过程建模的发酵过程建模的发酵过程建模的发酵过程建模J. J. 仪器仪器仪器仪器仪表学报仪表学报仪表学报仪表学报，2006, 27(11): 1497-1500.2006, 27(11): 1497-1500.uu孙玉坤，陈明忠，嵇小辅，等孙玉坤，陈明忠，嵇小辅，等孙玉坤，陈明忠，嵇小辅，等孙玉坤，陈明忠，嵇小辅，等. . 基于支持向量机的赖氨酸发酵生物参数基于支持向量机的赖氨酸发酵生物参数基于支持向量机的赖氨酸发酵生物参数基于支持向量机的赖氨酸发酵生物参数软测量软测量软测量软测量J.J.仪器仪表学报仪器仪表学报仪器
84、仪表学报仪器仪表学报，2008, 29(10): 2067-2071.2008, 29(10): 2067-2071.uu刘国海，周大为，徐海霞，等刘国海，周大为，徐海霞，等刘国海，周大为，徐海霞，等刘国海，周大为，徐海霞，等. . 基于基于基于基于SVMSVM的微生物发酵过程软测量建模的微生物发酵过程软测量建模的微生物发酵过程软测量建模的微生物发酵过程软测量建模研究研究研究研究J.J.仪器仪表学报仪器仪表学报仪器仪表学报仪器仪表学报，2009, 30(6): 1228-1232.2009, 30(6): 1228-1232.智能检测智能检测 8.4 8.4 基于支持向量机的智能检测应用实例基
85、于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n采用采用采用采用 不敏感损失回归不敏感损失回归不敏感损失回归不敏感损失回归SVMSVMSVMSVM进行软测量模型的建立，采用进行软测量模型的建立，采用进行软测量模型的建立，采用进行软测量模型的建立，采用SMOSMOSMOSMO算法算法算法算法进行样本的训练。进行样本的训练。进行样本的训练。进行样本的训练。智能检测智能检测 8.4 8.4 基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例基
86、于支持向量机的智能检测应用实例第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 数据归一化处理数据归一化处理数据归一化处理数据归一化处理uu进行进行进行进行SVMSVMSVMSVM建模以前，需要对训练样本集进行缩放，建模以前，需要对训练样本集进行缩放，建模以前，需要对训练样本集进行缩放，建模以前，需要对训练样本集进行缩放，主要目的在于避免一些特征值过大而另一些特征值主要目的在于避免一些特征值过大而另一些特征值主要目的在于避免一些特征值过大而另一些特征值主要目的在于避免一些特征值过大而另一些特征值范围过小，同时也可避免在训练时为了计算核函数范围过小，同时也可避免在训练时为了计
87、算核函数范围过小，同时也可避免在训练时为了计算核函数范围过小，同时也可避免在训练时为了计算核函数而计算内积的时候引起而计算内积的时候引起而计算内积的时候引起而计算内积的时候引起数值计算困难数值计算困难数值计算困难数值计算困难。因此在建立。因此在建立。因此在建立。因此在建立SVMSVMSVMSVM模型前将样本数据缩放到模型前将样本数据缩放到模型前将样本数据缩放到模型前将样本数据缩放到-1,1-1,1-1,1-1,1之间。在进行之间。在进行之间。在进行之间。在进行SVMSVMSVMSVM模型预测时，需要将输入数据集缩放到模型预测时，需要将输入数据集缩放到模型预测时，需要将输入数据集缩放到模型预测时
88、，需要将输入数据集缩放到-1,1-1,1-1,1-1,1之间，得到的输出结果也在之间，得到的输出结果也在之间，得到的输出结果也在之间，得到的输出结果也在-1,1-1,1-1,1-1,1之间，需要经过之间，需要经过之间，需要经过之间，需要经过转换后得到正常范围内的输出预测结果。转换后得到正常范围内的输出预测结果。转换后得到正常范围内的输出预测结果。转换后得到正常范围内的输出预测结果。智能检测智能检测 8.4 8.4 基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例第八章第八章 基于支持向量机的智能检测基于支持向量机的
89、智能检测n n SVMSVMSVMSVM参数选择方法参数选择方法参数选择方法参数选择方法uu核函数和参数的选择对核函数和参数的选择对核函数和参数的选择对核函数和参数的选择对SVMSVMSVMSVM模型的性能有非常大的影响。在模型的性能有非常大的影响。在模型的性能有非常大的影响。在模型的性能有非常大的影响。在 不敏感损失回归不敏感损失回归不敏感损失回归不敏感损失回归SVMSVMSVMSVM中选用径向基中选用径向基中选用径向基中选用径向基RBFRBFRBFRBF核函数，则在模核函数，则在模核函数，则在模核函数，则在模型一共有型一共有型一共有型一共有3 3 3 3个参数需要确定：个参数需要确定：个参
90、数需要确定：个参数需要确定：C C C C， 和和和和 。C C C C是是是是SVMSVMSVMSVM模型中对模型中对模型中对模型中对误差项的惩罚系数，误差项的惩罚系数，误差项的惩罚系数，误差项的惩罚系数， 是是是是RBFRBFRBFRBF核函数中的参数，核函数中的参数，核函数中的参数，核函数中的参数， 是是是是 不敏感损不敏感损不敏感损不敏感损失回归模型中的不敏感损失函数值。失回归模型中的不敏感损失函数值。失回归模型中的不敏感损失函数值。失回归模型中的不敏感损失函数值。uu 对于对于对于对于C C C C和和和和 的取值，采用的取值，采用的取值，采用的取值，采用网格搜寻网格搜寻网格搜寻网格
91、搜寻和和和和 折交叉验证折交叉验证折交叉验证折交叉验证的方法选择的方法选择的方法选择的方法选择最佳参数取值，从而保证最佳参数取值，从而保证最佳参数取值，从而保证最佳参数取值，从而保证SVMSVMSVMSVM回归能够具有对未知输入的准回归能够具有对未知输入的准回归能够具有对未知输入的准回归能够具有对未知输入的准确预测确预测确预测确预测。智能检测智能检测 8.4 8.4 基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n SVMSVMSVMSVM参数选择
92、方法参数选择方法参数选择方法参数选择方法uu 折交叉验证折交叉验证折交叉验证折交叉验证的方法是将学习训练样本分为的方法是将学习训练样本分为的方法是将学习训练样本分为的方法是将学习训练样本分为 份子集。反复份子集。反复份子集。反复份子集。反复地将其中一份子集作为预测子集，其他地将其中一份子集作为预测子集，其他地将其中一份子集作为预测子集，其他地将其中一份子集作为预测子集，其他 份用于份用于份用于份用于SVMSVMSVMSVM模型的训练。最后，学习样本中每一份子集都将被用于一次模型的训练。最后，学习样本中每一份子集都将被用于一次模型的训练。最后，学习样本中每一份子集都将被用于一次模型的训练。最后，
93、学习样本中每一份子集都将被用于一次预测，所有子集的预测误差和作为交叉验证的准确度指标。预测，所有子集的预测误差和作为交叉验证的准确度指标。预测，所有子集的预测误差和作为交叉验证的准确度指标。预测，所有子集的预测误差和作为交叉验证的准确度指标。为了获得最优的参数，利用为了获得最优的参数，利用为了获得最优的参数，利用为了获得最优的参数，利用C C C C和和和和 的不同取值重复进行的不同取值重复进行的不同取值重复进行的不同取值重复进行 折折折折交叉验证。每次交叉验证都需要计算所有子集的预测误差，交叉验证。每次交叉验证都需要计算所有子集的预测误差，交叉验证。每次交叉验证都需要计算所有子集的预测误差，
94、交叉验证。每次交叉验证都需要计算所有子集的预测误差，得到预测准确度指标。最后，根据预测准确度指标可以选择得到预测准确度指标。最后，根据预测准确度指标可以选择得到预测准确度指标。最后，根据预测准确度指标可以选择得到预测准确度指标。最后，根据预测准确度指标可以选择预测误差和最小的参数值预测误差和最小的参数值预测误差和最小的参数值预测误差和最小的参数值。智能检测智能检测 8.4 8.4 基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n SVMSVMSVM
95、SVM参数选择方法参数选择方法参数选择方法参数选择方法uu 的参数值决定了回归模型中支持向量的个数。当的参数值决定了回归模型中支持向量的个数。当的参数值决定了回归模型中支持向量的个数。当的参数值决定了回归模型中支持向量的个数。当 值值值值减小时，支持向量占样本总数的比例（记作减小时，支持向量占样本总数的比例（记作减小时，支持向量占样本总数的比例（记作减小时，支持向量占样本总数的比例（记作%SV%SV%SV%SV）将增大，）将增大，）将增大，）将增大，同时同时同时同时SVMSVMSVMSVM的模型复杂度也增强。相反地，当的模型复杂度也增强。相反地，当的模型复杂度也增强。相反地，当的模型复杂度也增
96、强。相反地，当 值增大时，值增大时，值增大时，值增大时，SVMSVMSVMSVM模型将具有较强的泛化能力但是训练误差将增大，模型将具有较强的泛化能力但是训练误差将增大，模型将具有较强的泛化能力但是训练误差将增大，模型将具有较强的泛化能力但是训练误差将增大，%SV%SV%SV%SV也减也减也减也减小。小。小。小。uu 与输入系统的噪声水平成比例关系，它的取值范围一般为与输入系统的噪声水平成比例关系，它的取值范围一般为与输入系统的噪声水平成比例关系，它的取值范围一般为与输入系统的噪声水平成比例关系，它的取值范围一般为0.0010.0010.0010.001到到到到0.10.10.10.1。因此在实
97、际建模过程中，分别取。因此在实际建模过程中，分别取。因此在实际建模过程中，分别取。因此在实际建模过程中，分别取 的值为的值为的值为的值为0.10.10.10.1，0.010.010.010.01和和和和0.0010.0010.0010.001。%SV%SV%SV%SV随着随着随着随着 的减小而增大。作为模型在的减小而增大。作为模型在的减小而增大。作为模型在的减小而增大。作为模型在泛化能泛化能泛化能泛化能力力力力和和和和训练精度训练精度训练精度训练精度两个指标中的折中方案，选择三个两个指标中的折中方案，选择三个两个指标中的折中方案，选择三个两个指标中的折中方案，选择三个 参数值参数值参数值参数值
98、中中中中%SV%SV%SV%SV最接近最接近最接近最接近50%50%50%50%的参数值作为的参数值作为的参数值作为的参数值作为SVMSVMSVMSVM模型中模型中模型中模型中 的取值。的取值。的取值。的取值。智能检测智能检测 8.4 8.4 基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例基于支持向量机的智能检测应用实例第八章第八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 实验结果实验结果实验结果实验结果 MatLabMatLabMatLabMatLab程序演示程序演示程序演示程序演示 智能检测智能检测 小结小结小结小结第八章第
99、八章 基于支持向量机的智能检测基于支持向量机的智能检测n n 支持向量机（支持向量机（支持向量机（支持向量机（Support Vector MachinesSupport Vector MachinesSupport Vector MachinesSupport Vector Machines，SVMSVMSVMSVM）方法是）方法是）方法是）方法是VapnikVapnikVapnikVapnik V N V N V N V N于于于于20202020世世世世纪纪纪纪90909090年代中期提出的一种年代中期提出的一种年代中期提出的一种年代中期提出的一种基于统计学习理论的机器学习算法基于统计学
100、习理论的机器学习算法基于统计学习理论的机器学习算法基于统计学习理论的机器学习算法，它用，它用，它用，它用结构风险结构风险结构风险结构风险最小化最小化最小化最小化（Structural Risk MinimizationStructural Risk MinimizationStructural Risk MinimizationStructural Risk Minimization，SRMSRMSRMSRM）归纳原则代替）归纳原则代替）归纳原则代替）归纳原则代替经验风险最小经验风险最小经验风险最小经验风险最小化化化化（Empirical Risk MinimizationEmpirical
101、Risk MinimizationEmpirical Risk MinimizationEmpirical Risk Minimization，ERMERMERMERM）归纳原则，以克服人工神经网络）归纳原则，以克服人工神经网络）归纳原则，以克服人工神经网络）归纳原则，以克服人工神经网络的固有弱点，的固有弱点，的固有弱点，的固有弱点，提高模型的泛化能力提高模型的泛化能力提高模型的泛化能力提高模型的泛化能力。n n 由于支持向量机不但较好地解决了以往困扰很多学习方法的由于支持向量机不但较好地解决了以往困扰很多学习方法的由于支持向量机不但较好地解决了以往困扰很多学习方法的由于支持向量机不但较好地解
102、决了以往困扰很多学习方法的小样本小样本小样本小样本、过学过学过学过学习习习习、高维数高维数高维数高维数、局部最优局部最优局部最优局部最优等实际难题，而且具有等实际难题，而且具有等实际难题，而且具有等实际难题，而且具有很强的泛化能力很强的泛化能力很强的泛化能力很强的泛化能力，因此，近些，因此，近些，因此，近些，因此，近些年来，支持向量机在函数估计和年来，支持向量机在函数估计和年来，支持向量机在函数估计和年来，支持向量机在函数估计和软测量建模方面逐步软测量建模方面逐步软测量建模方面逐步软测量建模方面逐步得到人们的重视。该方得到人们的重视。该方得到人们的重视。该方得到人们的重视。该方法已经成为软测量
103、在工程领域中应用的一个热点研究方向。法已经成为软测量在工程领域中应用的一个热点研究方向。法已经成为软测量在工程领域中应用的一个热点研究方向。法已经成为软测量在工程领域中应用的一个热点研究方向。n n 目前，支持向量机还处于理论发展阶段，还有许多需要完善的地方，如在目前，支持向量机还处于理论发展阶段，还有许多需要完善的地方，如在目前，支持向量机还处于理论发展阶段，还有许多需要完善的地方，如在目前，支持向量机还处于理论发展阶段，还有许多需要完善的地方，如在核函数及各参数选择的理论依据核函数及各参数选择的理论依据核函数及各参数选择的理论依据核函数及各参数选择的理论依据研究、研究、研究、研究、大样本的
104、学习算法大样本的学习算法大样本的学习算法大样本的学习算法研究及如何更有效研究及如何更有效研究及如何更有效研究及如何更有效地克服地克服地克服地克服误差数据影响误差数据影响误差数据影响误差数据影响等方面，还有许多理论与实践研究工作需要进一步深入。等方面，还有许多理论与实践研究工作需要进一步深入。等方面，还有许多理论与实践研究工作需要进一步深入。等方面，还有许多理论与实践研究工作需要进一步深入。智能检测智能检测附录附录附录附录n LIBSVMLIBSVMLIBSVMLIBSVM简介简介简介简介uuLIBSVMLIBSVMLIBSVMLIBSVM是台湾大学林智仁是台湾大学林智仁是台湾大学林智仁是台湾大
105、学林智仁(Lin Chih-Jen)(Lin Chih-Jen)(Lin Chih-Jen)(Lin Chih-Jen)副教授等开发设计副教授等开发设计副教授等开发设计副教授等开发设计的一个简单、易于使用和快速有效的的一个简单、易于使用和快速有效的的一个简单、易于使用和快速有效的的一个简单、易于使用和快速有效的SVMSVMSVMSVM模式识别与回归的软模式识别与回归的软模式识别与回归的软模式识别与回归的软件包件包件包件包，他不但提供了编译好的可在，他不但提供了编译好的可在，他不但提供了编译好的可在，他不但提供了编译好的可在WindowsWindowsWindowsWindows系列系统的执行文
106、系列系统的执行文系列系统的执行文系列系统的执行文件，还提供了源代码，方便改进、修改以及在其它操作系统件，还提供了源代码，方便改进、修改以及在其它操作系统件，还提供了源代码，方便改进、修改以及在其它操作系统件，还提供了源代码，方便改进、修改以及在其它操作系统上应用；该软件对上应用；该软件对上应用；该软件对上应用；该软件对SVMSVMSVMSVM所涉及的参数调节相对比较少，提供了所涉及的参数调节相对比较少，提供了所涉及的参数调节相对比较少，提供了所涉及的参数调节相对比较少，提供了很多的默认参数，利用这些默认参数可以解决很多问题；并很多的默认参数，利用这些默认参数可以解决很多问题；并很多的默认参数，
107、利用这些默认参数可以解决很多问题；并很多的默认参数，利用这些默认参数可以解决很多问题；并提供了交互检验提供了交互检验提供了交互检验提供了交互检验(Cross Validation)(Cross Validation)(Cross Validation)(Cross Validation)的功能。该软件包可在的功能。该软件包可在的功能。该软件包可在的功能。该软件包可在http:/www.csie.ntu.edu.tw/cjlin/http:/www.csie.ntu.edu.tw/cjlin/http:/www.csie.ntu.edu.tw/cjlin/http:/www.csie.ntu.edu.tw/cjlin/免费获得。该软件可免费获得。该软件可免费获得。该软件可免费获得。该软件可以解决以解决以解决以解决C-SVMC-SVMC-SVMC-SVM、-SVM-SVM-SVM-SVM、-SVR-SVR-SVR-SVR和和和和-SVR-SVR-SVR-SVR等问题，包括基于一等问题，包括基于一等问题，包括基于一等问题，包括基于一对一算法的多类模式识别问题。对一算法的多类模式识别问题。对一算法的多类模式识别问题。对一算法的多类模式识别问题。第七章第七章 基于神经网络的智能检测基于神经网络的智能检测智能检测智能检测祝同学们学习进步、学业有成！祝同学们学习进步、学业有成！
