文档详情

课程报告-统计机器学习

gg****m
实名认证
店铺
DOC
62.18KB
约4页
文档ID:229869830
课程报告-统计机器学习_第1页
1/4

统计机器学习获得一组问题空间的观测数据之后,如果不能或者没必要对其建 立严格的物理模型,从这组数据推算问题空间的数学模型,在输入输 出之间的关系上反映问题空间的实际,而不需要对问题世界做物理解 释,这是“黑箱”原理统计学习理论本质上是“黑箱”原理的延续, 其中数学方法是研究的焦点传统的统计学要求样本数据数目趋于无穷大,这实际上是一种不 可达到的假设,现实世界中,可以获取的样本数目总是有限的统计 学系理论就是一种专门研究小样本情况下机器学习规律的理论回顾 2.2小节所描述的机器学习过程,其描述隐含了三个方面的内容:1、 一致问题空间W必须和样本空间Q性质相同,才可以根 据Q对W进行推测和预判,体现在统计学意义上就是W中的元素满 足同分布的一致性条件2、 划分正确预判的前提是正确地划分,将Q放到n维空间, 要寻找一个定义在这个空间上的决策分界面(等价关系),使得问题 决定的不同对象分在不相交的区域3、 泛化判断模型M的好坏不仅仅在于对样本空间Q有好的判 断效果,更重要的是要对问题空间W有尽量准确的预测效果,即好 的推广能力一般地说,机器学习的统计基础是经验风险最小化原则(Empirical Risk Minimization, ERM)。

令期望风险为:R(f) = J|f(x)—y|P(x,y)dxdy经验风险为:Remp⑴=,黑巾(街)-y|其中,Xi独立同分布于概率密度函数P(x,y)o根据统计学中的大数定律,样本个数W趋于无穷大时,经验风险 Remp(D依概率收敛于期望风险R(D,所以传统的机器学习算法一般以 经验风险Remp(f)最小作为目标函数1971年,Vapnik指出经验风险 Remp(D的下界未必依概率收敛于期望风险R(的下界,也就是说将 Remp(D作为目标函数是不合理的Vapnik进一步证明了经验风险 Remp(D的下界依概率收敛于期望风险R(的下界当且仅当经验风险 Remp (依概率一致收敛于期望风险R(D (即泛函空间的大数定律) 这就是有限样本的统计理论这个统计理论可以用函数集的VC维来 描述,这样,机器学习的目标函数就建立在函数集的结构之上,而不 是均方差之类的最小经验风险之上这是统计机器学习理论的精髓其核心概念是VC维,它是描述函数集或学习机器的复杂性或学 习能力的一个重要指标,在此概念基础上发展出一系列关于统计学习 的一致性、收敛性、推广性能等重要结论概括地说,统计学习理论 的主要研究内容包括:•统计学习过程的一致性理论•学习过程收敛速度的非渐进理论•控制学习过程的推广能力的理论•构造学习算法的理论1.1 VC 维模式识别方法中VC维的直观定义是:对一个指示函数集,如果 存在h个样本能够被函数集中的函数按所有可能的2“种形式分开, 则称函数集能够把h个样本打散;函数集的VC维就是它能打散的 最大样本数目h。

若对任意数目的样本都有函数能将它们打散,则函 数集的VC维是无穷大有界实函数的VC维可以通过用一定的阈值 将它转化成指示函数来定义1.2—致性、收敛性、推广性在学习过程的一致性、收敛性研究中,还涉及到三个重要概念: VC燔,退火的VC燔,生长函数这里均以模式识别问题的指示函 数为例进行说明,实函数集的情况是指示函数集情况的推广设Q(Z,a), acA是一个指示函数集,考虑样本Z1,Z2,......⑶, 定义一个量Na(Z1,z2.......z,代表用指示函数集中的函数能够把给 定的样本分成多少种不同的分类,即表征函数集在给定数据集上的多 样性则VC 嫡:HA(^) = ElnNA(z1,z2, z‘)退火的 VC 嫡:H^nn(-^) = lnENA(z1,z2,……z《)生长函数:GA(^) = In sup NA(z1; z2, z?)1968 年,Vapnik 和 Chervonenkis 证明了在 Q(z, a ), a e A可测 性的一定条件下,一致双边收敛的充分必要条件是下述等式(Do1叽_8^^= (1)1981年,Vapnik和Chervonenkis将该充要条件推广到有界实函 数集。

1989年,得到学习理论的关键定理,将ERM方法一致性的问 题转化为了一致性收敛的问题从而得出学习理论的第一个里程碑: 最小化经验风险的充分条件是满足等式(Do然而,这个条件并没有对收敛速度给出证明接下来,Vapnik 和Chervonenkis找到了收敛速度快的充分条件,如下式(2)limes 判凹= (2)这一等式是学习理论的第二个里程碑:保证了收敛有快的渐近速 度至此,式1和式2对一致性以及收敛速度有了理论保证,然而这 些都是和给定分布相关的如何保证对于任意的分布,ERM原则是 一致的,且同时有快的收敛速度?下式(3)给出了任意分布下一致 且快速收敛的充分必要条件:1叽一8^^ = (3)这就是学习理论中的第三个里程碑,从理论上证明了对任意分布 ERM原则满足一致性且能保证快速收敛的充分必要条件值得一提的是在1968年,Vapnik和Chervonenkis发现了 VC维的概念与生长函数之间的重 要联系:任意生长函数要么是线性的,此时指示函数集的VC维无穷大;要么就是以一个参 数为h的对数函数为上界,此时指示函数集的VC维是有限的且等于ho。

下载提示
相似文档
正为您匹配相似的精品文档