《第四部分不等式》由会员分享，可在线阅读，更多相关《第四部分不等式（18页珍藏版）》请在金锄头文库上搜索。
1、第四章：不等式n n不等式不等式n n有些量很难计算，不等式可以对这些量给出一个界有些量很难计算，不等式可以对这些量给出一个界n n不等式也是下一章讨论收敛理论的基础不等式也是下一章讨论收敛理论的基础n n关于概率的不等式关于概率的不等式n nMarkovMarkov不等式不等式n nChebyshevChebyshev不等式不等式n nHoeffdingHoeffding不等式不等式n n关于期望的不等式关于期望的不等式n nCauchy-SchwarzeCauchy-Schwarze不等式不等式n nJensenJensen不等式不等式1Markov不等式n n4.1 4.1 定理（定理（
2、 MarkovMarkov不等式不等式）：令）：令XX为非负随机变量且假为非负随机变量且假设设 存在，则对任意存在，则对任意 ，有，有n n当当 ，n n当当 k k11时，表示随机变量的取值离不会期望不会太远时，表示随机变量的取值离不会期望不会太远（离期望较远的概率很小，小于（离期望较远的概率很小，小于 ）n n n n当当 时，时， ，上式总是成立表示（，上式总是成立表示（ ）23Markov不等式n n将将X X换成满足条件的换成满足条件的r r( (X X) )，上述，上述结论也成立！结论也成立！n n当当 ？n nChebyshevChebyshev不等式：不等式：MarkovMar
3、kov不等式的应用不等式的应用4Chebyshev不等式n n4.2 4.2 定理（定理（ChebyshevChebyshev不等式不等式）：令）：令n n则则n n其中其中n n n nX X在其期望附近（在其期望附近（t t邻域）的概率与方差邻域）的概率与方差 有关有关n n 越大，随机变量远离期望的概率越大（方差用于度量随机变量越大，随机变量远离期望的概率越大（方差用于度量随机变量围绕均值的散布程度）围绕均值的散布程度）n n 越小，随机变量在期望附近，远离期望的概率越小越小，随机变量在期望附近，远离期望的概率越小n n可用来证明样本均值会在其期望附件（样本数越多越接近，因为可用来证明样
4、本均值会在其期望附件（样本数越多越接近，因为样本方差随样本方差随n n增大而减小）增大而减小）56Chebyshev不等式n nX X在其期望附近（在其期望附近（t t邻域）的概率与方差邻域）的概率与方差 有关有关n n另外一个变形：另外一个变形：n nk k=2=2？n nk k=3=3？n n高斯分布为高斯分布为0.99970.9997n n这个界很松，因为这个界很松，因为ChebyshevChebyshev不等式没有限定分布的形式，不等式没有限定分布的形式，所以应用广泛所以应用广泛n n对某些具体的分布来说，可以得到更紧致的界，如高斯分布对某些具体的分布来说，可以得到更紧致的界，如高斯分
5、布Mills inequality7Chebyshev不等式n n4.34.3例：假设我们在一个有例：假设我们在一个有n n个测试样本的测试集上测试个测试样本的测试集上测试一个预测方法（以神经网络为例）。若预测错误置一个预测方法（以神经网络为例）。若预测错误置 预测正确则置预测正确则置 。则。则 为观测到的错为观测到的错误率。每个误率。每个 可视为有未知均值可视为有未知均值p p的的BernoulliBernoulli分布。我分布。我们想知道真正的错误率们想知道真正的错误率p p 。n n直观地，我们希望直观地，我们希望 接近接近p p 。但。但 有多大可能不在有多大可能不在p p的的 邻域内
6、？邻域内？n n n n由于对任意由于对任意p p有有 ，所以当，所以当 时，边界时，边界为为0.06250.0625。 8Hoeffding不等式n n作用与作用与ChebyshevChebyshev不等式类似，但区间更紧致（增加了不等式类似，但区间更紧致（增加了独立性约束）独立性约束）n n4.4 4.4 定理（定理（ HoeffdingHoeffding不等式不等式）：设）：设 相互独立，相互独立，且且 。令。令 ，则对任意，则对任意n n4.5 4.5 定理（定理（ HoeffdingHoeffding不等式不等式）：令）：令 则对任意则对任意 ，有，有n n其中其中910Hoeffd
7、ing不等式n n4.6 4.6 例：令例：令n n则根据则根据ChebyshevChebyshev不等式不等式，有，有n n根据根据HoeffdingHoeffding不等式不等式，有，有n n结果远远小于结果远远小于0.06250.0625。11Hoeffding不等式n n可用来计算二项分布中的参数可用来计算二项分布中的参数p p的置信区间的置信区间n n对给定的对给定的 ，令，令n n则根据则根据HoeffdingHoeffding不等式不等式n n令令 ，则，则n n则则 。n n称称C C为为 置信区间。置信区间。12Cauchy-Schwarze不等式n n4.8 4.8 定理（
8、定理（ Cauchy-SchwarzeCauchy-Schwarze不等式不等式）：若）：若X X、Y Y是有是有限方差，则限方差，则n n例：协方差不等式例：协方差不等式13Jensen不等式n n4.9 4.9 定理（定理（ JensenJensen不等式不等式）：如果）：如果g g是凸的，则是凸的，则n n如果如果g g是凹的，则是凹的，则n n n n n n 1415凸函数n n如果对所有的如果对所有的 ，满足，满足n n则函数则函数 为凸函数（为凸函数（convexconvex）， 为凹为凹函数（函数（concaveconcave）n n凸：装水，如凸：装水，如n n凹：溢出水，如
9、凹：溢出水，如16凸函数n n几何意义几何意义n n连接连接 ( (a a, ,g g( (a a),(),(b b, ,g g( (b b) )两点的两点的弦，永远在弦，永远在 y y= =g g( (x x) ) 之上之上 n n凸光滑函数上任一点的切线在曲线的下方凸光滑函数上任一点的切线在曲线的下方x17下节课内容：随机变量序列的收敛性n n随机样本：随机样本：IIDIID样本样本 ，n n统计量：对随机样本概述统计量：对随机样本概述n nY Y为随机变量，为随机变量，Y Y的分布称为统计量的采样分布的分布称为统计量的采样分布n n如：样本均值、样本方差、样本中值如：样本均值、样本方差、样本中值n n收敛性：当样本数量收敛性：当样本数量n n趋向无穷大时，统计量的变化趋向无穷大时，统计量的变化n n大样本理论、极限定理、渐近理论大样本理论、极限定理、渐近理论18
