《机器学习基础篇》由会员分享，可在线阅读，更多相关《机器学习基础篇（2页珍藏版）》请在金锄头文库上搜索。
1、机器学习基础篇均方误差MSE（Mean Square Error 均方误差）：首先先回顾复习几个概念：1）方差：方差是在概率论和统计方差衡量随机变量或一组数据的 离散程度的度量方式，方差越大，离散度越大。求解方式为，各随机 变量与平均值差值的平方和的平均数（先求差，再平方，再平均）平均数：就二士也丈节*二勺 5表示遺细飙g个数，“、独、X3冷表示逑组数抿具诡数值）也可以通过下面这个公式求解方差D何二殆勺-旧评2）标准差：标准差就是方差的算术平方根，它反映组内个体间的 离散程度。因此它的过程是与平均值之间进行差值计算。具体公式为：标准差公式II II Illi II II II I IlliI
2、I I II I I II II II II I II I I3 ）均方根误差（RMSE ）:均方根误差也称标准误差，其定义为， i = 1,2,3，. n。在有限测量次数中，均方根误差常用下式表示：，式中:n为测量次数；dj为一组测量值与真值的偏差。从计 算形式上讲，其计算公式与标准差类似，这也是很多人误用、混用标 准差与均方根误差的原因，也是我先列出标准差概念的原因。dj的具 体计算为（xi-真实值y）,但实际上真值y我们无法得到，因此只能用 最接近真实值的近似值代替（但不一定是这组数据的平均值）。因此 标准差是来衡量一组数自身的离散程度，而均方根误差是用来衡量观 测值同真值之间的偏差，它
3、们的研究对象和研究目的不同，但是计算 过程类似。4）均方误差：均方误差就是均方根误差的平方运算。1.误差通常是指测试值与真实值之间的差。以上几种公式中求平均我们都是除以n，但实际上我们通常除以 n-1,也就是求取样本方差。具体的数学推理公式如下：总体方差为o2,均值为uS=(X1-X)2+(X2-X)2+(Xn-X)2/(n-1)X 表示样本均值=(X+X2+.+xn)/n 设 A=(X1-X)2+(X2-X)2+(Xn-X)2E(A)=E(X1-X)2+(X2-X)2 +(Xn-X)2 =EX12-2X*X1+X2+X22-2X*X2+X2+ +Xn2-2X*Xn+X2 =EX12+X22
4、+Xn2+nX2-2X*(X1+X2+.+Xn) =EX12+X22 +Xn2+nX2-2X*(nX) =EX12+X22 +Xn2-nX2 而 EXi2=D(Xi)+E(Xi)2=o2+u2 EX2=D(X)+E(X)2=o2/n+u2(D(X)= D(X)/n =，关于这一点，若总体分布为正态分布时，这样计算是精确的； 若总体分布未知，或不是正态分布，只有E(X) = u，D(X) = o平方，并 且 n 较大时，这样计算是近似的。这是条件，若是其他情况这样计算 是错误的。首先用一个系列样本和方差计算常规方法，计算得到的结 果是指该个系列样本值的一个估计量，若干个系列估计值的期望，就 是“样本均值的方差”的期望，也就是一个“样本均值的方差”的估 计量，计算可得该估计量是个无偏估计量，其值恰等于“总体方差除 以n”。简单的说，意义上两者无关，只是计算值相等，属于计算的一 个简便方法。)所以 E(A)二E(X-X)2+(X2-X)2+(Xn-X)2 =n(o2+u2)-n(o2/n+u2)=(n-1)o2 所以为了保证样本方差的无偏性 S=(X1-X)2+(X2-X)2 +(Xn-X)2/(n-1)E（S） = （n-10/（n-1）=，（无偏性就是指期望值就是真实值）
