《人工智能和机器学习--PPT06-线性回归》由会员分享，可在线阅读，更多相关《人工智能和机器学习--PPT06-线性回归（41页珍藏版）》请在金锄头文库上搜索。
1、线性回归王秋月中国人民大学信息学院𝑧𝛽𝑦 = 𝛽0 + 𝛽1𝑦0.01.02.0x1081.0BudgetBoxOfficex1082.0线性回归0.01.02.0x1082.01.0BudgetBoxOffice𝑧𝛽𝑦box officerevenuecoefficient0= 𝛽0 +𝛽1𝑦moviebudgetcoefficient1x108线性回归0.01.02.01.0BudgetBoxOffi
2、cex108x1082.0𝑧𝛽𝑦 = 𝛽0 + 𝛽1𝑦𝛽0= 80 million, 𝛽1= 0.6线性回归0.01.02.01.0BudgetBoxOfficex108x1082.0𝑧𝛽𝑦 = 𝛽0 + 𝛽1𝑦𝛽0= 80 million, 𝛽1= 0.6给定1.6亿的预算，预测票房收益为1.75亿使用线性回归预测0.01.02.01.0B
3、udgetBoxOfficex108x1082.0哪个模型拟合得更好？0.01.02.01.0BudgetBoxOfficex108x1082.0Predicted valueObservedvalue𝑧𝛽𝑝𝑐𝑡𝑦(𝑖)𝑝𝑐𝑡 𝑧(𝑖)计算残差0.01.02.01.0BudgetBoxOfficex108x1082.0𝛽01𝑝𝑐𝑡+
4、0573; 𝑦(𝑖)𝑝𝑐𝑡 𝑧(𝑖)计算残差0.01.02.01.0BudgetBoxOfficex108x1082.0均方误差（Mean Squared Error, MSE）0.01.02.01.0BudgetBoxOfficex108x1082.0最小均方误差0.01.02.01.0BudgetBoxOfficex108x1082.0代价函数其他评价指标平均绝对误差（平均绝对误差（Mean Absolute Error, MAE）：）：1𝑚𝑗=1
5、𝑛𝑧𝛽𝑦𝑗 𝑧𝑝𝑏𝑠(𝑗)均方根误差（均方根误差（Root Mean Squared Error, RMSE）：）：1𝑚𝑗=1𝑛(𝑧𝛽𝑦𝑗 𝑧𝑝𝑏𝑠𝑗)2MAE is the easiest to understand, because its t
6、he average error.MSE is more popular than MAE, because MSE punishes larger errors.RMSE is even more popular than MSE, because RMSE is interpretable in the y units.残差平方和（SSE）：总离差平方和（TSS）：决定系数决定系数（R2）：）：1 𝑇𝑇𝐸𝑈𝑇𝑇其他评价指标导入包含回归方法的类：导入包含回归方法的类：from sklearn.li
7、near_model import LinearRegression创建该类的一个对象：创建该类的一个对象：LR = LinearRegression()训练模型拟合数据，并预测：训练模型拟合数据，并预测：LR = LR.fit(X_train, y_train)y_predict = LR.predict(X_test)线性回归的语法http:/scikit-learn.org/stable/modules/generated/sklearn.linear_model.LinearRegression.html 通过增加多项式特征来捕捉更高阶的数据特征𝑧𝛽(&
8、#119910;)= 𝛽0 + 𝛽1𝑦 + 𝛽2𝑦2BudgetBoxOffice增加多项式特征 通过增加多项式特征来捕捉更高阶的数据特征 “线性回归”意味着特征间的线性组合𝑧𝛽(𝑦)= 𝛽0 + 𝛽1𝑦 + 𝛽2𝑦2 + 𝛽3𝑦3BudgetBoxOffice增加多项式特征𝑧𝛽(𝑦)= 𝛽0
9、+ 𝛽1 log(𝑦)BudgetBoxOffice增加多项式特征 通过增加多项式特征来捕捉更高阶的数据特征 “线性回归”意味着特征间的线性组合增加多项式特征 可以选择变量间的交互项：𝑧𝛽(𝑦)= 𝛽0 + 𝛽1𝑦1 + 𝛽2𝑦2 + 𝛽3𝑦1𝑦2增加多项式特征 可以选择变量间的交互项： 如何选择正确的函数形式：𝑧𝛽(𝑦)= 𝛽
10、;0 + 𝛽1𝑦1 + 𝛽2𝑦2 + 𝛽3𝑦1𝑦2检查每个变量与结果之间的关系导入包含转换方法的类：导入包含转换方法的类：from sklearn.preprocessing import PolynomialFeatures创建该类的一个对象：创建该类的一个对象：polyFeat = PolynomialFeatures(degree=2)创建多项式特征，并转换数据：创建多项式特征，并转换数据：polyFeat = polyFeat.fit(X_data)x_poly = poly
11、Feat.transform(X_data)或者或者x_poly = polyFeat.fit_transform(X_data)生成多项式特征的语法http:/scikit-learn.org/stable/modules/generated/sklearn.preprocessing.PolynomialFeatures.htmlerror𝐽𝑑𝑣𝜃cross validation error𝐽𝑢𝑠𝑏𝑖𝑜𝜃traini
12、ng error21模型复杂度与误差XYModelTrue Function SamplesXYXYPolynomial Degree = 1Polynomial Degree = 3Polynomial Degree = 922防止欠拟合与过拟合如何用一个如何用一个9次多项式拟合数据，并防止过拟合？次多项式拟合数据，并防止过拟合？XYModelTrue Function SamplesXYXYPolynomial Degree = 1Polynomial Degree = 3Polynomial Degree = 923防止欠拟合与过拟合𝐽() =12𝑚
13、19895;=1𝑛(𝑧𝑦(𝑗) 𝑧(𝑗)2XYModelTrue Function SamplesXYXYPoly Degree=9, 𝜆=0.1Poly Degree=9, 𝜆=1e-5Poly Degree=9, 𝜆=0.024正则化（regularization）𝐽 =12𝑚𝑗=1𝑛(𝑧𝑦(𝑗) 𝑧(𝑗)
14、2+ 𝜆𝑘=1𝑜𝛽𝑘2惩罚项收缩了所有系数的大小越大的系数被惩罚得越多，因为惩罚的是平方25岭回归（Ridge Regression）(L2)𝐽 =12𝑚𝑗=1𝑛(𝑧𝑦(𝑗) 𝑧(𝑗)2+ 𝜆𝑘=1𝑜𝛽𝑘226岭回归对模型参数的效果𝐽 =12𝑚𝑗=
15、1𝑛(𝑧𝑦(𝑗) 𝑧(𝑗)2+ 𝜆𝑘=1𝑜𝛽𝑘2惩罚项有选择地收缩了某些系数可以被用来做特征选择比岭回归收敛速度慢27套索回归（Lasso Regression）(L1)𝐽 =12𝑚𝑗=1𝑛(𝑧𝑦(𝑗) 𝑧(𝑗)2+ 𝜆𝑘=1𝑜|&
16、#119896;|28套索回归对模型参数的效果𝐽 =12𝑚𝑗=1𝑛(𝑧𝑦(𝑗) 𝑧(𝑗)2+ 𝜆𝑘=1𝑜|𝑘|L1与L2正则化 岭回归和套索回归的综合，用以平衡稀疏和平滑两个问题 需要调节额外的参数，来分配L1和L2正则化惩罚项的比例10ElasticNet正则化𝐽 =12𝑚𝑗=1𝑛(𝑧𝑦(&#
17、119895;) 𝑧(𝑗)2+ 𝜆1𝑘=1𝑜|𝑘| + 𝜆2𝑘=1𝑜𝑘2 正则化系数（𝜆1和𝜆2）是根据经验决定的使用测试数据调节使用测试数据调节 𝜆 𝜆?测试数据训练数据训练数据超参数及其优化 正则化系数（𝜆1和𝜆2）是根据经验决定的 想让模型泛化-不要使用测试数据集来调节𝜆1和𝜆2使用测试数据集调节使用测试
18、数据集调节 𝜆 𝜆?测试数据训练数据训练数据超参数及其优化NO!用交叉验证来调节用交叉验证来调节𝜆 𝜆训练数据训练数据验证数据验证数据测试数据测试数据超参数及其优化 正则化系数（𝜆1和𝜆2）是根据经验决定的 想让模型泛化-不要使用测试数据集来调节𝜆1和𝜆2 划分出另一个数据集来调节超参数-验证集（validation set）导入包含回归方法的类：导入包含回归方法的类：from sklearn.linear_model import Ridge创建该类的一个对象：创建
19、该类的一个对象：RR = Ridge(alpha=1.0)拟合训练数据，并在测试数据上预测：拟合训练数据，并在测试数据上预测：RR = RR.fit(X_train, y_train)y_predict = RR.predict(X_test)岭回归的语法导入包含回归方法的类：导入包含回归方法的类：from sklearn.linear_model import Ridge创建该类的一个对象：创建该类的一个对象：RR = Ridge(alpha=1.0)拟合训练数据，并在测试数据上预测：拟合训练数据，并在测试数据上预测：RR = RR.fit(X_train, y_train)y_predic
20、t = RR.predict(X_test)岭回归的语法正则化参数正则化参数http:/scikit-learn.org/stable/modules/generated/sklearn.linear_model.Ridge.html导入包含回归方法的类：导入包含回归方法的类：from sklearn.linear_model import RidgeCV创建该类的一个对象：创建该类的一个对象：RRcv = RidgeCV(alphas=1e-3, 1e-2, 1e-1, 1, cv=4)拟合训练数据，并在测试数据上预测：拟合训练数据，并在测试数据上预测：RRcv = RRcv.fit(X_t
21、rain, y_train)y_predict = RRcv.predict(X_test)岭回归的语法RidgeCV 使用交叉验证自动确定使用交叉验证自动确定alpha的值的值http:/scikit-learn.org/stable/modules/generated/sklearn.linear_model.RidgeCV.html导入包含回归方法的类：导入包含回归方法的类：from sklearn.linear_model import Lasso创建该类的一个对象：创建该类的一个对象：LR = Lasso(alpha=1.0)拟合训练数据，并在测试数据上预测：拟合训练数据，并在测试数
22、据上预测：LR = LR.fit(X_train, y_train)y_predict = LR.predict(X_test)套索回归的语法正则化参数正则化参数http:/scikit-learn.org/stable/modules/generated/sklearn.linear_model.Lasso.html导入包含回归方法的类：导入包含回归方法的类：from sklearn.linear_model import LassoCV创建该类的一个对象：创建该类的一个对象：LRcv = LassoCV(alphas=1e-3, 1e-2, 1e-1, 1, cv=4)拟合训练数据，并在测
23、试数据上预测：拟合训练数据，并在测试数据上预测：LRcv = LRcv.fit(X_train, y_train)y_predict = LRcv.predict(X_test)套索回归的语法LassoCV 使用交叉验证自动确定使用交叉验证自动确定alpha的值的值http:/scikit-learn.org/stable/modules/generated/sklearn.linear_model.LassoCV.html导入包含回归方法的类：导入包含回归方法的类：from sklearn.linear_model import ElasticNet创建该类的一个对象：创建该类的一个对象：E
24、N = ElasticNet(alpha=1.0, l1_ratio=0.5)拟合训练数据，并在测试数据上预测：拟合训练数据，并在测试数据上预测：EN = EN.fit(X_train, y_train)y_predict = EN.predict(X_test)ElasticNet回归的语法l1_ratio把把alpha的值分的值分配给配给L1/L2http:/scikit-learn.org/stable/modules/generated/sklearn.linear_model.ElasticNet.html导入包含回归方法的类：导入包含回归方法的类：from sklearn.line
25、ar_model import ElasticNetCV创建该类的一个对象：创建该类的一个对象：ENcv = ElasticNetCV(alphas=1e-3, 1e-2, 1e-1, 1, cv=5)拟合训练数据，并在测试数据上预测：拟合训练数据，并在测试数据上预测：ENcv = ENcv.fit(X_train, y_train)y_predict = ENcv.predict(X_test)ElasticNet回归的语法ElasticNetCV 使用交叉验证自动确定使用交叉验证自动确定alpha和和l1_ratio的值的值http:/scikit-learn.org/stable/modules/generated/sklearn.linear_model.ElasticNetCV.htmlJupyter演示第6章-线性回归.ipynb
