《线性回归中的模型选择》由会员分享，可在线阅读，更多相关《线性回归中的模型选择（49页珍藏版）》请在金锄头文库上搜索。
1、线性回归中的模型选择n多元回归分析中，输入特征可能有许多，这些特征对模型都是必须的？n否n因为：n预测准确性：当回归模型中变量增多时，预测的偏差的低但方差高（过拟合）n可解释性：当回归模型中的预测子数目很多时，模型很难解释n希望找到效果更明显的少数预测子1模型选择n模型选择n模型评估：用一些指标来衡量每个模型n解析计算：AIC/BIC/MDLn模拟计算：交叉验证/bootstapn模型搜索：在模型空间中搜索，找到在某个衡量指标下最优的模型n模型空间不大：穷举搜索n否则：贪心搜索n前向/后向/双向逐步n上述模型选择是离散的，亦称子集选择。另一类方法为连续的收缩方法n岭回归nLasso2回顾：线性
2、回归模型n假定 不依赖于x:n其中 n模型类型：参数模型n损失：平方误差损失n参数选择：训练数据上的最小平方误差（最小二乘，在高斯噪声假设下，= 极大似然 ）n计算：矩阵求逆/QR分解n模型选择：AIC/BIC3回顾：线性回归模型n最小二乘参数估计的结果：n点估计：n偏差：n方差：n 的无偏估计为：4回顾：线性回归模型n预测结果：n点估计：n偏差：n方差n 其中 是固有的，与参数的估计 无关。对不同的估计 ，得到的预测的方差不同（ 不同）5子集选择n只保留变量的一个子集，将其余变量从模型中删除（将其系数置为0）n当p较小时，可穷尽搜索最佳子集n对每个 ，其中p为变量的总数目，找出容量为k的子集
3、，计算每个模型的得分（AIC/BIC）n具体算法参考 Furnival&Wilson 1974n容量较大的最佳子集不必包含容量较小的最佳子集6AIC：Akaike Information CriterionnAIC为模型M测试误差的一个估计：n其中 为在模型M对应的训练集数据的对数似然函数，p为模型M中特征的数目n我们选择测试误差 最小的模型，等价于选择下述表达式最大的模型Akaike, Hirotugu (December 1974). A new look at the statistical model identification. IEEE Transactions on Autom
4、atic Control 19 (6): 训练集上的拟合度模型复杂度7AIC：Akaike Information Criterionn当假设高斯噪声时，n这样导出AIC另一种表示：n其中 为从一个低偏差估计的MSE估计n低偏差估计：复杂模型，即包括所有特征的模型8BIC ：Bayesian Information Criterionn类似AIC，可用于极大对数似然实现的拟合中n所以 n最小化BIC，等价于最大化 n最小描述长度（MDL）的结论同BIC Schwarz, G. 1978. Estimating the dimension of a model. Annals of Statis
5、tics, 6, 461-464.9前向逐步回归n从截距开始，每次增加一个特征n计算增加特征后每个模型的AIC，假设当前模型有k个输入特征，则其AIC为：n选择AIC最小的模型n直到AIC不再变小10后向逐步回归n从包含所有特征的模型开始，每次去掉一个特征n计算去掉特征后每个模型的AICn选择AIC最小的模型n直到AIC不再变小11例：前列腺癌后向逐步回归n所有变量都用：k = 8n n n n去掉一个变量， k = 7，去掉变量后的AIC分别为n去掉最小AIC对应的特征，即去掉gleasonlcavollweightagelbphlbphsvisvilcplcpgleasongleasonp
6、gg45pgg45100.7971100.797179.566879.566873.948673.948676.226576.226578.097278.097275.485475.485472.021572.021575.020175.020112例：前列腺癌后向逐步回归（续）n最小AIC为72.0215，再继续去掉一个变量：k = 6n此时最小的AIC（ 72.1945 ）也比72.0215大，n不过也没比72.0215大多少n所以根据AIC准则，用后向逐步回归最后选择的模型为k=7lcavollweightagelbphlbphsvisvilcplcppgg45pgg4599.36489
7、9.364877.915077.915072.194572.194574.230574.230576.262776.262773.487173.487174.703774.703713例：前列腺癌后向逐步回归（续）n如果不停止，而是继续后向逐步回归，直到删除所有特征，则接下来删除的特征及其对应的AIC分别为nk=7, 删除gleason, AIC= 72.0215nk=6, 删除age, AIC= 72.1945 nk=5, 删除lcp, AIC= 73.2095 nk=4, 删除pgg45, AIC= 72.6790 nk=3, 删除lbph, AIC= 74.8309 nk=2, 删除sv
8、i, AIC= 77.1088 nk=1, 删除lweight, AIC= 89.7667 nk=0, 删除lcavol, AIC= 189.772714例：前列腺癌后向逐步回归（续）n ：模型与训练集的拟合程度n 模型越复杂，与训练数据拟合得越好，但可能过拟合n AIC：测试误差的估计，与训练集的拟合程度和模型复杂度都有关15例：前列腺癌前向逐步回归n不用任何变量：k = 0n n n n增加一个变量， k = 1，增加变量后的AIC分别为n增加最小AIC对应的特征，即lcavollcavollweightagelbphlbphsvisvilcplcpgleasongleasonpgg45p
9、gg4589.766789.7667147.0938147.0938181.9385181.9385132.9199132.9199178.6525178.6525146.3563146.3563169.5205169.5205153.6764153.676416例：前列腺癌前向逐步回归（续）n最小AIC为89.2667，再继续增加一个变量：k =2n增加最小AIC对应的特征，即lweightn再继续增加一个变量：k =3n增加最小AIC对应的特征，即svilweightagelbphlbphsvisvilcplcpgleasongleasonpgg45pgg4577.108877.10889
10、1.701891.701882.825682.825687.399087.399091.646591.646591.560891.560889.587889.5878agelbphlbphsvisvilcplcpgleasongleasonpgg45pgg4578.567578.567576.986676.986674.803974.803979.104779.104778.254678.254675.841275.841217例：前列腺癌前向逐步回归（续）n最小AIC为74.8039，再继续增加一个变量：k =4n增加最小AIC对应的特征，即lbphn再继续增加一个变量：k =5n此时AIC
11、不再变小，最终选择的模型为k=4agelbphlbphlcplcpgleasongleasonpgg45pgg4576.4183 76.4183 72.679072.679075.554175.554176.210576.210575.160875.1608agelcplcpgleasongleasonpgg45pgg4573.633373.6333 73.709073.709074.327974.327973.209573.209518测试误差的模拟计算n模型评估与选择：n1、选择模型调整参数的值n2、估计给定模型的预测性能n 最好有一个独立的测试集n对1，校验集n对2，测试集n但通常没有足
12、够多的数据来构造校验集/测试集，在这种情况下，我们通过重采样技术来模拟校验集。n交叉验证和bootstrap是重采样技术的两个代表19K-折交叉验证n用于估计模型的调整参数 （如子集的容量k）n思想与jackknife类似n将数据分成容量大致相等的K份（通常K=5/10）20K-折交叉验证n对每个 ，取调整参数为 ，每次留出第k份数据，其余K-1份数据用于训练，得到参数的估计 ，并计算第k份数据的预测误差：n交叉验证的误差为n 对多个不同的 ，计算其对应的误差 ，最佳模型为 最小的模型。21K-折交叉验证n在子集选择的例子中， 为子集的容量n 为子集容量为 的最佳子集的系数（训练数据为除了第k
13、份数据的其他K-1份数据）n 为该最佳子集的测试误差的一个估计nK-折交叉验证的测试误差的估计为22例：前列腺癌交叉验证n10折交叉验证，K=10n训练集：67个数据点n校验集：每次从67个训练数据中留出7个数据点（10-折）n最佳模型：测试误差在最小测试 误差的一倍以内的最简单模型最小测试误差最佳模型最佳测试误差+1倍方差23回顾：线性回归模型n预测结果：n点估计：n偏差：n方差：n在所有的无偏估计中，最小二乘估计的方差最小n但可能存在有偏估计，其MSE比最小二乘估计的MSE小24岭回归(Ridge Regression)n现在考虑我们要最小化一个修正的函数：n由原来RSS加上一项惩罚权向量
14、大小的项， 是一个复杂度参数，控制收缩量/正则量n等价于：n其中s取代了 的功能n解为：n仍然是y的线性组合n如果输入时正交的:25岭回归：为什么？n当矩阵 奇异时，最小二乘的结果变得很坏n当自变量系统中存在多重相关性时，它们的系数确定性变差，这种不确定性增加了方差（如一个大的权重可以被一个相关的特征上的负权重平衡）n当矩阵A奇异时，一些特征值 ，从而使得 很大，表示 与之间的偏差很大。同时 也很大，表示结果不稳定n岭回归在矩阵 求逆之前，将一个正的常数加到A的对角线上，使得问题非奇异，其中 为矩阵 的特征值26岭回归：为什么？n从贝叶斯的观点：正则项可视为参数的先验n如果假设 ，并且每个 都
15、符合先验分布 ，岭回归也可以被看作是从后验分布得到的。那么 的负log后验密度就是 ，其中27奇异值分解 (SVD)n n n U的列生成X的列空间，V的列生成X的行空间n用SVD的形式分解：y 相对 U 基的坐标y 相对 U 基的收缩坐标 越小的基，收缩得越多越小的基，收缩得越多模型的复杂度参数（有效自由度）：28与主成分的关系n用SVD的形式：n特征向量 为 X 的主成分方向特征值分解主成分X 列向量的线性组合归一化的主成分 较小的 值对应有较小方差的X的列空间方向，收缩最多岭回归假设在高方差的输入方向上，响应会变化大，因此避免小方差的X上的Y的大的变化29与主成分的关系n n X的SVD
16、分解：n所以nX进行SVD分解后，对所有的都可利用 30例：前列腺癌岭回归31例：前列腺癌岭回归最佳测试误差最佳模型最佳测试误差+1倍方差32Lasson类似岭回归，最小化n等价于n将岭回归中的惩罚项 用 代替n使得解为y的非线性组合，计算时用二次规划算法n如果t选择为足够小，会使得一些系数等于0。选择最小期望测试误差的t33例：前列腺癌Lasso最佳测试误差最佳模型最佳测试误差+1倍方差34例：前列腺癌LassoLasso会使某些系数=0而岭回归不会35例：前列腺癌不同正则化方法36收缩估计族n考虑标准n不同q对应的 的轮廓线为n在贝叶斯框架下， 可视为 的负的log先验37收缩估计族n在贝
17、叶斯框架下，Lasso、岭回归和最佳子集选择表现为选择的先验分布不同n估计的结果都为贝叶斯估计：众数（最大后验）n岭回归同时也是后验均值（高斯分布的众数也是均值）38下节课内容n概率密度估计nWasserman Chp1939Regularizationn nRegularization: add model complexity penalty to Regularization: add model complexity penalty to training error.training error.n nfor some constant Cfor some constant Cn n
18、Now Now n nRegularization forces weights to be small, but does it Regularization forces weights to be small, but does it force weights to be exactly force weights to be exactly zerozero? ? n n is equivalent to removing feature f from the model is equivalent to removing feature f from the model40L1 v
19、s L2 regularization41L1 vs L2 regularizationn nTo minimize , we can solve To minimize , we can solve by (e.g.) gradient descent. by (e.g.) gradient descent.n nMinimization is a tug-of-war between the two termsMinimization is a tug-of-war between the two terms42L1 vs L2 regularizationn nTo minimize ,
20、 we can solve To minimize , we can solve by (e.g.) gradient descent. by (e.g.) gradient descent.n nMinimization is a tug-of-war between the two termsMinimization is a tug-of-war between the two terms43L1 vs L2 regularizationn nTo minimize , we can solve To minimize , we can solve by (e.g.) gradient
21、descent. by (e.g.) gradient descent.n nMinimization is a tug-of-war between the two termsMinimization is a tug-of-war between the two terms44L1 vs L2 regularizationn nTo minimize , we can solve To minimize , we can solve by (e.g.) gradient descent. by (e.g.) gradient descent.n nMinimization is a tug
22、-of-war between the two termsMinimization is a tug-of-war between the two termsn nw is forced into the cornersmany components 0w is forced into the cornersmany components 0n nSolution is Solution is sparsesparse45L1 vs L2 regularizationn nTo minimize , we can solve To minimize , we can solve by (e.g
23、.) gradient descent. by (e.g.) gradient descent.n nMinimization is a tug-of-war between the two termsMinimization is a tug-of-war between the two terms46L1 vs L2 regularizationn nTo minimize , we can solve To minimize , we can solve by (e.g.) gradient descent. by (e.g.) gradient descent.n nMinimizat
24、ion is a tug-of-war between the two termsMinimization is a tug-of-war between the two termsn nL L2 2 regularization does not promote regularization does not promote sparsitysparsityn nEven without Even without sparsitysparsity, regularization promotes , regularization promotes generalizationlimits e
25、xpressiveness of modelgeneralizationlimits expressiveness of model47Lasso Regression Tibshirani 94n nSimply linear regression with an L1 penalty for sparsity.n nTwo big questions:n n1. How do we perform this minimization? 1. How do we perform this minimization? n nWith LWith L2 2 penalty its easysaw
26、 this in a previous lecture penalty its easysaw this in a previous lecturen nWith LWith L1 1 its not a least-squares problem any more its not a least-squares problem any moren n2. How do we choose C?2. How do we choose C?48Least-Angle Regressionn nUp until a few years ago Up until a few years ago th
27、is was not trivialthis was not trivialn nFitting model: optimization Fitting model: optimization problem, harder than least-problem, harder than least-squaressquaresn nCross validation to choose C: Cross validation to choose C: must fit model for every must fit model for every candidate C valuecandi
28、date C valuen nNot with LARS! (Least Not with LARS! (Least Angle Regression, Hastie et Angle Regression, Hastie et al, 2004)al, 2004)n nFind trajectory of w for all Find trajectory of w for all possible C values possible C values simultaneously, as efficiently simultaneously, as efficiently as least-squaresas least-squaresn nCan choose exactly how Can choose exactly how many features are wantedmany features are wantedFigure taken from Hastie et al (2004)49
