《中国科学院大学2012年《机器学习》试卷及其答案.pdf》由会员分享,可在线阅读,更多相关《中国科学院大学2012年《机器学习》试卷及其答案.pdf(4页珍藏版)》请在金锄头文库上搜索。
1、中国科学院大学 20139310 班 第 1 页 共 4 页 中中国国科学院大学科学院大学 2012 年年机器学习机器学习试卷试卷及其及其答案答案 任课教师任课教师:卿来云卿来云 一一、基础题基础题(共共 36 分分) 1、 请描述极大似然估计 MLE 和最大后验估计 MAP之间的区别。 请解释为什么 MLE 比 MAP 更容易过拟合。(10 分) MLE:取似然函数最大时的参数值为该参数的估计值,ymle=argmaxp(x|y);MAP:取后验 函数(似然与先验之积)最大时的参数值为该参数的估计值,ymap=argmaxp(x|y)p(y)。因为 MLE 只考虑训练数据拟合程度没有考虑先验
2、知识,把错误点也加入模型中,导致过拟合。 2、 在年度百花奖评奖揭晓之前, 一位教授问 80 个电影系的学生, 谁将分别获得 8 个奖项 (如 最佳导演、最佳男女主角等)。评奖结果揭晓后,该教授计算每个学生的猜中率,同时也计 算了所有 80 个学生投票的结果。他发现所有人投票结果几乎比任何一个学生的结果正确率 都高。这种提高是偶然的吗?请解释原因。(10 分) 设 x 为第 i 个学生的猜中率(要么 0 要么 1)xBer(),E(x)=,V(x)=(1-) mean(x)N(,(1-)/N),E(mean(x)=,V(mean(x)=(1-)/NV(x) 3、假设给定如右数据集,其中 A、B
3、、C 为二值随机变量,y 为待预测的二值变量。 (a) 对一个新的输入 A=0, B=0, C=1,朴素贝叶斯分类器将会怎样预测 y?(10 分) yBer() p(y=0)=3/7,p(y=1)=4/7 p(y=0|A=0B=0C=1)p(y=0)*p(A=0|y=0)*p(B=0|y=0)*p(C=1|y=0)=3/7*2/3*1/3*1/3=2/63 p(y=1|A=0B=0C=1)p(y=1)*p(A=0|y=1)*p(B=0|y=1)*p(C=1|y=1)=4/7*1/4*2/4*2/4=1/28, 因此 属于 y=1 类 (b) 假设你知道在给定类别的情况下 A、 B、 C 是独立
4、的随机变量, 那么其他分类器 (如 Logstic 回归、SVM 分类器等)会比朴素贝叶斯分类器表现更好吗?为什么?(注意:与上面给的 数据集没有关系。)(6 分) 不会。 因为已知独立同分布的前提下 NBC 只用 3 个参数, 不用 NBC 则需要 23-1=7 个参数。 若不独立,则其他基于数据本身的判别式分类器效果较好。 二二、回归问题回归问题。(。(共共 24 分分) 现有 N 个训练样本的数据集 D=(xi,yi),其中 xi,yi 为实数。 中国科学院大学 20139310 班 第 2 页 共 4 页 1 我们首先用线性回归拟合数据。为了测试我们的线性回归模型,我们随机选择一些样本
5、 作为训练样本,剩余样本作为测试样本。现在我们慢慢增加训练样本的数目,那么随着训练 样本数目的增加,平均训练误差和平均测试误差将会如何变化?为什么?(6 分) 平均训练误差:A、增加 B、减小 平均测试误差:A、增加 B、减小 因为当训练样本增多时, 模型参数发生改变以拟合新增的样本, 因而使得模型原先的拟合程 度下降,平均训练误差增加;而训练样本增多,模型越接近真实的分布,因而使得平均测试 误差减小。 2 给定如下图(a)所示数据。粗略看来这些数据不适合用线性回归模型表示。因此我们采 用如下模型其中。假设我们采用极大似然估计 w,请给出 log 似然函数并给出 w 的估计。(8 分) p(y
6、i|w,xi)N(exp(wxi),1) L(w)=logp(y|w,x)=-0.5*(yi-exp(wxi)2+C 令 g(w)=(yi-exp(wxi)*exp(wxi)*xi=0 求得 w 3 给定如下图(b)所示的数据。从图中我们可以看出该数据集有一些噪声,请设计一个对 噪声鲁棒的线性回归模型,并简要分析该模型为什么能对噪声鲁棒。(10 分) 如图离群点较多(heavy tail),使用鲁棒线性回归模型:y=wTx+Laplace(wTx,b) 因为当 y 服从拉式分布时 L()=logp(D|X,w,b)=logLap(yi|wTxi,b)=-N*log(2b)-|yi-wTxi|/
7、b, 其 损失为残差绝对值和,对离群点不敏感; 而当 y 服从正态分布时, L()=logp(D|X,w,b)=logN(yi|wTxi,2)=-(N/2)*log(22)-(yi-wTxi)2/22, 其损失为残差平方和, 放大了误差,对离群点敏感。因此使用 Laplace(或 Student)线性回归模型能对噪声鲁棒。 三三、SVM 分类分类。(。(第第 15 题各题各 4 分分,第第 6 题题 5 分分,共共 25 分分) 下图为采用不同核函数或不同的松弛因子得到的 SVM 决策边界。但粗心的实验者忘记记录 每个图形对应的模型和参数了。请你帮忙给下面每个模型标出正确的图形。 中国科学院大
8、学 20139310 班 第 3 页 共 4 页 答:1.c 2.b 3.d 4.a 5.e 6、考虑带松弛因子的线性 SVM 分类器: 下面有一些关于某些变量随参数 C 的增大而变化的表述。如果表述总是成立,标示“是”; 如果表述总是不成立,标示“否”;如果表述的正确性取决于 C 增大的具体情况,标示“不一 定”。 (1) w0 不会增大 (不一定) (2) |w|增大 (不一定) (3) |w|不会减小 (是) (4) 会有更多的训练样本被分错 (否) (5) 间隔(Margin)不会增大 (是) 四、一个初学机器学习的朋友对房价进行预测。他在一个 N=1000 个房价数据的数据集上匹 配
9、了一个有 533 个参数的模型,该模型能解释数据集上 99%的变化。 中国科学院大学 20139310 班 第 4 页 共 4 页 1、请问该模型能很好地预测来年的房价吗?简单解释原因。(5 分) 2、 如果上述模型不能很好预测新的房价, 请你设计一个合适的模型, 给出模型的参数估计, 并解释你的模型为什么是合理的。(10 分) 答:1.不能。因为模型参数过多太复杂,训练集上拟合太好,把错误点也考虑进来,因此发 生了过拟合,预测误差较大。 2.对之进行 L1 正则,即 Lasso 回归。yN(wTx,2) wLap(0,t) L()=C-(yi-wTxi)2/22 -|wi|/b,NLL=RSS+|w| 通过调节 L1 正则系数 大小避免模型过拟合,而且估计 w 参数的同时进行了特征选择,使 得系数 w 尽可能多的为 0,简化了模型。