《机器学习面试题目》由会员分享，可在线阅读，更多相关《机器学习面试题目（29页珍藏版）》请在金锄头文库上搜索。
1、1、有监视学习与无监视学习的区别有监视学习：对具有标记的训练样本进展学习，以尽可能对训练样本集外的数据进展分类预测。LR,SVM,BP,RF,GBDT无监视学习：对未标记的样本进展训练学习，比发现这些样本中的构造知识。(KMeans,DL)2、正那么化正那么化是针对过拟合而提出的，以为在求解模型最优的是一般优化最小的经历风险，现在在该经历风险上参加模型复杂度这一项正那么化项是模型参数向量的范数，并使用一个rate比率来权衡模型复杂度及以往经历风险的权重，如果模型复杂度越高，构造化的经历风险会越大，现在的目标就变为了构造经历风险的最优化，可以防止模型训练过度复杂，有效的降低过拟合的风险。奥卡姆剃
2、刀原理，能够很好的解释数据并且十分简单才是最好的模型。 过拟合如果一味的去提高训练数据的预测能力，所选模型的复杂度往往会很高，这种现象称为过拟合。所表现的就是模型训练时候的误差很小，但在测试的时候误差很大。产生的原因过拟合原因：1. 样本数据的问题。样本数量太少；抽样方法错误，抽出的样本数据不能有效足够代表业务逻辑或业务场景。比方样本符合正态分布，却按均分分布抽样，或者样本数据不能代表整体数据的分布；样本里的噪音数据干扰过大2. 模型问题模型复杂度高 、参数太多决策树模型没有剪枝权值学习迭代次数足够多(Overtraining),拟合了训练数据中的噪声与训练样例中没有代表性的特征.解决方法1.
3、 样本数据方面。增加样本数量，对样本进展降维，添加验证数据抽样方法要符合业务场景清洗噪声数据2. 模型或训练问题控制模型复杂度，优先选择简单的模型，或者用模型融合技术。利用先验知识，添加正那么项。L1正那么更加容易产生稀疏解、L2正那么倾向于让参数w趋向于0. 4、穿插验证不要过度训练，最优化求解时，收敛之前停顿迭代。 决策树模型没有剪枝权值衰减5、泛化能力泛化能力是指模型对未知数据的预测能力6、生成模型与判别模型1. 生成模型：由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：P(Y|X)= P(X,Y)/ P(X)。朴素贝叶斯、Kmeans生成
4、模型可以复原联合概率分布p(X,Y)，并且有较快的学习收敛速度，还可以用于隐变量的学习2. 判别模型：由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型，即判别模型。k近邻、决策树、SVM直接面对预测，往往准确率较高，直接对数据在各种程度上的抽象，所以可以简化模型7、线性分类器及非线性分类器的区别以及优劣如果模型是参数的线性函数，并且存在线性分类面，那么就是线性分类器，否那么不是。常见的线性分类器有：LR,贝叶斯分类，单层感知机、线性回归常见的非线性分类器：决策树、RF、GBDT、多层感知机SVM两种都有(看线性核还是高斯核)线性分类器速度快、编程方便，但是可能拟合效
5、果不会很好非线性分类器编程复杂，但是效果拟合能力强8、特征比数据量还大时，选择什么样的分类器？线性分类器，因为维度高的时候，数据一般在维度空间里面会比拟稀疏，很有可能线性可分对于维度很高的特征，你是选择线性还是非线性分类器？理由同上对于维度极低的特征，你是选择线性还是非线性分类器？非线性分类器，因为低维空间可能很多特征都跑到一起了，导致线性不可分1. 如果Feature的数量很大，跟样本数量差不多，这时候选用LR或者是Linear Kernel的SVM2. 如果Feature的数量比拟小，样本数量一般，不算大也不算小，选用SVM+Gaussian Kernel3. 如果Feature的数量比拟
6、小，而样本数量很多，需要手工添加一些feature变成第一种情况9、ill-condition病态问题训练完的模型测试样本稍作修改就会得到差异很大的结果，就是病态问题这简直是不能用啊10、L1与L2正那么的区别，如何选择L1与L2正那么他们都是可以防止过拟合，降低模型复杂度L1是在loss function后面加上 模型参数的1范数也就是|xi|L2是在loss function后面加上 模型参数的2范数也就是sigma(xi2)，注意L2范数的定义是sqrt(sigma(xi2)，在正那么项上没有添加sqrt根号是为了更加容易优化L1 会产生稀疏的特征L2 会产生更多地特征但是都会接近于0L
7、1会趋向于产生少量的特征，而其他的特征都是0，而L2会选择更多的特征，这些特征都会接近于0。L1在特征选择时候非常有用，而L2就只是一种规那么化而已。L1求解最小角回归算法：LARS算法11、越小的参数说明模型越简单过拟合的，拟合会经过曲面的每个点，也就是说在较小的区间里面可能会有较大的曲率，这里的导数就是很大，线性模型里面的权值就是导数，所以越小的参数说明模型越简单。12、为什么一些机器学习模型需要对数据进展归一化？归一化化就是要把你需要处理的数据经过处理后通过某种算法限制在你需要的一定范围内。1归一化后加快了梯度下降求最优解的速度。等高线变得显得圆滑，在梯度下降进展求解时能较快的收敛。如果
8、不做归一化，梯度下降过程容易走之字，很难收敛甚至不能收敛2把有量纲表达式变为无量纲表达式, 有可能提高精度。一些分类器需要计算样本之间的距离如欧氏距离，例如KNN。如果一个特征值域范围非常大，那么距离计算就主要取决于这个特征，从而及实际情况相悖比方这时实际情况是值域范围小的特征更重要3) 逻辑回归等模型先验假设数据服从正态分布。哪些机器学习算法不需要做归一化处理？概率模型不需要归一化，因为它们不关心变量的值，而是关心变量的分布与变量之间的条件概率，如决策树、rf。而像adaboost、gbdt、xgboost、svm、lr、KNN、KMeans之类的最优化问题就需要归一化。特征向量的归一化方法
9、线性函数转换，表达式如下：y=(x-MinValue)/(MaxValue-MinValue)对数函数转换，表达式如下：y=log10 (x)反余切函数转换 ，表达式如下：y=arctan(x)*2/PI减去均值，乘以方差：y=(x-means)/ variance标准化及归一化的区别简单来说，标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下。归一化是依照特征矩阵的行处理数据，其目的在于样本向量在点乘运算或其他核函数计算相似性时，拥有统一的标准，也就是说都转化为“单位向量。规那么为l2的归一化公式如下：13、特征向量的缺失值处理1. 缺失值较多.直
10、接将该特征舍弃掉，否那么可能反倒会带入较大的noise，对结果造成不良影响。2. 缺失值较少,其余的特征缺失值都在10%以内，我们可以采取很多的方式来处理:1) 把NaN直接作为一个特征，假设用0表示；2) 用均值填充；3) 用随机森林等算法预测填充 随机森林如何处理缺失值方法一na.roughfix简单粗暴，对于训练集,同一个class下的数据，如果是分类变量缺失，用众数补上，如果是连续型变量缺失，用中位数补。方法二rfImpute这个方法计算量大，至于比方法一好坏？不好判断。先用na.roughfix补上缺失值，然后构建森林并计算proximity matrix，再回头看缺失值，如果是分类
11、变量，那么用没有缺失的观测实例的proximity中的权重进展投票。如果是连续型变量，那么用proximity矩阵进展加权平均的方法补缺失值。然后迭代4-6次，这个补缺失值的思想与KNN有些类似12。随机森林如何评估特征重要性衡量变量重要性的方法有两种，Decrease GINI 与 Decrease Accuracy：1) Decrease GINI： 对于回归问题，直接使用argmax(VarVarLeftVarRight)作为评判标准，即当前节点训练集的方差Var减去左节点的方差VarLeft与右节点的方差VarRight。2) Decrease Accuracy：对于一棵树Tb(x)，
12、我们用OOB样本可以得到测试误差1；然后随机改变OOB样本的第j列：保持其他列不变，对第j列进展随机的上下置换，得到误差2。至此，我们可以用误差1-误差2来刻画变量j的重要性。根本思想就是，如果一个变量j足够重要，那么改变它会极大的增加测试误差；反之，如果改变它测试误差没有增大，那么说明该变量不是那么的重要。14、优化Kmeans使用kd树或者ball tree(这个树不懂)将所有的观测实例构建成一颗kd树，之前每个聚类中心都是需要与每个观测点做依次距离计算，现在这些聚类中心根据kd树只需要计算附近的一个局部区域即可KMeans初始类簇中心点的选取k-means+算法选择初始seeds的根本思
13、想就是：初始的聚类中心之间的相互距离要尽可能的远。1. 从输入的数据点集合中随机选择一个点作为第一个聚类中心2. 对于数据集中的每一个点x，计算它及最近聚类中心(指已选择的聚类中心)的距离D(x)3. 选择一个新的数据点作为新的聚类中心，选择的原那么是：D(x)较大的点，被选取作为聚类中心的概率较大4. 重复2与3直到k个聚类中心被选出来5. 利用这k个初始的聚类中心来运行标准的k-means算法15、解释对偶的概念一个优化问题可以从两个角度进展考察，一个是primal 问题，一个是dual 问题，就是对偶问题，一般情况下对偶问题给出主问题最优值的下界，在强对偶性成立的情况下由对偶问题可以得到
14、主问题的最优下界，对偶问题是凸优化问题，可以进展较好的求解，SVM中就是将primal问题转换为dual问题进展求解，从而进一步引入核函数的思想。16、如何进展特征选择？特征选择是一个重要的数据预处理过程，主要有两个原因：一是减少特征数量、降维，使模型泛化能力更强，减少过拟合;二是增强对特征与特征值之间的理解常见的特征选择方式：1. 去除方差较小的特征2. 正那么化。1正那么化能够生成稀疏的模型。L2正那么化的表现更加稳定，由于有用的特征往往对应系数非零。3. 随机森林，对于分类问题，通常采用基尼不纯度或者信息增益，对于回归问题，通常采用的是方差或者最小二乘拟合。一般不需要feature en
15、gineering、调参等繁琐的步骤。它的两个主要问题，1是重要的特征有可能得分很低关联特征问题，2是这种方法对特征变量类别多的特征越有利偏向问题。4. 稳定性选择。是一种基于二次抽样与选择算法相结合较新的方法，选择算法可以是回归、SVM或其他类似的方法。它的主要思想是在不同的数据子集与特征子集上运行特征选择算法，不断的重复，最终汇总特征选择结果，比方可以统计某个特征被认为是重要特征的频率被选为重要特征的次数除以它所在的子集被测试的次数。理想情况下，重要特征的得分会接近100%。稍微弱一点的特征得分会是非0的数，而最无用的特征得分将会接近于0。 17、数据预处理1. 缺失值，填充缺失值fillna：i. 离散：None,ii. 连续：均值。iii. 缺失值太多，那么直接去除该列2. 连续值：离散化。有的模型如决策树需要离散值3. 对定量特征二值化。核心在于设定一个阈值，大于阈值的赋值为1，小于等于阈值的赋值为0。如图像操作4. 皮尔逊相关系数，去除高度相关的列#correlation matrixcorrmat = df_train.corr()f, ax = plt.subplots(figsize=(12
