《BAT题库机器学习面试1000题系列(第101~200题)》由会员分享，可在线阅读，更多相关《BAT题库机器学习面试1000题系列(第101~200题)（63页珍藏版）》请在金锄头文库上搜索。
1、102.如何解决RNN梯度爆炸和弥散的问题的？本题解析来源：http:/ Mikolov首先提出了一个简单的启发性的解决方案，就是当梯度大于一定阈值的的时候，将它截断为一个较小的数。具体如算法1所述：算法：当梯度爆炸时截断梯度（伪代码）下图可视化了梯度截断的效果。它展示了一个小的rnn（其中W为权值矩阵，b为bias项）的决策面。这个模型是一个一小段时间的rnn单元组成；实心箭头表明每步梯度下降的训练过程。当梯度下降过程中，模型的目标函数取得了较高的误差时，梯度将被送到远离决策面的位置。截断模型产生了一个虚线，它将误差梯度拉回到离原始梯度接近的位置。梯度爆炸，梯度截断可视化为了解决梯度弥散的问
2、题，我们介绍了两种方法。第一种方法是将随机初始化W(hh)改为一个有关联的矩阵初始化。第二种方法是使用ReLU（Rectified Linear Units）代替sigmoid函数。ReLU的导数不是0就是1.因此，神经元的梯度将始终为1，而不会当梯度传播了一定时间之后变小。103.如何提高深度学习的性能http:/ Dependencies）问题，所以引入了LSTM。LSTM：因为LSTM有进有出且当前的cell informaton是通过input gate控制之后叠加的，RNN是叠乘，因此LSTM可以防止梯度消失或者爆炸的变化是关键，下图非常明确适合记忆：GRU是LSTM的变体，将忘记门
3、和输入们合成了一个单一的更新门。105.当机器学习性能遭遇瓶颈时，你会如何优化的？可以从这4个方面进行尝试：、基于数据、借助算法、用算法调参、借助模型融合。当然能谈多细多深入就看你的经验心得了。这里有一份参考清单：机器学习性能改善备忘单（http:/ 10次纯项目讲解，100%纯实战107.什么样的资料集不适合用深度学习?抽象猴，来源：https:/ Statistical View of Deep Learning (I): Recursive GLMs深度学习从统计学角度，可以看做递归的广义线性模型。广义线性模型相对于经典的线性模型(y=wx+b)，核心在于引入了连接函数g(.)，形式变为
4、：y=g1(wx+b)。深度学习时递归的广义线性模型，神经元的激活函数，即为广义线性模型的链接函数。逻辑回归（广义线性模型的一种）的Logistic函数即为神经元激活函数中的Sigmoid函数，很多类似的方法在统计学和神经网络中的名称不一样，容易引起初学者（这里主要指我）的困惑。下图是一个对照表109.准备机器学习面试应该了解哪些理论知识穆文，来源：https:/ 缺失值较多.直接将该特征舍弃掉，否则可能反倒会带入较大的noise，对结果造成不良影响。2. 缺失值较少,其余的特征缺失值都在10%以内，我们可以采取很多的方式来处理:1) 把NaN直接作为一个特征，假设用0表示；2) 用均值填充；
5、3) 用随机森林等算法预测填充111.随机森林如何处理缺失值方法一（na.roughfix）简单粗暴，对于训练集,同一个class下的数据，如果是分类变量缺失，用众数补上，如果是连续型变量缺失，用中位数补。方法二（rfImpute）这个方法计算量大，至于比方法一好坏？不好判断。先用na.roughfix补上缺失值，然后构建森林并计算proximity matrix，再回头看缺失值，如果是分类变量，则用没有阵进行加权平均的方法补缺失值。然后迭代4-6次，这个补缺失值的思想和KNN有些类似1缺失的观测实例的proximity中的权重进行投票。如果是连续型变量，则用proximity矩2。112.随
6、机森林如何评估特征重要性衡量变量重要性的方法有两种，Decrease GINI 和 Decrease Accuracy：1) Decrease GINI： 对于回归问题，直接使用argmax(VarVarLeftVarRight)作为评判标准，即当前节点训练集的方差Var减去左节点的方差VarLeft和右节点的方差VarRight。2) Decrease Accuracy：对于一棵树Tb(x)，我们用OOB样本可以得到测试误差1；然后随机改变OOB样本的第j列：保持其他列不变，对第j列进行随机的上下置换，得到误差2。至此，我们可以用误差1-误差2来刻画变量j的重要性。基本思想就是，如果一个变量
7、j足够重要，那么改变它会极大的增加测试误差；反之，如果改变它测试误差没有增大，则说明该变量不是那么的重要。113.优化Kmeans使用kd树或者ball tree将所有的观测实例构建成一颗kd树，之前每个聚类中心都是需要和每个观测点做依次距离计算，现在这些聚类中心根据kd树只需要计算附近的一个局部区域即可。114.KMeans初始类簇中心点的选取k-means+算法选择初始seeds的基本思想就是：初始的聚类中心之间的相互距离要尽可能的远。1. 从输入的数据点集合中随机选择一个点作为第一个聚类中心2. 对于数据集中的每一个点x，计算它与最近聚类中心(指已选择的聚类中心)的距离D(x)3. 选择
8、一个新的数据点作为新的聚类中心，选择的原则是：D(x)较大的点，被选取作为聚类中心的概率较大4. 重复2和3直到k个聚类中心被选出来5. 利用这k个初始的聚类中心来运行标准的k-means算法115.解释对偶的概念一个优化问题可以从两个角度进行考察，一个是primal 问题，一个是dual 问题，就是对偶问题，一般情况下对偶问题给出主问题最优值的下界，在强对偶性成立的情况下由对偶问题可以得到主问题的最优下界，对偶问题是凸优化问题，可以进行较好的求解，SVM中就是将primal问题转换为dual问题进行求解，从而进一步引入核函数的思想。116.如何进行特征选择？特征选择是一个重要的数据预处理过程
9、，主要有两个原因：一是减少特征数量、降维，使模型泛化能力更强，减少过拟合;二是增强对特征和特征值之间的理解常见的特征选择方式：1. 去除方差较小的特征2. 正则化。1正则化能够生成稀疏的模型。L2正则化的表现更加稳定，由于有用的特征往往对应系数非零。3. 随机森林，对于分类问题，通常采用基尼不纯度或者信息增益，对于回归问题，通常采用的是方差或者最小二乘拟合。一般不需要feature engineering、调参等繁琐的步骤。它的两个主要问题，1是重要的特征有可能得分很低（关联特征问题），2是这种方法对特征变量类别多的特征越有利（偏向问题）。4. 稳定性选择。是一种基于二次抽样和选择算法相结合较
10、新的方法，选择算法可以是回归、SVM或其他类似的方法。它的主要思想是在不同的数据子集和特征子集上运行特征选择算法，不断的重复，最终汇总特征选择结果，比如可以统计某个特征被认为是重要特征的频率（被选为重要特征的次数除以它所在的子集被测试的次数）。理想情况下，重要特征的得分会接近100%。稍微弱一点的特征得分会是非0的数，而最无用的特征得分将会接近于0。117.数据预处理1. 缺失值，填充缺失值fillna：i. 离散：None,ii. 连续：均值。iii. 缺失值太多，则直接去除该列2. 连续值：离散化。有的模型（如决策树）需要离散值3. 对定量特征二值化。核心在于设定一个阈值，大于阈值的赋值为1，小于等于阈值的赋值为0。如图像操作4. 皮尔逊相关系数，去除高度相关的列118.你知道有哪些数据处理和特征工程的处理？更多请查看此课程机器学习工程师 第八期 六大阶段、层层深入第7次课 特征工程（https:/
