《题库深度学习面试题型介绍及解析》由会员分享，可在线阅读，更多相关《题库深度学习面试题型介绍及解析（7页珍藏版）》请在金锄头文库上搜索。
1、1为什么深层神经网络难以训练？1梯度消失 梯度消失是指通过隐藏层从后向前看，梯度会变的越来越 小，说明前面层的学习会显著慢于后面层的学习，所以学习会卡住，除 非梯度变大。梯度消失的原因受到多种因素影响，例如学习率的大小，网络参数的初 始化，激活函数的边缘效应等。在深层神经网络中，每一个神经元计算 得到的梯度都会传递给前一层，较浅层的神经元接收到的梯度受到之前 所有层梯度的影响。如果计算得到的梯度值非常小，随着层数增多，求 出的梯度更新信息将会以指数形式衰减，就会发生梯度消失。下图是不 同隐含层的学习速率：50010100200300400Number of epochs of training
2、of learning： 4 hidden layersHidden layer 1Hidden layer 2Hidden layer 3Hidden layer 41梯度爆炸在深度网络或循环神经网络（Recurrent Neural Network, RNN）等网络结构中，梯度可在网络更新的过程中不断累积，变成非常 大的梯度，导致网络权重值的大幅更新，使得网络不稳定；在极端情况 下，权重值甚至会溢出，变为$NaN$值，再也无法更新。2权重矩阵的退化导致模型的有效自由度减少。参数空间中学习的退化速度减慢，导致减少了模型的有效维数，网络的 可用自由度对学习中梯度范数的贡献不均衡，随着相乘矩阵的
3、数量（即 网络深度）的增加，矩阵的乘积变得越来越退化。在有硬饱和边界的非 线性网络中（例如ReLU网络），随着深度增加，退化过程会变得越来 越快。Duvenaud等人2014年的论文里展示了关于该退化过程的可视 化：随着深度的增加，输入空间（左上角所示）会在输入空间中的每个点处被 扭曲成越来越细的单丝，只有一个与细丝正交的方向影响网络的响应。沿 着这个方向，网络实际上对变化变得非常敏感。2.L1 和 L2L1范数（L1 norm ）是指向量中各个元素绝对值之和，也有个美称叫稀疏规则算子”（Lasso regularization ）。比如向量 A=1，-1，3，那么A的L1范数为山+卜1| +
4、 |3|。简单总结一下就是：L1范数：为x向量各个元素绝对值之和。L2范数：为x向量各个元素平方和的1/2次方,L2范数又称 Euclidean 范数或 Frobenius 范数Lp范数：为x向量各个元素绝对值p次方和的1/p次方.在支持向量机学习过程中，L1范数实际是一种对于成本函数求解最优的过 程，因此，L1范数正则化通过向成本函数中添加L1范数，使得学习得到 的结果满足稀疏化，从而方便人类提取特征。L1范数可以使权值参数稀疏，方便特征提取。L2范数可以防止过拟合， 提升模型的泛化能力。3.CNN结构特点局部连接，权值共享，池化操作，多层次结构。局部连接使网络可以提取数据的局部特征权值共享
5、大大降低了网络的训练难度，一个 Filter只提取一个特征， 在整个图片（或者语音/文本）中进行卷积池化操作与多层次结构一起，实现了数据的降维，将低层次的局部特征 组合成为较高层次的特征，从而对整个图片进行表示。4.CNN权值共享问题首先权值共享就是滤波器共享，滤波器的参数是固定的，即是用相同的滤 波器去扫一遍图像，提取一次特征特征，得到feature map。在卷积网络 中，学好了一个滤波器，就相当于掌握了一种特征，这个滤波器在图像中 滑动，进行特征提取，然后所有进行这样操作的区域都会被采集到这种特 征，就好比上面的水平线。度学习和机器学习有什么不同机器学习：利用计算机、概率论、统计学等知识
6、，输入数据，让计算机学会新知识。机器学习的过程，就是训练数据去优化目标函数。深度学习：是一种特殊的机器学习，具有强大的能力和灵活性。它通过学 习将世界表示为嵌套的层次结构，每个表示都与更简单的特征相关，而抽 象的表示则用于计算更抽象的表示。传统的机器学习需要定义一些手工特征，从而有目的的去提取目标信息， 非常依赖任务的特异性以及设计特征的专家经验。而深度学习可以从大数 据中先学习简单的特征，并从其逐渐学习到更为复杂抽象的深层特征，不 依赖人工的特征工程，这也是深度学习在大数据时代受欢迎的一大原因。Deep learninglearningMachine learningRepresentati
7、onExample MLPsExample:： Shallow autoencoderAlOutputOi if )1 itHamd-designedprogramInputIhilc- basedSAstPinsMapins; fri mifeat tiresHand-feitiii化(lassiemachinelearidiigO nr putMiippiu fromfeature sFeaturesInpn tMapping fromlivesAdditioriril layers of uiorA abstract 血;tnir簡Simplefcatuit 唱InputlearningRepresenta tionlparinnjz;
