《题库深度学习面试题型介绍及解析》由会员分享,可在线阅读,更多相关《题库深度学习面试题型介绍及解析(7页珍藏版)》请在金锄头文库上搜索。
1、1为什么深层神经网络难以训练?1梯度消失 梯度消失是指通过隐藏层从后向前看,梯度会变的越来越 小,说明前面层的学习会显著慢于后面层的学习,所以学习会卡住,除 非梯度变大。梯度消失的原因受到多种因素影响,例如学习率的大小,网络参数的初 始化,激活函数的边缘效应等。在深层神经网络中,每一个神经元计算 得到的梯度都会传递给前一层,较浅层的神经元接收到的梯度受到之前 所有层梯度的影响。如果计算得到的梯度值非常小,随着层数增多,求 出的梯度更新信息将会以指数形式衰减,就会发生梯度消失。下图是不 同隐含层的学习速率:50010100200300400Number of epochs of training
2、of learning: 4 hidden layersHidden layer 1Hidden layer 2Hidden layer 3Hidden layer 41梯度爆炸在深度网络或循环神经网络(Recurrent Neural Network, RNN)等网络结构中,梯度可在网络更新的过程中不断累积,变成非常 大的梯度,导致网络权重值的大幅更新,使得网络不稳定;在极端情况 下,权重值甚至会溢出,变为$NaN$值,再也无法更新。2权重矩阵的退化导致模型的有效自由度减少。参数空间中学习的退化速度减慢,导致减少了模型的有效维数,网络的 可用自由度对学习中梯度范数的贡献不均衡,随着相乘矩阵的
3、数量(即 网络深度)的增加,矩阵的乘积变得越来越退化。在有硬饱和边界的非 线性网络中(例如ReLU网络),随着深度增加,退化过程会变得越来 越快。Duvenaud等人2014年的论文里展示了关于该退化过程的可视 化:随着深度的增加,输入空间(左上角所示)会在输入空间中的每个点处被 扭曲成越来越细的单丝,只有一个与细丝正交的方向影响网络的响应。沿 着这个方向,网络实际上对变化变得非常敏感。2.L1 和 L2L1范数(L1 norm )是指向量中各个元素绝对值之和,也有个美称叫稀疏规则算子”(Lasso regularization )。比如向量 A=1,-1,3,那么A的L1范数为山+卜1| +
4、 |3|。简单总结一下就是:L1范数:为x向量各个元素绝对值之和。L2范数:为x向量各个元素平方和的1/2次方,L2范数又称 Euclidean 范数或 Frobenius 范数Lp范数:为x向量各个元素绝对值p次方和的1/p次方.在支持向量机学习过程中,L1范数实际是一种对于成本函数求解最优的过 程,因此,L1范数正则化通过向成本函数中添加L1范数,使得学习得到 的结果满足稀疏化,从而方便人类提取特征。L1范数可以使权值参数稀疏,方便特征提取。L2范数可以防止过拟合, 提升模型的泛化能力。3.CNN结构特点局部连接,权值共享,池化操作,多层次结构。局部连接使网络可以提取数据的局部特征权值共享
5、大大降低了网络的训练难度,一个 Filter只提取一个特征, 在整个图片(或者语音/文本)中进行卷积池化操作与多层次结构一起,实现了数据的降维,将低层次的局部特征 组合成为较高层次的特征,从而对整个图片进行表示。4.CNN权值共享问题首先权值共享就是滤波器共享,滤波器的参数是固定的,即是用相同的滤 波器去扫一遍图像,提取一次特征特征,得到feature map。在卷积网络 中,学好了一个滤波器,就相当于掌握了一种特征,这个滤波器在图像中 滑动,进行特征提取,然后所有进行这样操作的区域都会被采集到这种特 征,就好比上面的水平线。度学习和机器学习有什么不同机器学习:利用计算机、概率论、统计学等知识
6、,输入数据,让计算机学会新知识。机器学习的过程,就是训练数据去优化目标函数。深度学习:是一种特殊的机器学习,具有强大的能力和灵活性。它通过学 习将世界表示为嵌套的层次结构,每个表示都与更简单的特征相关,而抽 象的表示则用于计算更抽象的表示。传统的机器学习需要定义一些手工特征,从而有目的的去提取目标信息, 非常依赖任务的特异性以及设计特征的专家经验。而深度学习可以从大数 据中先学习简单的特征,并从其逐渐学习到更为复杂抽象的深层特征,不 依赖人工的特征工程,这也是深度学习在大数据时代受欢迎的一大原因。Deep learninglearningMachine learningRepresentati
7、onExample MLPsExample:: Shallow autoencoderAlOutputOi if )1 itHamd-designedprogramInputIhilc- basedSAstPinsMapins; fri mifeat tiresHand-feitiii化(lassiemachinelearidiigO nr putMiippiu fromfeature sFeaturesInpn tMapping fromlivesAdditioriril layers of uiorA abstract 血;tnir簡Simplefcatuit 唱InputlearningRepresenta tionlparinnjz;