《深度学习基础知识.docx》由会员分享，可在线阅读，更多相关《深度学习基础知识.docx（11页珍藏版）》请在金锄头文库上搜索。
1、xx 学习基础知识整理Withoutdeviationfromthenorm，progressisnotpossible（不偏离惯例，就没法获得进步-FrankZappa）第一课：数学剖析与概率论Taylor展式及其应用、凸函数、jensen不等式、常有散布与共轭散布第二课：数理统计与参数预计Chebyshev不等式、大数定理、小数定理、中心极值定理、矩阵计算、最大似然预计第三课:矩阵和线性代数从马尔克夫模型看矩阵、特点向量、对称矩阵、线性方程第四课:凸优化凸函数、共轭函数、凸优化、Lagrange对偶函数第五课：回归高斯散布、Logistic回归、梯度降落、特点选择与过拟合欠拟合关系应用方向
2、：线性回归、Logistic回归实现和剖析xx：1/11梯度降落与拟xxxx梯度降落算法、自适应学习率、拟牛顿、LBFGS应用方向：自适应学习率代码实现和参数调试剖析第七课：最大熵模型熵、相对熵、信息增益、最大熵模型、Softmax回归应用方向：独立成分剖析ICA求解盲源分别BBS问题第八课：决议树和随机丛林（蒙特卡罗）ID3、C4.5、CART、Bagging研究方向:使用随机丛林进行数据分类（蒙特卡洛）xx：SVM线性可分支持向量机、软间隔、核函数、SMO研究方向：使用SVM进行数据分类第十课：聚类2/11K-means/K-Medoids、密度聚类、谱聚类、应用方向：K-means、谱聚
3、类代码实现和参数调试剖析第十一课：介绍系统相像胸怀方案、共同过滤（User-based/ltem-based）、PCA/SVD、随机游走应用方向：共同过滤用于商品介绍、SVD隐变量的介绍第十二课：提高梯度提高决议树GBDT、Adaboost、前向分步算法应用方向：Adaboost与随机丛林（蒙特卡洛）联合、用于数据分类第十三课：EM算法和GMMEMM算法、GMM、主题模型pLSA应用方向：分解部分观察数据的男女身高、图像分解第十四课：普斯贝叶斯和贝叶斯网络初步有向分别、（隐）马尔科夫模型HMM第十五课：主题模型用EM算法计算pLSA、Dirichiet散布、L3/11DA、Gibbs采样应用方
4、向：使用Gibbs采样计算给语料的主题第十六课：采样MC（MarkovchainMonteCarlo）、Metropolis-Hastings算法、Gibbs采样第十七课：变分KL(pllq)与KL（qllp）剖析、均匀场理论第十八课：隐马尔科夫模型HMM概率计算问题、HMM参数学习问题、状态展望问题应用方向：使用HMM进行中文分词第十九课：条件随机场CRF无向图模型、MRF、前向-后向算法第二十课：xx 学习全连结网络、链式法例与BP算法、卷积网络、残差网络、应用方向：4/11使用BP网络对样安分类第十三课：xx 学习整体介绍1.2.3.4.神经网络；传统到现代xx 学习应用特定xx 学习发
5、展方向xx 学习框架比较：用Tensorflow进行课程学习第十四课：传统神经网络1.线性回归2.非线性激励函数3.loss函数，常有问题：过拟合，正则化，dropout实例：传统神经网络络实现第十五课反向反应：xx 学习模型优化基础5/111.SGD梯度降落介绍2.神经网络的梯度优化3.神经网络训练实例：反向梯度优化对照第十六课卷积神经网络1.卷积核以及卷积层2.AlexNet最早的现代神经网络3.VGG，GoogleNet,，ResNet近.期的高级网络LeNet实例：利用已有模型进行物体分类xx第十七课迁徙学习1.理论剖析2.迁徙模型&原始训练模型3.怎样设计新的的网络实例：表情辨别人脸
6、辨别动物辨别第十八课与时域信息有关的xx学习1.RNN2.LSTM3.图片标题生成6/114.视频办理实例：LSTM用于图片标题生成第十九课自然语言办理1.办理以前：speechtotext2.词语表达，word2vect3.语句生成LSTM实例：依据上下文回答下列问题第二十课赐予xx学习的目标检测1.传统的目标检测方法2.初代算法：RegionCNN3.升级：SPPNet，FastRCNN，FasterRCNN4.xx学习另辟门路：YoLo和SSD实例：自动驾驶的核心：及时目标检测7/11第二十一课xx卷积神经偶的重要应用1.图片问答2.图像模式变换3.图像xx4.围棋程序，Alphago5
7、.自动游戏机器人，DeepMindAtari实例：图片艺术风格转变第二十二课无监察学习：抗衡网络GAN1.传统无监察学习Autoencode，KMeans，SparseCoding2.RBM限制博斯曼机，深度学习的另一支3.生成抗衡网络GAN实例：机器生成图片，以假乱真第二十三课：迁徙学习第二十四课：加强学习记忆模型，xxRNN的GTMM第二十五课：8/11二值神经网络一般二值神经网络，YodaNN，XLA怎样让机器学习在TensorFlow上提高速度第二十六课：对偶学习纳米神经网络NanoNetAsolutiontothesingle-questioncrowdwisdomproblem（选
8、自自然杂志意味流行算法解决集体智慧中缺点）语义理解（当前自然语言界最大难关）使用LSTM+Attion解决像素卷积神经网络（PixelCNN+）可将图像生成速度提高183倍WaveNetRLSSscheduletobepostedsoon（深度学习与加强学习暑期学校）机器与大脑学习项目课程计划CNNsRNNsGenerativeModels2ComputationalNeuroscience1LearningtolearnCoffeBreakNeuralNetworksStructuredModels/AdvancedVisionProbabillsticNumerics9/11Natural
9、LanguageUnderstandingComputational常有问题：Q：会有实质上机演示和着手操作吗？A：有，几乎每节课，老师均会准备上机演示部分，学员能够学习老师的实践经验。Q：参加本门课程有什么要求？A：有必定Python编程能力，有几本大学数学基础。Q：本课程怎么答疑？A：会有特意的QQ班级群，同学们能够针对课上知识的问题，或许自己学习与着手实践中的问题，向老师发问，老师会进行相应解答。也介绍大家到小象问答社区发问，方便知识的积淀，老师会合中回答，不会由于QQ群信息刷屏而被老师错过。Q：本课程需要什么环境？A：10/11开发环境主要以Ubuntu为主，深度学习训练需要有能够支持的显卡，基本要求GTX960，有条件的尽量GTX1080，GTXTitanX更好（显卡的内核数以及显存数尽量多一点）。11/11
