《机器学习简介总结》由会员分享，可在线阅读，更多相关《机器学习简介总结（19页珍藏版）》请在金锄头文库上搜索。
1、1 机器学机器学习简介总结习简介总结 任梓涵 Xiamen University 2 Content 1 机器学习的定义 2 建立模型的步骤 3 感知器与前馈神经网络 3 1 机器学习的定义 4 研究如何使计算机从给定的数据中学习规律，即从观测数据（样本）中 寻找规律，并利用学习到的规律（模型）对未知或无法观测的数据进行 预测 5 2 建立模型的步骤 6 寻找决策函数建立x和y之间的关系 评价决策函数的好坏定义损失函数，然后在所有的 训练样本上来评价决策函数的风险 经验风险（训练集上的平均损失） 最优模型经验风险最小化 7 损失函数损失函数 0-1损失函数：分类问题 平方损失函数：线性回归 交
2、叉熵损失函数：Logistic 回归、SoftMax回归 Hinge 损失函数：SVM . 8 经经验风险最小化验风险最小化 问题：过拟合 模型在训练集上错误率很低，但是在未知数据上错误率很高 解决：结构风险最小化原则 在经验风险最小化的原则上加上参数的正则化 正则化项一般是模型复杂度的单调递增函数，模型越复杂， 正则化值越大。（L1范数，L2范数） 9 经经验风险最小化验风险最小化 学习参数 ，使得经验风险最小化 梯度下降法 随机梯度下降法 动量法 AdaGrad算法 AdaDelta算法 10 优化方法比较优化方法比较 adagrad相比于sgd和momentum更加稳定，即不需要怎么调
3、参。而精调的sgd和momentum系列方法无论是收敛速度还是 precision都比adagrad要好一些。在精调参数下momentum 优于sgd。而adagrad一方面不用怎么调参，另一方面其性能 稳定优于其他方法。 11 评价方法评价方法 TP（True Positive ） - 将正类预测为正类数 FN（False Negative） - 将正类预测为负类数 FP（False Positive ） - 将负类预测为正类数 TN（True Negative） - 将负类预测为负类数 （对于正类来说） 准确率 TP/(TP+FP) 召回率 TP/(TP+FN) 12 3 感知器与前馈神经
4、网络 13 感知器（神经网络和感知器（神经网络和SVMSVM的基础）的基础） 与神经元相比：权重（突触）、偏置（阈值）及激活函数（细胞体），输出为0 或1 。 14 感知器感知器 15 感知器感知器 损失函数是误分类点到平面的距离 采用随机梯度下降法，更新W和b 16 感知器算法收敛性感知器算法收敛性 Novikoff 证明对于两类问题，如果训练集是线性可分 的，那么感知器算法可以在有限次迭代后收敛。然而 ，如果训练集不是线性分隔的，那么这个算法则不能 确保会收敛。 感知器模型的训练在有限的次数内可以完成，得到超 平面。 17 前馈神经网络前馈神经网络 18 前馈神经网络前馈神经网络 Thanks！
