《斯坦福大学机器学习教程-个人笔记.doc》由会员分享，可在线阅读，更多相关《斯坦福大学机器学习教程-个人笔记.doc（269页珍藏版）》请在金锄头文库上搜索。
1、摘要本笔记是针对斯坦福大学2014年机器学习课程视频做的个人笔记最后修改：2016-02-29黄海广斯坦福大学2014机器学习教程个人笔记（V4.0）斯坦福大学2014机器学习教程中文笔记课程概述Machine Learning(机器学习)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演译。在过去的十年中，机器学习帮助我们自动驾驶汽车，有效的语音识别，有效的网络搜索，并极大地提高了人类基因组的认识。机器学习是当今非常普遍，你可
2、能会使用这一天几十倍而不自知。很多研究者也认为这是最好的人工智能的取得方式。在本课中，您将学习最有效的机器学习技术，并获得实践，让它们为自己的工作。更重要的是，你会不仅得到理论基础的学习，而且获得那些需要快速和强大的应用技术解决问题的实用技术。最后，你会学到一些硅谷利用机器学习和人工智能的最佳实践创新。本课程提供了一个广泛的介绍机器学习、数据挖掘、统计模式识别的课程。主题包括：（一）监督学习（参数/非参数算法，支持向量机，核函数，神经网络）。（二）无监督学习（聚类，降维，推荐系统，深入学习推荐）。（三）在机器学习的最佳实践（偏差/方差理论；在机器学习和人工智能创新过程）。本课程还将使用大量的案
3、例研究，您还将学习如何运用学习算法构建智能机器人（感知，控制），文本的理解（Web搜索，反垃圾邮件），计算机视觉，医疗信息，音频，数据挖掘，和其他领域。本课程需要10周共18节课，相对以前的机器学习视频，这个视频更加清晰，而且每课都有ppt课件，推荐学习。本人是中国海洋大学2014级博士生，目前刚开始接触机器学习，我下载了这次课程的所有视频和课件给大家分享。中英文字幕来自于https:/www.coursera.org/course/ml，主要是教育无边界字幕组翻译，本人把中英文字幕进行合并，并翻译了部分字幕，对视频进行封装，归类，并翻译了课程目录，做好课程索引文件，希望对大家有所帮助。部分视
4、频中文字幕由中国海洋大学的博士生翻译。视频已经翻译完毕，如果下载了视频，可以直接在文档中打开视频，内嵌中英文字幕。目前我正在整理中文笔记，主要是根据视频内容和中文字幕以及ppt来制作，部分来源于网络，如“小小人_V”的笔记，并持续更新。本人水平有限，如有公式、算法错误，请及时指出，发邮件给我。黄海广2014-12-16 夜n 文档修改历史版本号版本日期修改总结修订人1.02014.12.16创建初稿黄海广1.12014.12.31修改黄海广2.02015.02.17修改黄海广2.12015.02.23修改黄海广2.22015.03.02修改黄海广2.32015.03.14修改一些错误，增加了第
5、十章的一些内容黄海广2.42015.05.02修改第十二章一些错误黄海广2.52015.05.13补充第九章部分内容黄海广3.02016.01.11增加第五章OCTAVE操作内容黄海广3.12016.01.15修改部分错误黄海广3.22016.02.15补充第二章部分内容黄海广3.32016.02.19补充第六章内容黄海广4.02016.02.24修改第十一章一些错误黄海广你可以买到一个人的时间，你可以雇一个人到固定的工作岗位，你可以买到按时或按日计算的技术操作，但你买不到热情，你买不到创造性，你买不到全身心的投入，你不得不设法争取这些。目录第1周1一、引言(Introduction)11.1
6、 欢迎11.2 机器学习是什么？41.3 监督学习61.4 无监督学习10二、单变量线性回归(Linear Regression with One Variable)152.1 模型表示152.2 代价函数182.3 代价函数的直观理解I202.4 代价函数的直观理解II212.5 梯度下降232.6 梯度下降的直观理解262.7 梯度下降的线性回归292.8 接下来的内容31三、线性代数回顾(Linear Algebra Review)323.1 矩阵和向量323.2 加法和标量乘法343.3 矩阵向量乘法353.4 矩阵乘法363.5 矩阵乘法的性质373.6 逆、转置38第2周39四、多
7、变量线性回归(Linear Regression with Multiple Variables)394.1 多维特征394.2 多变量梯度下降414.3 梯度下降法实践1-特征缩放434.4 梯度下降法实践2-学习率454.5 特征和多项式回归464.6 正规方程484.7 正规方程及不可逆性（可选）51五、Octave教程(Octave Tutorial)525.1 基本操作525.2 移动数据595.3 计算数据685.4 绘图数据755.5 控制语句：for，while，if语句815.6 向量化875.7 工作和提交的编程练习92第3周95六、逻辑回归(Logistic Regres
8、sion)956.1 分类问题956.2 假说表示976.3 判定边界996.4 代价函数1016.5 简化的成本函数和梯度下降1046.6 高级优化1076.7 多类别分类：一对多111七、正则化(Regularization)1147.1 过拟合的问题1147.2 代价函数1167.3 正则化线性回归1187.4 正则化的逻辑回归模型119第4周121第八、神经网络：表述(Neural Networks: Representation)1218.1 非线性假设1218.2 神经元和大脑1238.3 模型表示11278.4 模型表示21318.5 特征和直观理解11338.6 样本和直观理解
9、II1358.7 多类分类137第5周138九、神经网络的学习(Neural Networks: Learning)1389.1 代价函数1389.2 反向传播算法1409.3 反向传播算法的直观理解1439.4 实现注意：展开参数1469.5 梯度检验1479.6 随机初始化1499.7 综合起来1509.8 自主驾驶151第6周154十、应用机器学习的建议(Advice for Applying Machine Learning)15410.1 决定下一步做什么15410.2 评估一个假设15710.3 模型选择和交叉验证集15910.4 诊断偏差和方差16110.5 归一化和偏差/方差1
10、6310.6 学习曲线16510.7 决定下一步做什么167十一、机器学习系统的设计(Machine Learning System Design)16911.1 首先要做什么16911.2 误差分析17011.3 类偏斜的误差度量17311.4 查全率和查准率之间的权衡17411.5 机器学习的数据176第7周180十二、支持向量机(Support Vector Machines)18012.1 优化目标18012.2 大边界的直观理解18712.3 数学背后的大边界分类（可选）19312.4 核函数120012.5 核函数220212.6 使用支持向量机204第8周207十三、聚类(Clu
11、stering)20713.1 无监督学习：简介20713.2 K-均值算法21013.3 优化目标21213.4 随机初始化21313.5 选择聚类数214十四、降维(Dimensionality Reduction)21514.1 动机一：数据压缩21514.2 动机二：数据可视化21814.3 主成分分析问题21914.4 主成分分析算法22114.5 选择主成分的数量22214.6 重建的压缩表示22314.7 主成分分析法的应用建议225第9周226十五、异常检测(Anomaly Detection)22615.1 问题的动机22615.2 高斯分布22815.3 算法22915.4
12、 开发和评价一个异常检测系统23015.5 异常检测与监督学习对比23115.6 选择特征23215.7 多元高斯分布（可选）23415.8 使用多元高斯分布进行异常检测（可选）237十六、推荐系统(Recommender Systems)24016.1 问题形式化24016.2 基于内容的推荐系统24216.3 协同过滤24416.4 协同过滤算法24516.5 矢量化：低秩矩阵分解24616.6 推行工作上的细节：均值归一化248第10周249十七、大规模机器学习(Large Scale Machine Learning)24917.1 大型数据集的学习24917.2 随机梯度下降法250
13、17.3 微型批量梯度下降25117.4 随机梯度下降收敛25217.5 在线学习25417.6 映射化简和数据并行255十八、应用实例：图片文字识别(Application Example: Photo OCR)25618.1 问题描述和流程图25618.2 滑动窗口25718.3 获取大量数据和人工数据25918.4 上限分析：哪部分管道的接下去做260十九、总结(Conclusion)26119.1 总结和致谢261III机器学习课程-第10周-十九、总结(Conclusion)第1周一、 引言(Introduction)1.1 欢迎参考视频: 1 - 1 - Welcome (7 mi
14、n).mkv第一个视频主要讲了什么是机器学习，机器学习能做些什么事情。机器学习是目前信息技术中最激动人心的方向之一。在这门课中，你将学习到这门技术的前沿，并可以自己实现学习机器学习的算法。你或许每天都在不知不觉中使用了机器学习的算法每次，你打开谷歌、必应搜索到你需要的内容，正是因为他们有良好的学习算法。谷歌和微软实现了学习算法来排行网页每次，你用Facebook或苹果的图片分类程序他能认出你朋友的照片，这也是机器学习。每次您阅读您的电子邮件垃圾邮件筛选器，可以帮你过滤大量的垃圾邮件这也是一种学习算法。对我来说，我感到激动的原因之一是有一天做出一个和人类一样聪明的机器。实现这个想法任重而道远，许多AI研究者认为，实现这个目标最好的方法是通过让机器试着模仿人的大脑学习我会在这门课中介绍一点这方面的内容。在这门课中，你还讲学习到关于机器学习的前沿状况。但事实上只了解算法、数学并不能解决你关心的实际的问题。所以，我们将花大量的时间做练习，从而你自己能实现每个这些算法，
