《4大数据时代-思维变革---3更好》由会员分享，可在线阅读，更多相关《4大数据时代-思维变革---3更好（20页珍藏版）》请在金锄头文库上搜索。
1、,1. 大数据时代的思维变革,1. 大数据时代的思维变革更好,“更好”不是因果关系，而是相关关系,知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。,关联物，预测的关键 “是什么”，而不是“为什么” 改变，从操作方式开始 大数据，改变人类探索世界的方法,林登与亚马逊推荐系统,1997年，林登，亚马逊，推荐书籍 1998年 “item-to-item”协同过滤技术 书评团队被解散评论家所创造的销售业绩 计算机生成内容所产生的销售业绩 海明威作品与菲茨杰拉德的书 知道是什么就够了，没必要知道为什么 据说亚马逊销售额的三分之一都是来自
2、于它的个性化推荐系统。,关联物，预测的关键,相关关系：相关关系的核心是量化两个数据值之间的数理关系。 强和弱 通过给我们找到一个现象的良好的关联物，相关关系可以帮助我们捕捉现在和预测未来。 实例：沃尔玛蛋挞与飓风 生活中的相关关系 身高与前臂的长度 小数据时代的相关关系,大数据时代的相关关系 谷歌流感预测：5亿个数学模型建立在相关关系分析法基础上的预测是大数据的核心。数据驱动的关于大数据的相关关系分析法，取代了基于假想的易出错的方法。大数据的相关关系分析法更准确、更快，而且不易受偏见的影响。,实例,FICO提出“遵从医嘱评分” 一系列变量是否按时吃药 益百利 预测个人收入 信用卡交易记录预测个
3、人收入 1$ 证明一个人的收入状况 10$ 中英人寿保险公司 申请人的健康隐患 信用报告、市场分析报告高血压、糖尿病和抑郁症 5$ 血液尿液样本 130$ 美国折扣零售商塔吉特 怀孕预测,预测分析法 一个能发现可能的流行歌曲的算法系统 防止机器失效和建筑倒塌 异常情况与正常情况 通过找出一个关联物并监控它，我们就能预测未来。 实例：UPS与汽车维修预测 2000年，60000辆收集和分析数据的花费比出现停产的损失小得多。,当收集、存储和分析数据的成本较高的时候，应该适当地丢弃一些数据。 医疗设备获取病人的数据 安大略理工大学 IBM 医院 卡罗琳麦格雷戈 检测处理即时的病人信息 早产儿病情诊断
4、 16个数据点 1260/秒 在明显感染症状出现的24小时之前，可发现 早产儿的稳定是病情感染前的准备,是什么，而不是为什么,在小数据时代，相关关系分析和因果分析都不容易，都耗费巨大，都要从建立假设开始。 非线性关系 小数据时代，计算机能力的不足限制了非线性关系的研究 实例：幸福的非线性关系 因果关系是否存在 不费力的快速思维 费力的慢性思维 实例：感冒、狂犬疫苗,我们的直接愿望就是了解因果关系。即使无因果联系存在，我们也还是会假定其存在。 研究证明，这只是我们的认知方式，与每个人的文化背景、生长环境以及教育水平是无关的。当我们看到两件事情接连发生的时候，我们会习惯性地从因果关系的角度来看待它
5、们。 看看下面的三句话：,弗雷德的父母迟到了； 供应商快到了； 弗雷德生气了。 弗雷德为什么生气?快速思维模式使人们偏向用因果联系来看待周围的一切，即使这种关系并不存在。 冬天不戴帽子和感冒,狂犬疫苗这个例子来说， 1885年7月6日，法国化学家路易巴斯德（Louis Pasteur）接诊了一个9岁的小孩约瑟夫梅斯特（Joseph Meister），他被带有狂犬病毒的狗咬了。 巴斯德刚刚研发出狂犬疫苗，也实验验证过效果了。梅斯特的父母就恳求巴斯德给他们的儿子注射一针。 巴斯德做了，梅斯特活了下来。 发布会上，巴斯德因为把一个小男孩从死神手中救出而大受褒奖。 一般来说，人被狂犬病狗咬后患上狂犬病
6、的概率只有七分之一。,相关关系很有用，不仅仅是因为它能为我们提供新的视角，而且提供的视角都是很清晰的。而我们一旦把因果关系考虑进去，这些视角就有可能被蒙蔽掉。 实例：kaggle 二手车质量竞赛 橙色的车 因果是相关关系的一种。相关关系分析通常情况下能取代因果关系起作用，即使不可取代的情况下，它也能指导因果关系起作用。 实例：曼哈顿沙井盖的爆炸,改变，从操作开始,实例：曼哈顿沙井盖爆炸 每年，因沙井盖内部失火，纽约每年有很多沙井盖会发生爆炸。 联合爱迪生电力公司（Con Edison）每年都会对沙井盖进行常规检查和维修。 2007年，联合爱迪生电力公司向哥伦比亚大学的统计学家求助，希望他们通过
7、对一些历史数据的研究，预测出可能会出现问题并且需要维修的沙井盖。,改变，从操作开始,这是一个复杂的大数据问题。 仅纽约，地下电缆就有15万公里； 曼哈顿有大约51000个沙井盖和服务设施， 很多设施都是在爱迪生那个时代建成的 有二十分之一的电缆在1930年之前就铺好了。 1880以来的数据都保存着，却很杂乱，,改变，从操作开始,这是一个复杂的大数据问题。 仅纽约，地下电缆就有15万公里； 曼哈顿有大约51000个沙井盖和服务设施， 很多设施都是在爱迪生那个时代建成的 有二十分之一的电缆在1930年之前就铺好了。 1880以来的数据都保存着，却很杂乱，,负责这个项目的统计学家辛西亚鲁丁（Cynt
8、hia Rudin） 将杂乱的数据整理好给机器处理 发现了大型沙井盖爆炸的106种预警情况。 在布朗克斯（Bronx）的电网测试中，他们对2008年中期之前的数据都进行了分析，并利用这些数据预测了2009年会出现问题的沙井盖。 预测效果非常好，在他们列出的前10%的高危沙井盖名单里，有44%的沙井盖都发生了严重的事故。 最重要的因素是这些电缆的使用年限和有没有出现过问题。,大数据，改变人类探索世界的方法,大量的数据从某种程度上意味着“理论的终结”。 2008年，连线主编克里斯安德森 大数据是在理论的基础上形成的。 理论贯穿于大数据的整个过程。 数据的收集、分析、结果解读,大数据带来的思维方式的变化,处理的对象往往是全部数据，而不是部分数据的采样 采样的不合理会导致预测结果的偏差，在大数据时代，依靠强大的数据处理能力，应该去处理全部的数据。 不再执迷于精确性 精确的、规范化的、可以被传统数据库处理的数据只占全部数据的5%，必须接受不精确性才能处理另外95%的数据。 错误的数据是客观存在的，竭力避免它就失去了应有的客观性和公平性。 大数据的简单算法比小数据的复杂算法更有效。 更加关注相关性，而不是因果性 预测依靠的是相关性。 很多情况下知道“是什么”即可，不必知道“为什么”。,2. 大数据时代的商业变革,下一讲,
