迎接大数据时代课件

《迎接大数据时代课件》由会员分享，可在线阅读，更多相关《迎接大数据时代课件（50页珍藏版）》请在金锄头文库上搜索。

1、迎接大数据时代Welcome the BigData Age演讲主题My BigData Topics 引言用数据打造冠军团队点球成金；大数据什么都知道；尿布与啤酒还有飓风和蛋挞；源于时代的紧迫感；Welcome the BigData Age引言 电影点球成金基于历史数据，利用数据建模定量分析不同球员特点，合理搭配，重新组队；打破传统思维，通过分析比赛数据，寻找“性价比”最高球员，运用数据取得成功；布拉德皮特主演的点球成金是一部美国奥斯卡获奖影片，所讲述的是皮特扮演的棒球队总经理利用计算机数据分析，对球队进行了翻天覆地的改造，让一家不起眼的小球队能够取得巨大的成功。 引言 飓风&蛋挞 And

2、 啤酒&尿布沃尔玛在上世纪创造的啤酒与尿布的相关性销售是一个营销的经典案例，但是类似的不只有这一个，飓风和啤酒也是沃尔玛基于大数据分析之后的一个又很成功的营销案例。 引言 源于时代的紧迫感发达国家都在“未雨绸缪”，积极制定“大数据”战略。大数据已成为国际业界的热门话题，国内IT业也开始积极追捧大数据。未来的十年将是以数据位引领的智慧科技时代，核心是数据能力的竞争。在这颠覆性的IT革命浪潮中，我们如何能占据一席之地？值得深思！ 大数据时代我们生活在数据中，所有人都在制造和分享数据；数据是可再生资源，其本质是生产资料；数据惊人的的爆炸式增长；各个国家的大数据战略规划；国际业界对大数据的关注度持续升

3、温；大数据在国内日益受重视；Welcome the BigData Age大数据时代 我们生活在数据的世界中大数据时代 数据是可再生资源，本质是生产资料不可再生资源VS数据过去3年数据总量被以往4万年还多2013年,10分钟的信息总量将达1.8ZB2010年全球数据总量1.2ZB，年增长50%数据不再是社会生产的“副产物”，而是可被二次乃至多次加工的原料，从中可以探索更大价值，它变成了生产资料。大数据时代 数据爆炸式增长（每分钟）Twitter上发布98000+新微博13000+个iPhone应用下载Skype上37万+分钟的语音通话上传6600张新照片到flickr发出1.68亿+条Emai

4、lYouTube上上传600+新视频淘宝光棍节10680+个新订单Facebook上更新69.5万+条新状态12306出票1840+张大数据时代 大数据规划战略2012年3月，美国政府启动“大数据研究和发展倡议”计划。这是 继“信息高速公路”后的又一重大科技战略部署。美国政府将大数据视为“未来的新石油”并将对其研究上升为国家意志。2010年1月，英国政府的数据开放网站正式出台，2010年5月卡梅伦上台之后正式提出“数据权”的概念，2011年4月主要部门宣布“我的数据”新项目，旨在落实和强化数据权。继美英之后，国际上德国、法国、日本、加拿大和新西兰等国家也开始了各自国家的大数据发展战略规划。大数

5、据时代 业界对大数据的关注持续升温Gartner 2011年技术成熟度曲线,大数据处于高速发展期大数据时代 业界对大数据的关注持续升温（续）2012年世界经济论坛发布了“Big data，Big impact”的报告麦肯锡于2011年5月发布下一个前言：创新、竞争和生产力报告从金融服务、健康、教育、农业、医疗等多个领域阐述了大数据为国际发展带来的机会。大数据将成为竞争的关键，大数据将引发新一轮的生产力增长与创新。 Big Data Insight Group和EMC完成的解读大数据的商业价值和战略意义对大数据在英国企业中的应用趋势进行了调查和解读，发现大数据还处于发展初级阶段。早在1980年，

6、著名未来学家阿尔文托夫勒便在第三次浪潮一书中，就将大数据热情地赞颂为“第三次浪潮的华彩乐章”。大数据时代 大数据在国内日益受重视2012年5月，中国云计算国际论坛在北京召开；2012年6月，中国计算机协会成立“CCF大数据专家委员会”；2012年7月，阿里巴巴宣布设立首席数据官，推动“数据分享平台”战略；2012年7月，第二届大数据世界论坛召开，首届中国大数据论坛同年召开；大数据事件2013年1月，华为超越信息和通信，迎接新一轮数字化变革；2012年4月，ETIRI大数据行业应用现状与未来应用热点；2011年12月，中信证券大数据（Big Data）专题研究报告；2011年12月，国金证券“大

7、数据”专题分析报告；2012年6月，中国互联网市场洞见：互联网大数据技术创新研究；专业报告随着大数据产品的逐步退出与完善，2013年国内大数据市场将进入主要培育期；光大证券随着解决方案增多以及用户需求的明确，未来大数据市场将进入高速增长期；计世资讯大数据对国家治理模式、企业决策、组织和流程、个人生活都将产生巨大影响；国金证券在这场呼之欲来的产业革命中，我国并没有落在世界的后面。事实上，全世界都还没有准备好迎接这场革命；周涛他们如此说 何谓大数据？大数据定义；大数据的3V特征（From EMC）；大数据的4V特征（更普遍意义）；大数据的作用；大数据带来的思维变革；Welcome the BigD

8、ata Age何谓大数据 大数据定义何谓大数据 大数据的3V特征（From EMC）何谓大数据 大数据的4V特征（更普遍意义）Volume非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍Value大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能）Velocity实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效Variety大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义Big Data大数据何谓大数据 大数据的4V特征（Vo

9、lume）1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB相当于50%的全美学术研究图书馆藏书信息内容5EB相当于至今全世界人类所讲过的话语1ZB如同全世界海滩上的沙子数量总和1YB相当于7000位人类体内的微细胞总和一般情况下，大数据是以PB、EB、ZB为单位进行计量的何谓大数据 大数据的4V特征（Velocity）82254132215327现在及未来几年内美国的移动网络数据流量增长（PB/月）源自英国Coda研究咨询公司大数据的增长速度快大数据的处理速度快实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；1s 是临界点，对于大数据应用而言,

10、必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；何谓大数据 大数据的4V特征（Variety）行业/企业内数据互联网数据物联网数据大数据数据来源多数据来源多企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。数据类型多数据类型多保存在关系数据库中的结构化数据只占少数，7080%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。关联性关联性强强数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。何谓大数据 大数据的4V特征（Value）挖掘大数据的价值类似沙里淘金，从海量数据中挖掘

11、稀疏但珍贵的信息；价值密度低，是大数据的一个典型特征；何谓大数据 大数据带来的思维变革何谓大数据 大数据带来的思维变革（更多）人口大普查人口大普查全数据模式全数据模式随机采样随机采样样本模式样本模式大数据应用大数据应用全全数据模式数据模式 是指在国家统一规定的时间内，按照统一的方法、统一的项目、统一的调查表和统一的是指在国家统一规定的时间内，按照统一的方法、统一的项目、统一的调查表和统一的标准标准时点，时点，对全国人口普遍地、逐户逐人地进行的一次性调查登记；对全国人口普遍地、逐户逐人地进行的一次性调查登记； 主要特点是调查组织高度集中性，普查对象的全面完整性；主要特点是调查组织高度集中性，普查

12、对象的全面完整性； 人口大普查耗时耗费，一般来讲是十年一次，新中国成立以来共进行了人口大普查耗时耗费，一般来讲是十年一次，新中国成立以来共进行了6 6次人口大普查；次人口大普查； 人口大普查是一种典型的全数据模式；人口大普查是一种典型的全数据模式；何谓大数据 大数据带来的思维变革（更多）人口大普查人口大普查全数据模式全数据模式随机采样随机采样样本模式样本模式大数据应用大数据应用全全数据模式数据模式 人口大普查是一种耗时耗费的工程，一般是以十年为单位；人口大普查是一种耗时耗费的工程，一般是以十年为单位； 各国每年需要进行几百次的小规模人口调查，采取随机采样分析的方式，这是一种样本模式；各国每年需

13、要进行几百次的小规模人口调查，采取随机采样分析的方式，这是一种样本模式； 源于实用并且很好的创新！源于实用并且很好的创新！ 随机采样分析是小数据时代的产物随机采样分析是小数据时代的产物；何谓大数据 大数据带来的思维变革（更多）人口大普查人口大普查全数据模式全数据模式随机采样随机采样样本模式样本模式大数据应用大数据应用全全数据模式数据模式 我们已具备了大数据的各种技术能力，思维需要转换到大数据的全数据模式：样本我们已具备了大数据的各种技术能力，思维需要转换到大数据的全数据模式：样本= =全部全部； 大大数据不用随机分析法这样的捷径，而采用所有数据的方法；数据不用随机分析法这样的捷径，而采用所有数

14、据的方法； 这里的这里的“大大”是相对的是相对的相扑相扑比赛所有数据存储还不需要一个比赛所有数据存储还不需要一个TBTB，但是是所有的数据！，但是是所有的数据！ 在大数据时代采用随机采样法，就像在汽车时代骑马一样，虽然特定情况下仍可采样随机采样法，在大数据时代采用随机采样法，就像在汽车时代骑马一样，虽然特定情况下仍可采样随机采样法，但是慢慢地我们会放弃它；但是慢慢地我们会放弃它；何谓大数据 大数据带来的思维变革（更多）Google利用网络大数据预测流感基于全数据进行相扑比赛的作弊分析埃齐奥尼的Farecast有10万亿条数据预测机票价格乔布斯的癌症抗争，自身所有DNA和肿瘤DNA排序何谓大数据

15、 大数据带来的思维变革（更杂）IBM的机器翻译 VS Google的机器翻译；大数据时代要求我们重新审视数据精确性的优略；大数据不仅让我们不再期待精确性，也让我们无法实现精确性；错误不是大数据固有的问题，而是一个需要我们去解决的问题，而且会将长期存在；何谓大数据 大数据带来的思维变革（更好）佛教三世因果经主要讲：一是人的命是自己造就的；二是怎样为自己造一个好命；三是行善积德与行凶作恶干坏事的因果循环报应规律。原因和结果是揭示客观世界中普遍联系着的事物具有先后相继、彼此制约的一对范畴。原因是指引起一定现象的现象，结果是指由于原因的作用而引起的现象。大数据的相关关系，而不强调因果关系；（舍恩伯格）

16、，其实这个只是一种对无法探究因果的妥协，人类应该去探寻因果，因为世界存在客观的运转规律； 大数据大价值大数据大价值总述大数据商业模式；大数据行业应用；Welcome the BigData Age大数据大价值 总述大数据大价值 总述-推动社会进步历史经验证明，每次重大信息技术的应用，都将会给国家和社会带来深刻历史经验证明，每次重大信息技术的应用，都将会给国家和社会带来深刻的变革。如的变革。如19931993年美国推出的年美国推出的“信息高速公路信息高速公路”计划在一系列工业领域每计划在一系列工业领域每年创造了年创造了30003000亿的销售额，于此同时推动了相关多个产品的发展。亿的销售额，于此同时推动了相关多个产品的发展。如在预测和响应方面：传染病预测、粮食生产趋势预测、天气如在预测和响应方面：传染病预测、粮食生产趋势预测、天气预测、经济预测预测、经济预测 提升国家国提升国家国防安全水平防安全水平 促进政府促进政府开放开放 提升公共服提升公共服务质量务质量提高政策预提高政策预见性、响应性见性、响应性大数据大价值 总述-加强科技创新自然科学，描述自然现象理论科学，牛顿定律，麦克斯韦方程式