《Chapter1-大数据技术原理与应用-第一章-大数据概述-pdf》由会员分享，可在线阅读，更多相关《Chapter1-大数据技术原理与应用-第一章-大数据概述-pdf（33页珍藏版）》请在金锄头文库上搜索。
1、大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 厦门大学计算机科学系2015年版 林子雨林子雨 厦门大学计算机科学系厦门大学计算机科学系 E-mail: ziyulin 主页：主页： 第一第一章章 大数据概述大数据概述 （PPT版本号：版本号：2015年年6月第月第1.0版）版） 大数据技术原理与应用大数据技术原理与应用 温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 提纲 1.1 大数据时代大数据时代 1.2 大数据概念大数据概念 1.3 大数据的影响大数据的影响 1.4 大数据的应用大数据的应用
2、1.5 大数据关键技术大数据关键技术 1.6 大数据计算模式大数据计算模式 1.7 大数据产业大数据产业 1.8 大数据与云计算、物联网的关系大数据与云计算、物联网的关系 欢迎访问大数据技术原理与应用教材官方网站： 本PPT是如下教材的配套讲义： 21世纪高等教育计算机规划教材 大数据技术原理与应用 概念、存储、处理、分析与应用 （2015年6月第1版） 厦门大学 林子雨 编著，人民邮电出版社 ISBN:978-7-115-39287-9 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.1大数据时代 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.1.1第三
3、次信息化浪潮 根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一 次重大变革 信息化浪潮信息化浪潮发生时间发生时间标志标志解决问题解决问题代表企业代表企业 第一次浪潮1980年前后个人计算机信息处理 Intel、AMD、IBM、 苹果、微软、联想、 戴尔、惠普等 第二次浪潮1995年前后互联网信息传输 雅虎、谷歌、阿里巴 巴、百度、腾讯等 第三次浪潮2010年前后 物联网、云 计算和大数 据 信息爆炸 将涌现出一批新的市 场标杆企业 表表1-1 三次信息化浪潮三次信息化浪潮 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.1.2信息科技为大数据时代提供技术支撑
4、图1-1 存储价格随时间变化情况 1. 存储设备容量不断增加存储设备容量不断增加 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.1.2信息科技为大数据时代提供技术支撑 图1-3 CPU晶体管数目随时间变化情况 2. CPU处理能力大幅提升处理能力大幅提升 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.1.2信息科技为大数据时代提供技术支撑 图1-4 网络带宽随时间变化情况 3. 网络带宽不断增加网络带宽不断增加 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.1.3数据产生方式的变革促成大数据时代的来临 图1-5 数据产生方式的变革 大
5、数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.1.4 大数据的发展历程 阶段阶段时间时间内容内容 第一阶段：萌 芽期 上世纪90年 代至本世纪 初 随着数据挖掘理论和数据库技术的逐步成熟 ，一批商业智能工具和知识管理技术开始被 应用，如数据仓库、专家系统、知识管理系 统等。 第二阶段：成 熟期 本世纪前十 年 Web2.0应用迅猛发展，非结构化数据大量产 生，传统处理方法难以应对，带动了大数据 技术的快速突破，大数据解决方案逐渐走向 成熟，形成了并行计算与分布式系统两大核 心技术，谷歌的GFD和MapReduce等发数据技 术受到追捧，Hadoop平台开始大行其道 第三阶段：
6、大 规模应用期 2010年以后 大数据应用渗透各行各业，数据驱动决策， 信息社会智能化程度大幅提高 表1-2 大数据发展的三个阶段 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.2大数据概念 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.2.1数据量大 根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数 据摩尔定律） 人类在最近两年产生的数据量相当于之前产生的全部数据量 预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍 大数据技术原理与应用厦门大学计算机科学系林子雨ziyuli
7、n 1.2.2数据类型繁多 大数据是由结构化和非结构化数据组成的 10%的结构化数据，存储在数据库中 90%的非结构化数据，它们与人类信 息密切相关 非结构化数据类型多样 邮件、视频、微博 位置信息、链接信息 手机呼叫、网页点击 长微博” 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.2.3处理速度快 从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少 1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.2.4价值密度低 价值密度低，商业价值高价值密度低，商业价值高 以视频为例，连续不间断监控
8、过程中，可能有用的数据仅仅有一两秒，但是 具有很高的商业价值 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.3大数据的影响 大数据对科学研究、思维方式和社会发展都具有重要而深远的影响。 在科学研究方面，大数据使得人类科学研究在经历了实验、理论、计算 三种范式之后，迎来了第四种范式数据 在思维方式方面，大数据具有“全样而非抽样、效率而非精确、相关而 非因果”等三大显著特征，完全颠覆了传统的思维方式 在社会发展方面，大数据决策逐渐成为一种新的决策方式，大数据应用 有力促进了信息技术与各行业的深度融合，大数据开发大大推动了新技 术和新应用的不断涌现 在就业市场方面，大数据的兴起使
9、得数据科学家成为热门职业 在人才培养方面，大数据的兴起，将在很大程度上改变中国高校信息技 术相关专业的现有教学和科研体制 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.4大数据的应用 大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、 医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.5大数据关键技术 表1-5 大数据技术的不同层面及其功能 技术层面技术层面功能功能 数据采集利用ETL工具将分布的、异构数据源中的数据如关系数据、平 面数据文件等，抽取到临时中间层后进行清洗、转换、集成，
10、 最后加载到数据仓库或数据集市中，成为联机分析处理、数据 挖掘的基础；或者也可以把实时采集的数据作为流计算系统的 输入，进行实时处理分析 数据存储和管理利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库 、云数据库等，实现对结构化、半结构化和非结构化海量数据 的存储和管理 数据处理与分析利用分布式并行编程模型和计算框架，结合机器学习和数据挖 掘算法，实现对海量数据的处理和分析；对分析结果进行可视 化呈现，帮助人们更好地理解数据、分析数据 数据隐私和安全在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构 建隐私数据保护体系和数据安全体系，有效保护个人隐私和数 据安全 大数据技术原理与
11、应用厦门大学计算机科学系林子雨ziyulin 1.6大数据计算模式 大数据计算模式大数据计算模式解决问题解决问题代表产品代表产品 批处理计算 针对大规模数据的批 量处理 MapReduce、Spark等 流计算 针对流数据的实时计 算 Storm、S4、Flume、Streams 、Puma、DStream、Super Mario、银河流数据处理平台 等 图计算 针对大规模图结构数 据的处理 Pregel、GraphX、Giraph、 PowerGraph、Hama、 GoldenOrb等 查询分析计算 大规模数据的存储管 理和查询分析 Dremel、Hive、Cassandra、 Impal
12、a等 表1-3 大数据计算模式及其代表产品 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.7大数据产业 大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经 济活动的集合 产业链环节产业链环节包含内容包含内容 IT基础设施层包括提供硬件、软件、网络等基础设施以及提供咨询、规划和系统集成服务的企业，比如，提供数 据中心解决方案的IBM、惠普和戴尔等，提供存储解决方案的EMC，提供虚拟化管理软件的微软、 思杰、SUN、Redhat等 数据源层大数据生态圈里的数据提供者，是生物大数据（生物信息学领域的各类研究机构）、交通大数据（ 交通主管部门）、医疗大数据（各大医院、体检
13、机构）、政务大数据（政府部门）、电商大数据（ 淘宝、天猫、苏宁云商、京东等电商）、社交网络大数据（微博、微信、人人网等）、搜索引擎大 数据（百度、谷歌等）等各种数据的来源 数据管理层包括数据抽取、转换、存储和管理等服务的各类企业或产品，比如分布式文件系统（如Hadoop的 HDFS和谷歌的GFS）、ETL工具（Informatica、Datastage、Kettle等）、数据库和数据仓库（Oracle 、MySQL、SQL Server、HBase、GreenPlum等） 数据分析层包括提供分布式计算、数据挖掘、统计分析等服务的各类企业或产品，比如，分布式计算框架 MapReduce、统计分析
14、软件SPSS和SAS、数据挖掘工具Weka、数据可视化工具Tableau、BI工具（ MicroStrategy、Cognos、BO）等等 数据平台层包括提供数据分享平台、数据分析平台、数据租售平台等服务的企业或产品，比如阿里巴巴、谷歌 、中国电信、百度等 数据应用层提供智能交通、智慧医疗、智能物流、智能电网等行业应用的企业、机构或政府部门，比如交通主 管部门、各大医疗机构、菜鸟网络、国家电网等 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.8大数据与云计算、物联网的关系 云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者相 辅相成，既有联系又有区别 大数据技术原
15、理与应用厦门大学计算机科学系林子雨ziyulin 1.8.1云计算 云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需 要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源 图1-7 云计算的服务模式和类型 1. 云计算概念云计算概念 公有云公有云混合云混合云私有云私有云 应用层应用层 软件即服务软件即服务（SaaSSaaS） 平台层平台层 平台即服务平台即服务（PaaSPaaS） 基础设施层基础设施层 基础设施即服务基础设施即服务（IaaSIaaS） 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.8.1云计算 云计算关键技术包括：虚拟化、分布式存
16、储、分布式计算、多租户等 2. 云计算关键技术云计算关键技术 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.8.1云计算 云计算数据中心是一整套复杂的设施，包括刀片服务器、宽带网络连 接、环境控制设备、监控设备以及各种安全装置等 数据中心是云计算的重要载体，为云计算提供计算、存储、带宽等各 种硬件资源，为各种平台和应用提供运行支撑环境 3. 云计算数据中心云计算数据中心 大数据技术原理与应用厦门大学计算机科学系林子雨ziyulin 1.8.1云计算 政务云上可以部署公共安全管理、容灾备份、城市管理、应急管理、智 能交通、社会保障等应用，通过集约化建设、管理和运行，可以实现信 息资源整合和政务资源共享，推动政务管理创新，加快向服务型政府转 型 教育云可以
