《大数据技术原理与应用-第一章-大数据概述(ppt课件》由会员分享，可在线阅读，更多相关《大数据技术原理与应用-第一章-大数据概述(ppt课件（44页珍藏版）》请在金锄头文库上搜索。
1、 厦门大学计算机科学系2016年版 林子雨厦门大学计算机科学系E mail ziyulin 主页 第一章大数据概述 大数据技术原理与应用 提纲 1 1大数据时代1 2大数据概念1 3大数据的影响1 4大数据的应用1 5大数据关键技术1 6大数据计算模式1 7大数据产业1 8大数据与云计算 物联网的关系 欢迎访问 大数据技术原理与应用 教材官方网站 本PPT是如下教材的配套讲义 21世纪高等教育计算机规划教材 大数据技术原理与应用 概念 存储 处理 分析与应用 2015年8月第1版 厦门大学林子雨编著 人民邮电出版社ISBN 978 7 115 39287 9 1 1大数据时代 1 1 1第三次
2、信息化浪潮 根据IBM前首席执行官郭士纳的观点 IT领域每隔十五年就会迎来一次重大变革 表1 1三次信息化浪潮 1 1 2信息科技为大数据时代提供技术支撑 图1 1存储价格随时间变化情况 1 存储设备容量不断增加 1 2信息科技为大数据时代提供技术支撑 来自斯威本科技大学 SwinburneUniversityofTechnology 的研究团队 在2013年6月29日刊出的 自然通讯 NatureCommunications 杂志的文章中 描述了一种全新的数据存储方式 可将1PB 1024TB 的数据存储到一张仅DVD大小的聚合物碟片上 1 1 2信息科技为大数据时代提供技术支撑 图1 3C
3、PU晶体管数目随时间变化情况 2 CPU处理能力大幅提升 1 1 2信息科技为大数据时代提供技术支撑 图1 4网络带宽随时间变化情况 3 网络带宽不断增加 1 1 3数据产生方式的变革促成大数据时代的来临 图1 5数据产生方式的变革 1 1 4大数据的发展历程 表1 2大数据发展的三个阶段 1 2大数据概念 1 2 1数据量大 根据IDC作出的估测 数据一直都在以每年50 的速度增长 也就是说每两年就增长一倍 大数据摩尔定律 人类在最近两年产生的数据量相当于之前产生的全部数据量预计到2020年 全球将总共拥有35ZB的数据量 相较于2010年 数据量将增长近30倍 1 2 2数据类型繁多 大数
4、据是由结构化和非结构化数据组成的10 的结构化数据 存储在数据库中90 的非结构化数据 它们与人类信息密切相关 科学研究 基因组 LHC加速器 地球与空间探测企业应用 Email 文档 文件 应用日志 交易记录Web1 0数据 文本 图像 视频Web2 0数据 查询日志 点击流 Twitter Blog SNS Wiki 1 2 3处理速度快 从数据的生成到消耗 时间窗口非常小 可用于生成决策的时间非常少1秒定律 这一点也是和传统的数据挖掘技术有着本质的不同 1 2 4价值密度低 价值密度低 商业价值高以视频为例 连续不间断监控过程中 可能有用的数据仅仅有一两秒 但是具有很高的商业价值 继续装
5、ing 1 3大数据的影响 图灵奖获得者 著名数据库专家JimGray博士观察并总结人类自古以来 在科学研究上 先后历经了实验 理论 计算和数据四种范式 实验 理论 计算 数据 1 3大数据的影响 在思维方式方面 大数据完全颠覆了传统的思维方式 全样而非抽样效率而非精确相关而非因果 1 3大数据的影响 在社会发展方面 大数据决策逐渐成为一种新的决策方式 大数据应用有力促进了信息技术与各行业的深度融合 大数据开发大大推动了新技术和新应用的不断涌现在就业市场方面 大数据的兴起使得数据科学家成为热门职业在人才培养方面 大数据的兴起 将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制 1
6、4大数据的应用 大数据无处不在 包括金融 汽车 零售 餐饮 电信 能源 政务 医疗 体育 娱乐等在内的社会各行各业都已经融入了大数据的印迹 典型的大数据应用实例 KevinSpacey DavidFincher 英国同名小说 纸牌屋 风靡全球的美剧 纸牌屋 大数据分析 典型的大数据应用实例 从谷歌流感趋势看大数据的应用价值 谷歌流感趋势 通过跟踪搜索词相关数据来判断全美地区的流感情况 1 5大数据关键技术 表1 5大数据技术的不同层面及其功能 1 5大数据关键技术 分布式存储 分布式处理 GFS HDFSBigTable HBaseNoSQL 键值 列族 图形 文档数据库 NewSQL 如 S
7、QLAzure MapReduce 大数据 两大核心技术 1 6大数据计算模式 表1 3大数据计算模式及其代表产品 1 7大数据产业 大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合 1 8大数据与云计算 物联网的关系 云计算 大数据和物联网代表了IT领域最新的技术发展趋势 三者相辅相成 既有联系又有区别 1 8 1云计算 云计算实现了通过网络提供可伸缩的 廉价的分布式计算能力 用户只需要在具备网络接入条件的地方 就可以随时随地获得所需的各种IT资源 图1 7云计算的服务模式和类型 1 云计算概念 1 8 1云计算 InfrastructureasaService Pl
8、atformasaService SoftwareasaService SaaS PaaS IaaS GoogleApps Microsoft Software Services IBMITfactory GoogleAppEngine F AmazonEC2 IBMBlueCloud SunGrid Server Storage Server Storage Visualization Infrastructure Platform Application 从一个集中的系统部署软件 使之在一台本地计算机上 或从云中远程地 运行的一个模型 由于是计量服务 SaaS允许出租一个应用程序 并计时收
9、费 IaaS 将基础设施 计算资源和存储 作为服务出租 PaaS 类似于IaaS 但是它包括操作系统和围绕特定应用的必需的服务 SaaS 1 8 1云计算 云计算关键技术包括 虚拟化 分布式存储 分布式计算 多租户等 2 云计算关键技术 1 8 1云计算 云计算数据中心是一整套复杂的设施 包括刀片服务器 宽带网络连接 环境控制设备 监控设备以及各种安全装置等数据中心是云计算的重要载体 为云计算提供计算 存储 带宽等各种硬件资源 为各种平台和应用提供运行支撑环境全国各地推进数据中心建设 3 云计算数据中心 中国国际信息技术 福建 产业园 中国国际信息技术 福建 产业园 1 8 1云计算 政务云上
10、可以部署公共安全管理 容灾备份 城市管理 应急管理 智能交通 社会保障等应用 通过集约化建设 管理和运行 可以实现信息资源整合和政务资源共享 推动政务管理创新 加快向服务型政府转型教育云可以有效整合幼儿教育 中小学教育 高等教育以及继续教育等优质教育资源 逐步实现教育信息共享 教育资源共享及教育资源深度挖掘等目标中小企业云能够让企业以低廉的成本建立财务 供应链 客户关系等管理应用系统 大大降低企业信息化门槛 迅速提升企业信息化水平 增强企业市场竞争力医疗云可以推动医院与医院 医院与社区 医院与急救中心 医院与家庭之间的服务共享 并形成一套全新的医疗健康服务系统 从而有效地提高医疗保健的质量 4
11、 云计算应用 1 8 1云计算 云计算产业作为战略性新兴产业 近些年得到了迅速发展 形成了成熟的产业链结构 产业涵盖硬件与设备制造 基础设施运营 软件与解决方案供应商 基础设施即服务 IaaS 平台即服务 PaaS 软件即服务 SaaS 终端设备 云安全 云计算交付 咨询 认证等环节 图1 8云计算产业链 5 云计算产业 1 8 2物联网 物联网是物物相连的互联网 是互联网的延伸 它利用局部网络或互联网等通信技术把传感器 控制器 机器 人员和物等通过新的方式联在一起 形成人与物 物与物相联 实现信息化和远程管理控制 1 物联网概念 图1 9物联网体系架构 1 8 2物联网 物联网中的关键技术包
12、括识别和感知技术 二维码 RFID 传感器等 网络与通信技术 数据挖掘与融合技术等 2 物联网关键技术 图1 10矩阵式二维码 图1 11采用RFID芯片的公交卡 图1 12不同类型的传感器 1 8 2物联网 物联网已经广泛应用于智能交通 智慧医疗 智能家居 环保监测 智能安防 智能物流 智能电网 智慧农业 智能工业等领域 对国民经济与社会发展起到了重要的推动作用 3 物联网应用 1 8 2物联网 完整的物联网产业链主要包括核心感应器件提供商 感知层末端设备提供商 网络提供商 软件与行业解决方案提供商 系统集成商 运营及服务提供商等六大环节 图1 8物联网产业链 4 物联网产业 1 8 3大数
13、据与云计算 物联网的关系 云计算 大数据和物联网代表了IT领域最新的技术发展趋势 三者既有区别又有联系 图1 9大数据 云计算和物联网之间的关系 本章小结 本章介绍了大数据技术的发展历程 并指出信息科技的不断进步为大数据时代提供了技术支撑 数据产生方式的变革促成了大数据时代的来临大数据具有数据量大 数据类型繁多 处理速度快 价值密度低等特点 统称 4V 大数据对科学研究 思维方式 社会发展 就业市场和人才培养等方面 都产生了重要的影响 深刻理解大数据的这些影响 有助于我们更好把握学习和应用大数据的方向大数据在金融 汽车 零售 餐饮 电信 能源 政务 医疗 体育 娱乐等在内的社会各行各业都得到了
14、日益广泛的应用 深刻地改变着我们的社会生产和日常生活大数据并非单一的数据或技术 而是数据和大数据技术的综合体 大数据技术主要包括数据采集 数据存储和管理 数据处理与分析 数据安全和隐私保护等几个层面的内容大数据产业包括IT基础设施层 数据源层 数据管理层 数据分析层 数据平台层和数据应用层 在不同层面 都已经形成了一批引领市场的技术和企业本章最后介绍了云计算和物联网的概念和关键技术 并阐述了大数据 云计算和物联网三者之间的区别与联系 附录 主讲教师林子雨简介 单位 厦门大学计算机科学系E mail ziyulin 个人网页 主讲教师 林子雨 扫一扫访问个人主页 林子雨 男 1978年出生 博士
15、 毕业于北京大学 现为厦门大学计算机科学系助理教授 讲师 曾任厦门大学信息科学与技术学院院长助理 晋江市发展和改革局副局长 中国高校首个 数字教师 提出者和建设者 厦门大学数据库实验室负责人 厦门大学云计算与大数据研究中心主要建设者和骨干成员 2013年度厦门大学奖教金获得者 主要研究方向为数据库 数据仓库 数据挖掘 大数据 云计算和物联网 并以第一作者身份在 软件学报 计算机学报 和 计算机研究与发展 等国家重点期刊以及国际学术会议上发表多篇学术论文 作为项目负责人主持的科研项目包括1项国家自然科学青年基金项目 No 61303004 1项福建省自然科学青年基金项目 No 2013J0509
16、9 和1项中央高校基本科研业务费项目 No 2011121049 同时 作为课题负责人完成了国家发改委城市信息化重大课题 国家物联网重大应用示范工程区域试点泉州市工作方案 2015泉州市互联网经济调研等课题 编著出版中国高校第一本系统介绍大数据知识的专业教材 大数据技术原理与应用 并成为畅销书籍 编著并免费网络发布40余万字中国高校第一本闪存数据库研究专著 闪存数据库概念与技术 主讲厦门大学计算机系本科生课程 数据库系统原理 和研究生课程 分布式数据库 大数据技术基础 具有丰富的政府和企业信息化培训经验 曾先后给中国移动通信集团公司 福州马尾区政府 福建省物联网科学研究院 石狮市物流协会 厦门市物流协会 福建龙岩卷烟厂等多家单位和企业开展信息化培训 累计培训人数达2000人以上 附录 大数据技术原理与应用 教材 欢迎访问 大数据技术原理与应用 概念 存储 处理 分析与应用 教材官方网站 扫一扫访问教材官网 大数据技术原理与应用 概念 存储 处理 分析与应用 由厦门大学计算机科学系林子雨博士编著 是中国高校第一本系统介绍大数据知识的专业教材 全书共有13章 系统地论述了大数据的基本概念
