大数据技术原理与应用-完整版ppt课件

《大数据技术原理与应用-完整版ppt课件》由会员分享，可在线阅读，更多相关《大数据技术原理与应用-完整版ppt课件（769页珍藏版）》请在金锄头文库上搜索。

1、 大数据技术原理与应用 主讲教师 课程特色 搭建起通向 大数据知识空间 的桥梁和纽带构建知识体系 阐明基本原理引导初级实践 了解相关应用为学生在大数据领域 深耕细作 奠定基础 指明方向 内容提要 本课程系统介绍了大数据相关知识 共有13章系统地论述了大数据的基本概念 大数据处理架构Hadoop 分布式文件系统HDFS 分布式数据库HBase NoSQL数据库 云数据库 分布式并行编程模型MapReduce 流计算 图计算 数据可视化以及大数据在互联网 生物医学和物流等各个领域的应用在Hadoop HDFS HBase和MapReduce等重要章节 安排了入门级的实践操作 让学生更好地学习和掌握

2、大数据关键技术 篇章安排 第一篇 大数据基础篇第二篇 大数据存储篇第三篇 大数据处理与分析篇第四篇 大数据应用篇 第一篇 大数据基础篇 第二篇 大数据存储篇 第三篇 大数据处理与分析篇 第四篇 大数据应用篇 各章内容 第一章大数据概述第二章大数据处理架构Hadoop第三章分布式文件系统HDFS第四章分布式数据库HBase第五章NoSQL数据库第六章云数据库第七章MapReduce第八章流计算第九章图计算第十章数据可视化第十一章大数据在互联网领域的应用第十二章大数据在生物医学领域的应用 自学 第十三章大数据的其他应用 自学 第一章大数据概述 提纲 1 1大数据时代1 2大数据概念1 3大数据的影

3、响1 4大数据的应用1 5大数据关键技术1 6大数据计算模式1 7大数据产业1 8大数据与云计算 物联网的关系 1 1大数据时代 1 1 1第三次信息化浪潮 根据IBM前首席执行官郭士纳的观点 IT领域每隔十五年就会迎来一次重大变革 表1 1三次信息化浪潮 1 1 2信息科技为大数据时代提供技术支撑 图1 1存储价格随时间变化情况 存储设备容量不断增加 速度不断提升 价格却在不断下降 1 2信息科技为大数据时代提供技术支撑 来自斯威本科技大学 SwinburneUniversityofTechnology 的研究团队 在2013年6月29日刊出的 自然通讯 NatureCommunicatio

4、ns 杂志的文章中 描述了一种全新的数据存储方式 可将1PB 1024TB 的数据存储到一张仅DVD大小的聚合物碟片上 1 1 2信息科技为大数据时代提供技术支撑 图1 3CPU晶体管数目随时间变化情况 2 CPU处理能力大幅提升 1 1 2信息科技为大数据时代提供技术支撑 摩尔定律 CPU性能每隔18个月提高一倍 价格下降一半 图1 4网络带宽随时间变化情况 3 网络带宽不断增加 1 1 2信息科技为大数据时代提供技术支撑 1 1 3数据产生方式的变革促成大数据时代的来临 图1 5数据产生方式的变革 1 1 4大数据的发展历程 表1 2大数据发展的三个阶段 1 2大数据概念 4V 1 2 1

5、数据量大 根据IDC作出的估测 数据一直都在以每年50 的速度增长 也就是说每两年就增长一倍 大数据摩尔定律 人类在最近两年产生的数据量相当于之前产生的全部数据量预计到2020年 全球将总共拥有35ZB的数据量 相较于2010年 数据量将增长近30倍 1 2 2数据类型繁多 大数据是由结构化和非结构化数据组成的10 的结构化数据 存储在数据库中90 的非结构化数据 它们与人类信息密切相关 科学研究 基因组 LHC加速器 地球与空间探测企业应用 Email 文档 文件 应用日志 交易记录Web1 0数据 文本 图像 视频Web2 0数据 查询日志 点击流 Twitter Blog SNS Wik

6、i 1 2 3处理速度快 从数据的生成到消耗 时间窗口非常小 可用于生成决策的时间非常少1秒定律 这一点也是和传统的数据挖掘技术有着本质的不同 1 2 4价值密度低 价值密度低 商业价值高以视频为例 连续不间断监控过程中 可能有用的数据仅仅有一两秒 但是具有很高的商业价值 1 3大数据的影响 图灵奖获得者 著名数据库专家JimGray博士观察并总结人类自古以来 在科学研究上 先后历经了实验 理论 计算和数据四种范式 实验 理论 计算 数据 1 3大数据的影响 在思维方式方面 大数据完全颠覆了传统的思维方式 全样而非抽样效率而非精确相关而非因果 1 3大数据的影响 在社会发展方面 大数据决策逐渐

7、成为一种新的决策方式 大数据应用有力促进了信息技术与各行业的深度融合 大数据开发大大推动了新技术和新应用的不断涌现在就业市场方面 大数据的兴起使得数据科学家成为热门职业在人才培养方面 大数据的兴起 将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制 1 4大数据的应用 大数据无处不在 包括金融 汽车 零售 餐饮 电信 能源 政务 医疗 体育 娱乐等在内的社会各行各业都已经融入了大数据的印迹 典型的大数据应用实例 KevinSpacey DavidFincher 英国同名小说 纸牌屋 风靡全球的美剧 纸牌屋 大数据分析 典型的大数据应用实例 从谷歌流感趋势看大数据的应用价值 谷歌流感

8、趋势 通过跟踪搜索词相关数据来判断全美地区的流感情况 1 5大数据关键技术 表1 5大数据技术的不同层面及其功能 1 5大数据关键技术 分布式存储 分布式处理 GFS HDFSBigTable HBaseNoSQL 键值 列族 图形 文档数据库 NewSQL 如 SQLAzure MapReduce 大数据 两大核心技术 1 6大数据计算模式 表1 3大数据计算模式及其代表产品 1 7大数据产业 大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合 1 8大数据与云计算 物联网的关系 云计算 大数据和物联网代表了IT领域最新的技术发展趋势 三者相辅相成 既有联系又有区别 1

9、 8 1云计算 云计算实现了通过网络提供可伸缩的 廉价的分布式计算能力 用户只需要在具备网络接入条件的地方 就可以随时随地获得所需的各种IT资源 图1 7云计算的服务模式和类型 1 云计算概念 1 8 1云计算 InfrastructureasaService PlatformasaService SoftwareasaService SaaS PaaS IaaS GoogleApps Microsoft Software Services IBMITfactory GoogleAppEngine F AmazonEC2 IBMBlueCloud SunGrid Server Storage

10、Server Storage Visualization Infrastructure Platform Application 从一个集中的系统部署软件 使之在一台本地计算机上 或从云中远程地 运行的一个模型 由于是计量服务 SaaS允许出租一个应用程序 并计时收费 IaaS 将基础设施 计算资源和存储 作为服务出租 PaaS 类似于IaaS 但是它包括操作系统和围绕特定应用的必需的服务 SaaS 1 8 1云计算 云计算关键技术包括 虚拟化 分布式存储 分布式计算 多租户等 2 云计算关键技术 1 8 1云计算 云计算数据中心是一整套复杂的设施 包括刀片服务器 宽带网络连接 环境控制设备

11、监控设备以及各种安全装置等数据中心是云计算的重要载体 为云计算提供计算 存储 带宽等各种硬件资源 为各种平台和应用提供运行支撑环境全国各地推进数据中心建设 3 云计算数据中心 1 8 1云计算 政务云上可以部署公共安全管理 容灾备份 城市管理 应急管理 智能交通 社会保障等应用 通过集约化建设 管理和运行 可以实现信息资源整合和政务资源共享 推动政务管理创新 加快向服务型政府转型教育云可以有效整合幼儿教育 中小学教育 高等教育以及继续教育等优质教育资源 逐步实现教育信息共享 教育资源共享及教育资源深度挖掘等目标中小企业云能够让企业以低廉的成本建立财务 供应链 客户关系等管理应用系统 大大降低企

12、业信息化门槛 迅速提升企业信息化水平 增强企业市场竞争力医疗云可以推动医院与医院 医院与社区 医院与急救中心 医院与家庭之间的服务共享 并形成一套全新的医疗健康服务系统 从而有效地提高医疗保健的质量 4 云计算应用 1 8 1云计算 云计算产业作为战略性新兴产业 近些年得到了迅速发展 形成了成熟的产业链结构 产业涵盖硬件与设备制造 基础设施运营 软件与解决方案供应商 基础设施即服务 IaaS 平台即服务 PaaS 软件即服务 SaaS 终端设备 云安全 云计算交付 咨询 认证等环节 5 云计算产业 1 8 1云计算 图1 8云计算产业链 5 云计算产业 1 8 2物联网 物联网是物物相连的互联

13、网 是互联网的延伸 它利用局部网络或互联网等通信技术把传感器 控制器 机器 人员和物等通过新的方式联在一起 形成人与物 物与物相联 实现信息化和远程管理控制 1 物联网概念 1 8 2物联网 1 物联网概念 图1 9物联网体系架构 1 8 2物联网 物联网中的关键技术包括识别和感知技术 二维码 RFID 传感器等 网络与通信技术 数据挖掘与融合技术等 2 物联网关键技术 图1 10矩阵式二维码 图1 11采用RFID芯片的公交卡 图1 12不同类型的传感器 1 8 2物联网 物联网已经广泛应用于智能交通 智慧医疗 智能家居 环保监测 智能安防 智能物流 智能电网 智慧农业 智能工业等领域 对国

14、民经济与社会发展起到了重要的推动作用 3 物联网应用 1 8 2物联网 完整的物联网产业链主要包括核心感应器件提供商 感知层末端设备提供商 网络提供商 软件与行业解决方案提供商 系统集成商 运营及服务提供商等六大环节 4 物联网产业 1 8 2物联网 图1 8物联网产业链 4 物联网产业 1 8 3大数据与云计算 物联网的关系 云计算 大数据和物联网代表了IT领域最新的技术发展趋势 三者既有区别又有联系 图1 9大数据 云计算和物联网之间的关系 本章小结 本章介绍了大数据技术的发展历程 并指出信息科技的不断进步为大数据时代提供了技术支撑 数据产生方式的变革促成了大数据时代的来临大数据具有数据量

15、大 数据类型繁多 处理速度快 价值密度低等特点 统称 4V 大数据对科学研究 思维方式 社会发展 就业市场和人才培养等方面 都产生了重要的影响 深刻理解大数据的这些影响 有助于我们更好把握学习和应用大数据的方向大数据在金融 汽车 零售 餐饮 电信 能源 政务 医疗 体育 娱乐等在内的社会各行各业都得到了日益广泛的应用 深刻地改变着我们的社会生产和日常生活 本章小结 大数据并非单一的数据或技术 而是数据和大数据技术的综合体 大数据技术主要包括数据采集 数据存储和管理 数据处理与分析 数据安全和隐私保护等几个层面的内容大数据产业包括IT基础设施层 数据源层 数据管理层 数据分析层 数据平台层和数据

16、应用层 在不同层面 都已经形成了一批引领市场的技术和企业本章最后介绍了云计算和物联网的概念和关键技术 并阐述了大数据 云计算和物联网三者之间的区别与联系 第二章大数据处理架构Hadoop 提纲 2 1概述2 2Hadoop项目结构2 3Hadoop的安装与使用2 4Hadoop集群的部署与使用 2 1概述 2 1 1Hadoop简介2 1 2Hadoop发展简史2 1 3Hadoop的特性2 1 4Hadoop的应用现状 Hadoop的标志 2 1 1Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台 为用户提供了系统底层细节透明的分布式基础架构Hadoop是基于Java语言开发的 具有很好的跨平台特性 并且可以部署在廉价的计算机集群中Hadoop的核心是分布式文件系统HDFS HadoopDistributedFileSystem 和MapReduceHadoop被公认为行业大数据标准开源软件 在分布式环境下提供了海量数据的处理能力几乎所有主流厂商都围绕Hadoop提供开发工具 开源软件 商业化工具和技术服务 如谷歌 雅虎 微软 思科 淘宝等 都支持H