第二十讲项目四云计算的应用(2)剖析

《第二十讲项目四云计算的应用(2)剖析》由会员分享，可在线阅读，更多相关《第二十讲项目四云计算的应用(2)剖析（88页珍藏版）》请在金锄头文库上搜索。

1、第二十讲 项目四 云计算的应用（2） 大数据技术 主讲 赵伟艇,本讲内容,大数据时代 大数据的定义 大数据的价值 大数据与云计算 大数据带来的变革 大数据的应用 机遇与挑战 大数据的相关技术,数据度量,何为大？数据度量 1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB =

2、1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes,大数据,红楼梦含标点87万字（不含标点853509字） 每个汉字占两个字节：1汉字=16bit = 2*8位=2bytes 1GB 约等于671部红楼梦 1TB 约等于631,903 部 1PB 约

3、等于647,068,911部 美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB ） 1EB = 4000倍美国国会图书馆存储的信息量,21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。 互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。,“大数据”的诞生： 半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着

4、比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。,大数据时代的背景,一天之间，互联网上要发生多少事,每天有2940亿封电子邮件发出，如果这些是纸质信件，在美国需要花费两年时间处理； 每天有200万篇博客在网上发布，这些文章相当于时代杂志刊发770年的总量； 每天有2.5亿张照片上传至社交网站Facebook，如果都打印出来，摞在一起能有80个埃菲尔铁塔那么高； 每天有86.4万小时视频被上传至视频网站Youtube，相当于不间断播放视频98年； 每天有1.87亿个小时的音乐会在流媒体音

5、乐网站Pandora上播放，如果一台电脑从公元元年就开始播放这些音乐会，到现在还没完没了地接着放； 谷歌翻译每天处理的文字数量,每天翻译次数达十亿次，相当于一百万册图书，超过了全世界的专业翻译人员一年能够翻译的文字规模； 百度每天的关键词搜索量50亿，谷歌33.3亿； 淘宝天猫双11那一天营业额达191亿人民币。中国小商品城全年成交额才580.03亿元人民币； 累积起来，互联网一天之内产生的信息总量，可以装满1.68亿张DVD光盘。 ,未来：物联网每天产生的数据将会是海量的。,大数据现象,全球数据总量变化图,新摩尔定律,全球数据总量每18个月翻番。 大数据已经成为一种自然资源 大数据不被利用就

6、是成本,大数据时代到来,一：数据产生方式的改变,二：人类的活动越来越依赖数据,1.人类的日常生活已经与数据密不可分,2.科学研究进入了“数据科学”时代,3.各行各业也越来越依赖大数据手段来开展工作,大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长,大数据时代到来,20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data,2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念,Big Data名词由来,什么是大数据,百度百科：大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大

7、到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 维基百科：大数据是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的整合共享，交叉复用形成的智力资源和知识服务能力。 我的观点：大数据是由大量异构的数据组成的数据集合，它是可以应用合理的数学算法或工具从中找出有价值的信息，为人们带来利益的一门新兴学科。,定义：海量数据或巨量数据，其规模巨大到无法通过目前主流的计算机系统在合理时间内获取、存储、管理、处理并提炼以帮助使用者决策。,什么是大数据,数据量巨大 全球在2010 年正式进入ZB 时代，ID

8、C预计到2020 年，全球将总共拥有35ZB 的数据量,大数据 = 海量数据 + 复杂类型的数据,大数据包括： 交易数据和交互数据集在内的所有数据集,大数据的构成,海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。,海量交互数据： 源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本

9、和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。,海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。,大数据的特征,1C,4V,数据的来源及格式多样，数据格式除了传统的结构化数据外，还包括半结构化或非结构化数据，比如用户上传的音频和视频内容。而随着人类活动的进一步拓宽，数据的来源更加多样。,对数据的处理和分析的难度大。,数据增长速度快，而且越新的数据价值越大，这就要求对数据的处理速度也要快，以便能够从数据中及时地提取知识，发现价值。,在成本可接受的条件下，通过快速采集、发现和分析，从大量、多

10、种类别的数据中提取价值的体系架构。,“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。,大规模数据主要来源,传感器数据 分布在不同地理位置上的传感器,对所处环境进行感知,不断生成数据.即便对这些数据进行过滤,仅保留部分有效数据,长时间累积的数据量也是非常惊人的。 网站点击流数据 为了进行有效的市场营销和推广,用户在网上的每个点击及其时间都被记录下来;利用这些数据,服务提供商可以对用户存取模式进行仔细的分析,从而提供更加具有针对性的服务。 移动设备数据 通过移动电子设备包

11、括移动电话和PDA、导航设备等,我们可以获得设备和人员的位置、移动、用户行为等信息,对这些信息进行及时的分析,可以帮助我们进行有效的决策,比如交通监控和疏导系统。 射频 ID 数据 RFID 可以嵌入到产品中,实现物体的跟踪.一旦 RFID 得到广泛的应用,将是大量数据的主要来源之一。,大数据要解决的问题,Volume 海量的数据规模,Variety 多样的数据类型,Value,Velocity 快速的数据流转,发现巨大的数据价值,大数据的价值链,数据,数据的掌控者，拥有或者可以收集大量数据的公司。海量的数据就是财富，可以考虑自己分析或者卖数据给其他公司。,技术,技术供应商或者分析公司。掌握了

12、从海量数据中分析出有用信息的技能或者工具，但本身不一定拥有数据。,思维,有创新思维的人或者公司。他们对大数据敏感，有怎样挖掘数据的新价值的独特想法。,大数据与云计算,大数据和云是两个不同的概念，但两者 之间有很多交集。 云计算的模式是业务模式，目标是大数据处理。 数据是资产，云为数据资产提供存储、访问和计算。 当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。,G=f(x),我们的目标,云计算,大数据,白云下面数据跑,蓝蓝的天上白云飘,如果数据是财富，那

13、么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀！,大数据与云计算,大数据能给我们带来什么？,？,马云：大数据赋予我们洞察未来的能力,未来制造业要的不是石油，最大的能源是数据。,禽流感和板蓝根,精确营销,信用交易,实时态势,人工智能,大数据时代全新的生活方式,大数据时代的物联网，带给我们智能家居。,大数据时代全新的生活方式,购物：,不受时空限制，随时随地购物。,在看不到商品的情况下，口碑就是质量。,大数据时代全新的生活方式,旅行：足不出户，安排好一切。,大数据时代全新的生活方式,信息：人人都是传媒。,大

14、数据时代全新的生活方式,社交：你所有的朋友都能在网络上找到。,大数据时代全新的思维方式,分析事物时，依赖该事物的所有数据，不再是进行样本分析。 在大数据时代，允许不精确。 更注重相关关系，而不是因果关系。,大数据时代全新的商业模式,纸牌屋。Netflix并不是任何一个电视台，而是电视台和电影院的平台，是北美最大的付费订阅视频网站。基于其3000万北美用户观看视频时留下的行为数据，预测出凯文史派西、大卫芬奇和“BBC出品”三种元素结合在一起的电视剧产品将会大火特火 。此外，Netflix还通过“大数据”观测到另一流行趋势：越来越多的人不再像30年前那样，在固定晚上的固定时刻守在电视机前，等着收看

15、电视剧的最新剧集，而是“攒”起来，直到整季剧情全部播放完毕之后，才选一个自己方便的时间段和地点，在方便的设备（多数是网络设备，如电脑、iPad）上一次性观看。,大数据时代全新的管理模式,除了上帝，任何人都必须用数据来说话。 案例：google的设计师 卓越的管理者必须要利用数据进行决策。 案例：克强指数,卓越的管理者利用数据进行决策,克强指数：工业用电量、中长期信贷余额和铁路货运量 。,行业拓展者，打造大数据行业基石：,大数据的应用 企业在投入,IBM： IBM大数据提供的服务包括数据分析，文本分析，蓝色云杉（混搭供电合作的网络平台）;业务事件处理；IBM Mashup Center的计量，监

16、测，和商业化服务（MMMS） IBM的大数据产品组合中的最新系列产品的InfoSphere bigInsights，基于Apache Hadoop。 该产品组合包括： 打包的Apache Hadoop的软件和服务，代号是bigInsights核心，用于开始大数据分析 软件被称为bigsheet，软件目的是帮助从大量数据中轻松、简单、直观的提取、批注相关信息 为金融，风险管理，媒体和娱乐等行业量身定做的行业解决方案 微软： 2011年1月与惠普（具体而言是HP数据库综合应用部门） 合作目标是开发了一系列能够提升生产力和提高决策速度的设备。 EMC： EMC 斩获了纽交所和Nasdaq； 大数据解决方案已包括40多个产品。 Oracle： Oracle大数据机与Oracle Exalogic中间件云服务器、Oracle Exadata数据库云服务器以及Oracle Exalytics商务智能云服务器一起组成了甲骨文最广泛、高度集成化系统产品组合。,政府职能变革 重视应用大数据技术，盘活各地云计算中心资产：