《{管理信息化大数据分析}大数据概念与应用》由会员分享,可在线阅读,更多相关《{管理信息化大数据分析}大数据概念与应用(41页珍藏版)》请在金锄头文库上搜索。
1、,全国高校标准教材云计算姊妹篇,剖析大数据核心技术和实战应用,大数据,刘鹏主编张燕张重生张志立 副主编,BIG DATA,刘 鹏,全国高校标准教材云计算姊妹篇,剖析大数据核心技术和实战应用,of,40,3,习题,1.1 大数据的概念与意义,第一章 大数据概念与应用,of,40,4,时至今日,“数据”变身“大数据”,“开启了一次重大的时代转型”。 “大数据”这一概念的形成,有三个标志性事件:,1从“数据”到“大数据”,4 V 特征,大数据与传统数据相比,数据来源广、维度多、类型杂,各种机器仪表在自动产生数据的同时,人自身的生活行为也在不断创造数据;不仅有企业组织内部的业务数据,还有海量相关的外部
2、数据。,随着现代感测、互联网、计算机技术的发展,数据生成、储存、分析、处理的速度远远超出人们的想象力,这是大数据区别于传统数据或小数据的显著特征。,大数据有巨大的潜在价值,但同其呈几何指数爆发式增长相比,某一对象或模块数据的价值密度较低,这无疑给我们开发海量数据增加了难度和成本。,第一章 大数据概念与应用,of,40,5,从2013年至2020年,人类的数据规模将扩大50倍,每年产生的数据量将增长到44万亿GB,相当于美国国家图书馆数据量的数百万倍,且每18个月翻一番。,1.1 大数据的概念与意义,第一章 大数据概念与应用,大数据,数据源整合进行存储、清洗、挖掘、分析后得出结果直到优化企业管理
3、提高效率,云计算、硬件性价比的提高以及软件技术的进步,智能设备、传感器的普及,推动物联网、人工智能的发展,计算 运行、计算速度越来越快,存储 存储成本下降,智能 实现信息对等解放脑力,机器拥有人的智慧,of,40,6,1.1 大数据的概念与意义,2大数据的技术支撑,第一章 大数据概念与应用,of,40,7,1.1 大数据的概念与意义,1)存储:存储成本的下降,云计算出现之前,云计算出现之后,在云计算出现之前,数据存储的成本是非常高的。 例如,公司要建设网站,需要购置和部署服务器,安排技术人员维护服务器,保证数据存储的安全性和数据传输的畅通性,还会定期清理数据,腾出空间以便存储新的数据,机房整体
4、的人力和管理成本都很高。,云计算出现后,数据存储服务衍生出了新的商业模式,数据中心的出现降低了公司的计算和存储成本。 例如,公司现在要建设网站,不需要去购买服务器,不需要去雇用技术人员维护服务器,可以通过租用硬件设备的方式解决问题。,存储成本的下降,也改变了大家对数据的看法,更加愿意把1年、2年甚至更久远的历史数据保存下来,有了历史数据的沉淀,才可以通过对比,发现数据之间的关联和价值。正是由于存储成本的下降,才能为大数据搭建最好的基础设施。,第一章 大数据概念与应用,of,40,8,1.1 大数据的概念与意义,2)计算:运算速度越来越快,分布式系统基础架构Hadoop的出现,为大数据带来了新的
5、曙光; HDFS为海量的数据提供了存储; MapReduce则为海量的数据提供了并行计算,从而大大提高了计算效率; Spark、Storm、Impala等各种各样的技术进入人们的视野。,海量数据从原始数据源到产生价值,期间会经过存储、清洗、挖掘、分析等多个环节,如果计算速度不够快,很多事情是无法实现的。所以,在大数据的发展过程中,计算速度是非常关键的因素。,第一章 大数据概念与应用,of,40,9,1.1 大数据的概念与意义,3)智能:机器拥有理解数据的能力 大数据带来的最大价值就是“智慧”,大数据让机器变得有智慧,同时人工智能进一步提升了处理和理解数据的能力。例如:,谷歌AlphaGo大胜世
6、界围棋冠军李世石,阿里云小Ai成功预测出我是歌手的总决赛歌王,1,2,iPhone上智能化语音机器人Siri,微信上与大家聊天的微软小冰,3,4,第一章 大数据概念与应用,of,40,10,美国著名管理学家爱德华戴明所言:“我们信靠上帝。除了上帝,任何人都必须用数据来说话。”,(1)有数据可说 在大数据时代,“万物皆数”,“量化一切”,“一切都将被数据化”。人类生活在一个海量、动态、多样的数据世界中,数据无处不在、无时不有、无人不用,数据就像阳光、空气、水分一样常见,好比放大镜、望远镜、显微镜那般重要。 (2)说数据可靠 大数据中的“数据”真实可靠,它实质上是表征事物现象的一种符号语言和逻辑关
7、系,其可靠性的数理哲学基础是世界同构原理。世界具有物质统一性,统一的世界中的一切事物都存在着时空一致性的同构关系。这意味着任何事物的属性和规律,只要通过适当编码,均可以通过统一的数字信号表达出来。,1.1 大数据的概念与意义,3大数据的意义,因此,“用数据说话”、“让数据发声”,已成为人类认知世界的一种全新方法。,1.1从“数据”到“大数据”,第一章 大数据概念与应用,of,40,11,风马牛可相及 在大数据背景下,因海量无限、包罗万象的数据存在,让许多看似毫不相干的现象之间发生一定的关联,使人们能够更简捷、更清晰地认知事物和把握局势。大数据的巨大潜能与作用现在难以进行估量,但揭示事物的相关关
8、系无疑是其真正的价值所在。,经典案例:,(1)啤酒与尿布,(2)谷歌与流感,全国高校标准教材云计算姊妹篇,剖析大数据核心技术和实战应用,of,40,12,习题,1.2 大数据的来源,第一章 大数据概念与应用,of,40,13,全球数据总量图,杰姆格雷(Jim Gray)提出著名的“新摩尔定律”,即人类有史以来的数据总量,每过18个月就会翻一番。,为什么全球数据量 增长如此之快?,1.2 大数据的来源,第一章 大数据概念与应用,of,40,15,互联网每天产生的全部内容可以刻满6.4亿张DVD,Google每天需要处理24PB的数据,网民每天在Facebook上要花费234亿分钟,被移动互联网使
9、用者发送和接收的数据高达44PB,全球每秒发送290万封电子邮件,一分钟读一篇的话,足够一个人昼夜不停地读5.5年,每天会有2.88万个小时的视频上传到YouTube,足够一个人昼夜不停地观看3.3年,Twitter上每天发布5000万条消息,假设10秒就浏览一条消息,足够一个人昼夜不停地浏览16年,大数据到底有多大? 以上一组互联网数据,1.2 大数据的来源,第一章 大数据概念与应用,of,40,16,海量的数据的产生,随着人类活动的进一步扩展,数据规模会急剧膨胀,包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的各行业累积的数据量越来越大,数据类型也越来越多、越来越复杂
10、,已经超越了传统数据管理系统、处理模式的能力范围,于是“大数据”这样一个概念才会应运而生。,1.2 大数据的来源,第一章 大数据概念与应用,of,40,17,1.2 大数据的来源,第一章 大数据概念与应用,of,40,18,4)气象、地理、政务等领域 中国气象局保存的数据将近10PB,每年约增数百TB;各种地图和地理位置信息每年约数十PB;政务数据则涵盖了旅游、教育、交通、医疗等多个门类,且多为结构化数据。 5)制造业和其他传统行业 制造业的大数据类型以产品设计数据、企业生产环节的业务数据和生产监控数据为主。其中产品设计数据以文件为主,非结构化,共享要求较高,保存时间较长;企业生产环节的业务数
11、据主要是数据库结构化数据,而生产监控数据则数据量非常大。在其他传统行业,虽然线下商业销售、农林牧渔业、线下餐饮、食品、科研、物流运输等行业数据量剧增,但是数据量还处于积累期,整体体量都不算大,多则达到PB级别,少则数十TB或数百TB级别。,1.2 大数据的来源,第一章 大数据概念与应用,of,40,19,1.2 大数据的来源,第一章 大数据概念与应用,of,40,20,3)APP移动端数据采集 APP是获取用户移动端数据的一种有效方法,APP中的SDK插件可以将用户使用APP的信息汇总给指定服务器,即便用户在没有访问时,也能获知用户终端的相关信息,包括安装应用的数量和类型等。单个APP用户规模
12、有限,数据量有限;但数十万APP用户,获取的用户终端数据和部分行为数据也会达到数亿的量级。 4)与数据服务机构进行合作 数据服务机构通常具备规范的数据共享和交易渠道,人们可以在平台上快速、明确地获取自己所需要的数据。而对于企业生产经营数据或学科研究数据等保密性要求较高的数据,也可以通过与企业或研究机构合作,使用特定系统接口等相关方式采集数据。,2)互联网数据采集 通过网络爬虫或网站公开API等方式从网站上获取数据信息,该方法可以数据从网页中抽取出来,将其存储为统一的本地数据文件,它支持图片、音频、视频等文件或附件的采集,附件与正文可以自动关联。除了网站中包含的内容之外,还可以使用DPI或DFI
13、等带宽管理技术实现对网络流量的采集。,全国高校标准教材云计算姊妹篇,剖析大数据核心技术和实战应用,of,40,21,习题,1.3 大数据应用场景,第一章 大数据概念与应用,of,40,22,大数据7个应用场景,1.3 大数据应用场景,第一章 大数据概念与应用,of,40,23,零售行业大数据应用有两个层面,一个层面是零售行业可以了解客户的消费喜好和趋势,进行商品的精准营销,降低营销成本。另一个层面是依据客户购买的产品,为客户提供可能购买的其他产品,扩大销售额,也属于精准营销范畴。 未来考验零售企业的是如何挖掘消费者需求,以及高效整合供应链满足其需求的能力,因此,信息技术水平的高低成为获得竞争优
14、势的关键要素。,1)银行数据应用场景 利用数据挖掘来分析出一些交易数据背后的商业价值。 2)保险数据应用场景 用数据来提升保险产品的精算水平,提高利润水平和投资收益。 3)证券数据应用场景 对客户交易习惯和行为分析可以帮助证券公司获得更多的收益。,1.3 大数据应用场景,第一章 大数据概念与应用,of,40,24,医疗行业拥有大量的病例、病理报告、治愈方案、药物报告等,通过对这些数据进行整理和分析将会极大地辅助医生提出治疗方案,帮助病人早日康复。可以构建大数据平台来收集不同病例和治疗方案,以及病人的基本特征,建立针对疾病特点的数据库,帮助医生进行疾病诊断。 医疗行业的大数据应用一直在进行,但是
15、数据并没有完全打通,基本都是孤岛数据,没办法进行大规模的应用。未来可以将这些数据统一采集起来,纳入统一的大数据平台,为人类健康造福。,信息技术已在教育领域有了越来越广泛的应用,教学、考试、师生互动、校园安全、家校关系等,只要技术达到的地方,各个环节都被数据包裹。 通过大数据的分析来优化教育机制,也可以作出更科学的决策,这将带来潜在的教育革命,在不久的将来,个性化学习终端将会更多地融入学习资源云平台,根据每个学生的不同兴趣爱好和特长,推送相关领域的前沿技术、资讯、资源乃至未来职业发展方向。,1.3 大数据应用场景,第一章 大数据概念与应用,of,40,25,大数据技术可以了解经济发展情况、各产业
16、发展情况、消费支出和产品销售情况等,依据分析结果,科学地制定宏观政策,平衡各产业发展,避免产能过剩,有效利用自然资源和社会资源,提高社会生产效率。大数据技术也能帮助政府进行支出管理,透明合理的财政支出将有利于提高公信力和监督财政支出。,全国高校标准教材云计算姊妹篇,剖析大数据核心技术和实战应用,of,40,26,习题,1.4 大数据处理方法,第一章 大数据概念与应用,of,40,27,大数据正带来一场信息社会的变革。大量的结构化数据和非结构化数据的广泛应用,致使人们需要重新思考已有的IT模式;,与此同时,大数据将推动进行又一次基于信息革命的业务转型,使社会能够借助大数据获取更多的社会效益和发展机会;,庞大的数据需要我们进行剥离、整理、归类、建模、分析等操作,通过这些动作后,我们开始建立数据分析的维度,通过对不同的维度数据进行分析,最终才能得到想到的数据和信息