《大数据定义和特征ppt课件》由会员分享,可在线阅读,更多相关《大数据定义和特征ppt课件(27页珍藏版)》请在金锄头文库上搜索。
1、大数据2018BigData1 一一. .认识大数据时代认识大数据时代 二二. .大数据的定义大数据的定义 三. .大数据大数据4V4V特性特性 大数据时代2一.认识大数据时代7:00,你被手机闹钟叫醒。昨晚你带着一款小型可穿戴设备睡觉的。这个设备连接着你手机里的一款大数据的大数据的APPAPP,你打开它就可以看到你昨晚睡觉时翻身次数、心跳和血压状况。根据测量结果,它建议你今天出门之前多喝点橙汁类的饮品来补充维生素。9:00,今天你要带朋友到购物公园逛逛,你打开某互联网公司的大数据产品“XXXX预测预测”,看看步行街今天预计会有多少人,再看看今天的交通预测。 “XX预测” 根据以往用户定位请求
2、信息建议你前往步行街。12:00,逛了一圈,你和朋友都累了,想找个地方吃饭。你打开大数据软件大数据软件,寻找附近的餐馆。通过该软件,你可以提前看到餐馆的视频环境,看看是否人多。大数据还可以把你脸的部分打成马赛克,你不用担心个人信息泄露。2XXX年的一个周末3一.认识大数据时代14:00,吃过午饭,你想去附近的公园玩玩,但你不知道应该去十六潭公园还是去潜山森林公园。你又打开“XXXX预测预测”,希望它帮你分析一下,哪个公园相对不太拥挤。根据结果,你去了十六潭公园。16:00,你正在公园里休息,收到了催缴电话费的短信。你很好奇自己过去三年每个月的消费记录。但过去运营商只能让你查到六个月以内的消费信
3、息。因为中国移动至少有5亿用户,每天至少能产生10次计费记录。每天50亿的计费记录,一年下来就是1800亿条记录。这是一个大数据的存储和归纳技术大数据的存储和归纳技术难题。但在大数据时代,过去几年的电话通讯信息都可以查到了。 22:00,晚上睡觉的时候,你家的孩子哭闹起来。你把孩子的哭声录入一个大数据软件中。软件能告诉你孩子为什么哭。是饿了,还是哪里不舒服,还是说只是想撒撒娇18:00,你回到了家,你的可穿戴设备告诉你,今天你在室内和室外的时间分别都是多少,你一天内吸入了多少雾霾。4一.认识大数据时代 纽约时报2012年2月的一篇专栏中所称 ,“大数据”时代已经降临,在商业、经济及其他领域中,
4、决策将日益基于数据和分析而决策将日益基于数据和分析而作出,而并非基于经验和直觉。作出,而并非基于经验和直觉。 亚马逊前任首席科学家Andreas Weigend说:“数据是新的石油数据是新的石油。” 哈佛大学社会学教授加里金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。” 5一.认识大数据时代 随着一系列标志性事件的发生和建立,人们越发感觉到大数据时代的力量。因此2013年被许多国外媒体和专家称为“大数据元年大数据元年”。当今“大社会”,三分技术,七分数据,得数据者得天下。6一.认识大数据时代p大数据很抽象,表示数据规
5、模的庞大。p大数据泛指巨量的数据集,因可从中挖掘出有价值的信息而受到重视。华尔街日报将大数据时代、智能化生产、无线网络革命大数据时代、智能化生产、无线网络革命称为引领未来繁荣发展的重大技术变革。“ “数据数据” ”7一.认识大数据时代全球流量累计达到1EB(即10亿GB)的时间一年(2001)一个月(2004)一周(2007)一天(2013)一天产生的信息量可刻满1.881.88亿亿张DVD光盘全球网民平均每月使用流量:1M(1998)10M(2000)100M(2003)1G(2008)10G10G(20142014)n根据IDC作出的估测,数据一直都在以每年50%的速度增长,也就是说每两年
6、就增长一倍(大数据摩尔定律)n人类在最近两年产生的数据量相当于之前产生的全部数据量n预计到2020年,全球将总共拥有35ZB的数据量,相较于2010年,数据量将增长近30倍8数据产生方式的变革促成大数据时代的来临图1-5 数据产生方式的变革9运营式系统阶段第一阶段运营式系统阶段实例超市购物,在数据库系统中生成购物信息10第二阶段 用户原创内容阶段1112 一.认识大数据时代智能终端的普及电子商务、社交网络、 电子地图等的全面应用大数据的产生:大数据的产生:12第三阶段感知式系统阶段13万物互联网的的时代已经来临14物联网底层是感知层,如RFID、摄像头、传感器151617一.认识大数据时代维基
7、百科给出的定义: 大数据是指利用常用软件工大数据是指利用常用软件工具捕获、管理和处理数据所耗时具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。间超过可容忍时间的数据集。“3V”定义规模性(Volume)多样性(Variety)高速性(Velocity)“4V”定义价值性(Value)真实性(Veracity)(IDC)(IBM)181.数据量大n根据IDC作出的估测,数据一直都在以每年50%的速度增长,也就是说每两年就增长一倍(大数据摩尔定律)n人类在最近两年产生的数据量相当于之前产生的全部数据量n预计到2020年,全球将总共拥有35ZB的数据量,相较于2010年,数据量将增长近30倍1
8、92 数据类型繁多n大数据是由结构化和非结构化数据组成的10%的结构化数据,存储在数据库中90%的非结构化数据,它们与人类信息密切相关p科学研究基因组LHC 加速器地球与空间探测p企业应用Email、文档、文件应用日志交易记录pWeb 1.0数据文本图像视频pWeb 2.0数据查询日志/点击流Twitter/ Blog / SNSWiki203处理速度快p从数据的生成到消耗,时间窗口非常小,可用于生成决策的时间非常少p1秒定律:这一点也是和传统的数据挖掘技术有着本质的不同214价值密度低价值密度低,商业价值高价值密度低,商业价值高以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒,但是具有很高的商业价值22大数据的应用大数据无处不在,包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹23典型的大数据应用实例Kevin SpaceyDavid Fincher 英国同名小说纸牌屋风靡全球的美剧纸牌屋大数据分析24典型的大数据应用实例从谷歌流感趋势看大数据的应用价值 “谷歌流感趋势”,通过跟踪搜索词相关数据来判断全美地区的流感情况252627