《大数据定义和特征》由会员分享，可在线阅读，更多相关《大数据定义和特征（27页珍藏版）》请在金锄头文库上搜索。
1、大数据,2018,Big Data,2,一.认识大数据时代,二.大数据的定义,三.大数据4V特性,大数据时代,3,一.认识大数据时代,7：00，你被手机闹钟叫醒。昨晚你带着一款小型可穿戴设备睡觉的。这个设备连接着你手机里的一款大数据的APP，你打开它就可以看到你昨晚睡觉时翻身次数、心跳和血压状况。根据测量结果，它建议你今天出门之前多喝点橙汁类的饮品来补充维生素。,9：00，今天你要带朋友到购物公园逛逛，你打开某互联网公司的大数据产品“XX预测”，看看步行街今天预计会有多少人，再看看今天的交通预测。 “XX预测” 根据以往用户定位请求信息建议你前往步行街。,假如给你一天大数据的生活,12：00，
2、逛了一圈，你和朋友都累了，想找个地方吃饭。你打开大数据软件，寻找附近的餐馆。通过该软件，你可以提前看到餐馆的视频环境，看看是否人多。大数据还可以把你脸的部分打成马赛克，你不用担心个人信息泄露。,2XXX年的一个周末,4,一.认识大数据时代,14:00,吃过午饭，你想去附近的公园玩玩，但你不知道应该去十六潭公园还是去潜山森林公园。你又打开“XX预测”，希望它帮你分析一下，哪个公园相对不太拥挤。根据结果，你去了十六潭公园。,16：00，你正在公园里休息，收到了催缴电话费的短信。你很好奇自己过去三年每个月的消费记录。但过去运营商只能让你查到六个月以内的消费信息。因为中国移动至少有5亿用户，每天至少能
3、产生10次计费记录。每天50亿的计费记录，一年下来就是1800亿条记录。这是一个大数据的存储和归纳技术难题。但在大数据时代，过去几年的电话通讯信息都可以查到了。,22：00，晚上睡觉的时候，你家的孩子哭闹起来。你把孩子的哭声录入一个大数据软件中。软件能告诉你孩子为什么哭。是饿了，还是哪里不舒服，还是说只是想撒撒娇,18：00，你回到了家，你的可穿戴设备告诉你，今天你在室内和室外的时间分别都是多少，你一天内吸入了多少雾霾。,5,一.认识大数据时代,纽约时报2012年2月的一篇专栏中所称 ，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。,亚
4、马逊前任首席科学家Andreas Weigend说：“数据是新的石油。”,哈佛大学社会学教授加里金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”,一.认识大数据时代,6,随着一系列标志性事件的发生和建立，人们越发感觉到大数据时代的力量。因此2013年被许多国外媒体和专家称为“大数据元年”。,当今“大社会”， 三分技术，七分数据， 得数据者得天下。,7,一.认识大数据时代,什么是“大数据”？,大数据很抽象，表示数据规模的庞大。 大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。华尔街日报将大数据时代、智能化生产、无
5、线网络革命称为引领未来繁荣发展的重大技术变革。,“大”,“数据”,8,一.认识大数据时代,大数据 有多“大”？,根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律） 人类在最近两年产生的数据量相当于之前产生的全部数据量 预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍,数据产生方式的变革促成大数据时代的来临,图1-5 数据产生方式的变革,运营式系统阶段实例超市购物，在数据库系统中生成购物信息,第二阶段 用户原创内容阶段,12,一.认识大数据时代,智能终端的普及 电子商务、社交网络、 电子地图等的全面应用,大
6、数据的产生：,第三阶段 感知式系统阶段,万物互联网的的时代已经来临,物联网底层是感知层，如RFID、摄像头、传感器,18,一.认识大数据时代,维基百科给出的定义： 大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。,“3V”定义,“4V”定义,价值性（Value）,真实性（Veracity）,（IDC）,（IBM）,1.数据量大,根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律） 人类在最近两年产生的数据量相当于之前产生的全部数据量 预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近3
7、0倍,2 数据类型繁多,大数据是由结构化和非结构化数据组成的 10%的结构化数据，存储在数据库中 90%的非结构化数据，它们与人类信息密切相关,科学研究 基因组 LHC 加速器 地球与空间探测 企业应用 Email、文档、文件 应用日志 交易记录 Web 1.0数据 文本 图像 视频 Web 2.0数据 查询日志/点击流 Twitter/ Blog / SNS Wiki,3 处理速度快,从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少 1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同,4 价值密度低,价值密度低，商业价值高 以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的商业价值,大数据的应用,大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹,典型的大数据应用实例,Kevin Spacey,David Fincher,英国同名小说纸牌屋,风靡全球的美剧纸牌屋,大数据分析,典型的大数据应用实例,从谷歌流感趋势看大数据的应用价值 “谷歌流感趋势”，通过跟踪搜索词相关数据来判断全美地区的流感情况,
