《时代到dt时代的大数据时代》由会员分享，可在线阅读，更多相关《时代到dt时代的大数据时代（50页珍藏版）》请在金锄头文库上搜索。
1、1,大数据时代,2,大纲,一.认识大数据时代,二.大数据的应用领域,三.大数据时代的机遇与挑战,3,一.认识大数据时代,7：00，你被手机闹钟叫醒。昨晚你带着一款小型可穿戴设备睡觉的。这个设备连接着你手机里的一款大数据的APP，你打开它就可以看到你昨晚睡觉时翻身次数、心跳和血压状况。根据测量结果，它建议你今天出门之前多喝点橙汁类的饮品来补充维生素。,9：00，今天你要带朋友到郑州的二七步行街逛逛，你打开某互联网公司的大数据产品“XX预测”，看看步行街今天预计会有多少人，再看看郑州今天的交通预测。 “XX预测” 根据以往用户定位请求信息建议你乘地铁前往步行街。,假如给你一天大数据的生活,12：0
2、0，逛了一圈，你和朋友都累了，想找个地方吃饭。你打开大数据软件，寻找附近的餐馆。通过该软件，你可以提前看到餐馆的视频环境，看看是否人多。大数据还可以把你脸的部分打成马赛克，你不用担心个人信息泄露。,2XXX年的一个周末,4,一.认识大数据时代,14:00,吃过午饭，你想去附近的公园玩玩，但你不知道应该去紫荆山公园还是去人民公园。你又打开“XX预测”，希望它帮你分析一下，哪个公园相对不太拥挤。根据结果，你去了紫荆山公园。,16：00，你正在公园里休息，收到了催缴电话费的短信。你很好奇自己过去三年每个月的消费记录。但过去运营商只能让你查到六个月以内的消费信息。因为中国移动至少有5亿用户，每天至少能
3、产生10次计费记录。每天50亿的计费记录，一年下来就是1800亿条记录。这是一个大数据的存储和归纳技术难题。但在大数据时代，过去几年的电话通讯信息都可以查到了。,22：00，晚上睡觉的时候，你家的孩子哭闹起来。你把孩子的哭声录入一个大数据软件中。软件能告诉你孩子为什么哭。是饿了，还是哪里不舒服，还是说只是想撒撒娇,18：00，你回到了家，你的可穿戴设备告诉你，今天你在室内和室外的时间分别都是多少，你一天内吸入了多少雾霾。,5,一.认识大数据时代,最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡。麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的
4、挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”,6,一.认识大数据时代,纽约时报2012年2月的一篇专栏中所称 ，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。,亚马逊前任首席科学家Andreas Weigend说：“数据是新的石油。”,哈佛大学社会学教授加里金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”,一.认识大数据时代,9,拒绝大数据时代，可能会失去生命！,大数据时代：生活、工作与思维的大变革一书的作者维克托迈尔舍恩伯格，如是说，“如果你是一个个
5、人，如果你拒绝的话，可能会失去生命，如果是一个国家的话，拒绝大数据时代的话，可能失去这个国家的未来，失去一代人的未来。” 这一句话恐怕不能算作耸人听闻，因为每当人们站在现在这个节点的时候，总会去眺望未来，但是未来往往在你不经意当中已经悄悄地来到你的身边。,10,一.认识大数据时代,硬件成本的降低 网络带宽的提升 云计算的兴起 网络技术的发展 智能终端的普及 电子商务、社交网络、电子地图等的全面应用 物联网,大数据时代到来的必然性：,11,一.认识大数据时代,什么是“大数据”？,大数据很抽象，表示数据规模的庞大。 大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。华尔街日报将大数据时
6、代、智能化生产、无线网络革命称为引领未来繁荣发展的重大技术变革。,目前对大数据尚未有一个公认的定义，不同的定义基本上是从特征出发，试图给出大数据的定义。,12,一.认识大数据时代,维基百科给出的定义：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。,“3V”定义,“4V”定义,价值性（Value）,真实性（Veracity）,（IDC）,（IBM）,13,一.认识大数据时代,大数据 有多“大”？,14,一.认识大数据时代,我国网民数量居世界之首，每天产生的数据量也位于世界前列。,15,一.认识大数据时代,从数据库(database，DB)到大数据(big data
7、，BD),“池塘捕鱼”VS“大海捕鱼” “鱼”是待处理的数据,数据规模,小（以MB为处理单位）,大（以GB、TB、PB为处理单位）,数据类型,单一（结构化为主）,繁多（结构化、半结构化、非结构化）,模式和数据 的关系,先有模式后有数据 (先有池塘后有鱼),先有数据后有模式 模式随数据增多不断演变,处理对象,数据（池塘中的鱼）,(“鱼”，通过某些“鱼”判断其他 种类的“鱼”是否存在),处理工具,One size fits all,No size fits all,16,大数据就如同蜜蜂，其主要价值是传播花粉，自己生产的蜂蜜价值并不大。,2013年世界范围内狭义的大数据产业产值只有186亿美元，但
8、广义的大数据应用几乎覆盖所有产业。据麦肯锡公司预测，开放数据仅在教育、保健等7个行业便可释放3.2万亿5.4万亿美元的经济价值。,二.大数据的应用领域,17,二.大数据的应用领域,天文学,生物医学,电子政务,气候学,企业管理,教育学,金融学,市场营销,公共服务,商业智能,传媒业,生活娱乐,天文学,生物医学,电子政务,气候学,企业管理,教育学,金融学,市场营销,公共服务,商业智能,传媒业,生活娱乐,总统选举,总统选举,情报学,情报学,图书馆学,图书馆学,二.大数据的应用领域政治领域,奥巴马的数据团队对数以千万计的选民邮件进行了大数据挖掘，精确预测出了更可能拥护奥巴马的选民类型，并进行了有针对性的
9、宣传，从而帮助奥巴马成为了美国历史上唯一一位在竞选经费处于劣势下实现连任的总统。,不要总喊“狼来了”，“狼”已经来了！,大数据帮助奥巴马 成功实现连任,二.大数据的应用领域政治领域,奥巴马的例子告诉我们，只要数据量够大，够及时，挖掘够深刻，我们完全可以洞悉每个选民的投票几率。迅速普及的互联网与移动互联网，悄然为记录人的行为数据提供了最为便利、持久的载体。最重要的是，在这些强大的数据收集终端面前，人们没有掩饰的意图，从而创造着过去无法收集与分析的海量数据，这让所有社会科学领域能够从宏观群体走向微观个体，让跟踪每一个人的数据成为了可能，从而让研究人性成为了可能。,20,二.大数据的应用领域政治领域
10、,大数据的发展，将极大地改变政府的管理模式，有利于节约政府投资、加强市场监管能力、提高政府决策能力、提升公共服务能力，实现区域化管理。,重“一站式”服务 轻“激励型”服务,我国电子政务的发展现状:,重性质性政务信息轻量化性政务数据,政府门户网站信息以文本、图片、视频 等非结构化信息为主，但没有关于财政税收、 医疗保险等可量化分析的结构化数据。,“一站式”服务包括申请、办证、审批等，忽略了开放原生态数据激发社会主体的创造性、主动性。,大数据在我国电子政务领域的应用,21,二.大数据的应用领域政治领域,从反映政府网站页面吸引力的跳出率指标来看，政府网站用户的总体跳出率为63.33%，即有2/3左右
11、的用户来到政府网站之后仅访问一个页面就离开了。说明当今以性质性为主的政府信息黏度不够，并不能满足社会需求，量化性政务数据才是社会真正急需的。,头疼，找不到我想要的数据！,22,二.大数据的应用领域政治领域,目前，我国有60多个城市，将构建“智慧城市”的目标列入“十二五规划”中。智慧城市即利用大数据的整合和分析来治理社会。2013年期间，有代表提议将发展大数据上升为国家战略。,大数据背景下，我国电子政务创新模式的转变：,增值基础从公开向发布、开放转变,2,23,二.大数据的应用领域政治领域,数据是生成信息和知识的原生素材,如将我国城镇居民医疗数据与保险数据对比分析可以优化保险企业报销比例，发现虚
12、假报销行为；与制药厂数据比对分析可以调节药品的生产量与销售渠道。但医疗政策信息并不能发挥这样的作用。,数据是舆情监督的有利依据,2008年，政府公布4万亿元的经济刺激计划，但社会对资金的具体去向及其准确数额却无从得知；汶川地震灾后重建近2亿资金的用途也因没有准确的数据公开而被暗箱操作，违规使用当今电子政务中，信息公开实质是性质性信息的公开，而数据才是舆情监督的真正证据。,关注焦点从信息向数据转变,24,二.大数据的应用领域政治领域,从信息向数据的转变是政府从后台走向阳光的转变。,25,二.大数据的应用领域政治领域,增值基础从公开向发布、开放转变大数据时代，数据增值的关键在于数据的整合与分析，整
13、合的前提就是数据的开放。,数据公开是意识上的、被动的；数据发布是行动上的、主动的。,数据公开、发布是一条一条的；数据开放是一片一片的。,政府态度从被动转为主动； 数据从点对点转为面对面。,二.大数据的应用领域政治领域,26,行为方式从独立向协同转变,如济南电子政务数据交换平台实现了工商、国税、质检、公安、社保等20多个部门涉税数据的共享，国税局与地税局通过数据比对，发现了25000条数据差异，落实纳税企业5000多户，补缴税款2700多万元。,内部协同：各地区政府、各层级政府和各部门之间,外部协同：政府与社会之间自上而下、自下而上的互动,27,二.大数据的应用领域金融领域,华尔街“德温特资本市
14、场”公司首席执行官保罗霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50” 进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。这一招收效显著当年第一季度，霍廷的公司获得了7%的收益率。,你开心他就买，你焦虑他就抛！,28,二.大数据的应用领域金融领域,大数据助力推进高频金融交易和小额信贷,高频交易：实时性要求高、数据规模大。目前沪深两市每天4个小时交易时间会产生3亿条以上逐笔成交数据，通过对历史和实时数据的挖掘创新，以创造和改进数量化交
15、易模型，并将之应用于基于计算机模型的实时证券交易过程中。,小额信贷：阿里巴巴和建行在2007年推出一个专注于小企业的贷款计划e贷通，阿里巴巴利用拥有的用户信息及交易数据，通过大数据技术自动判定是否给予企业贷款；而建行坐拥巨额资金，希望贷款给无信用记录但发展势头良好的小企业。到2012年底，阿里在累计服务小微企业超过20万家，放贷300多亿元，坏账率仅为0.3%左右，低于商业银行水平。,29,二.大数据的应用领域金融领域,大数据协助金融企业精准营销,招商银行通过数据分析识别出招行信用卡高价值客户经常出现在星巴克、DQ、麦当劳等场所后，通过“多倍积分累计”“积分店面兑换”等活动吸引优质客户；通过构
16、建客户流失预警模型，对流失率等级前20%的客户发售高收益理财产品予以挽留，使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点；通过对客户交易记录进行分析，有效识别出潜在的小微企业客户，并利用远程银行和云转介平台实施交叉销售，取得了良好成效。,30,二.大数据的应用领域金融领域,虽然目前大数据的研究与应用在金融业还处于初级阶段，但是价值已经显现出来。未来，大数据可能成为最大的金融交易产品。未来金融大数据将会如基础设施一样，有金融数据提供方、金融监管者，金融大数据的交叉复用等，最终将成为金融业进行重要活动的基础设施。,31,31,5,升学率,4,作业的正确率,6,考试时 答题的顺序,11,师生互动的 时长与频率,回答问题的 时长、正确率,课堂 举手次数,回答 问题的次数,平均每道题花费的时间,12,7,8,9,10,学校教育中的 “大数据”,二.大数据的应用领域教育领域,
