大数据简介,应用和技术简述,1,Part,什么是大数据,Part 1,什么是大数据,何为大？数据度量,1Byte,=,8,Bit,1KB,=,1,024,Bytes,1MB,=,1,024,KB,=,1,048,576,Bytes,1GB,=,1,024,MB,=,1,048,576,KB,=,1,073,741,824,Bytes,1TB,=,1,024,GB,=,1,048,576,MB,=,1,099,511,627,776,Bytes,1PB,=,1,024,TB,=,1,048,576,GB,=1,125,899,906,842,624,Bytes,1EB,=,1,024,PB,=,1,048,576,TB,=,1,152,921,504,606,846,976,Bytes,1ZB,=,1,024,EB,=,1,180,591,620,717,411,303,424,Bytes,1YB,=,1,024,ZB,=,1,208,925,819,614,629,174,706,176,Bytes,数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务,Part 1,什么是大数据,大数据定义：,所涉及的资料量规模巨大到无法通过目前主流软件工具，在,合理时间,内达到,撷取、管理、处理、,并,整理,成为帮助企业经营决策更积极目的的,资讯,。
主要的特点:,Volume 数据,体量,Velocity 数据,速度,Variety 数据,多样,Veracity 数据,真实,4V,特征,Part 1,什么是大数据,大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产大数据就是“未来的新石油”2,Part,大数据的特征,Part 2,大数据的特征,Big Data,大数据,Volume,非结构化数据的超大规模和增长,总数据量的,8090%,比结构化数据增长快,10,倍到,50,倍,是传统数据仓库的,10,倍到,50,倍,数据量体,Value,大量的不相关信息,对未来趋势与模式的可预测分析,深度复杂分析（机器学习、人工智能,Vs,传统商务智能）,数据价值,Variety,大数据的异构和多样性,很多不同形式（文本、图像、视频、机器数据）,无模式或者模式不明显,不连贯的语法或句义,数据多样,Velocity,实时分析而非批量式分析,数据输入、处理与丢弃,立竿见影而非事后见效,数据速度,Part 2,大数据的,4V,特征,Volume,1B,ity,1KB,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,1PB,相当于,50%,的全美学术研究图书馆藏书信息内容,5EB,相当于至今全世界人类所讲过的话语,1ZB,如同全世界海滩上的沙子数量总和,1YB,相当于,7000,位人类体内的微细胞总和,一般情况下，大数据是以,PB,、,EB,、,ZB,为单位进行计量的,Part 2,大数据的,4V,特征,Velocity,大数据的处理速度快,实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，,BI,技术的关键差别之一；,1s,是临界点，对于大数据应用而言,必须要在,1,秒钟内形成答案，否则处理结果就是过时和无效的；,8,22,54,132,215,327,现在及未来几年内美国的移动网络数据流量增长（,PB/,月）,源自英国,Coda,研究咨询公司,大数据的增长速度快,Part 2,大数据的,4V,特征,Variety,行业,/,企业内,数据,互联网数据,物联网,数据,大数据,数据来源多,企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。
数据类型多,保存在关系数据库中的结构化数据只占少数，,7080%,的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据关联性强,数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性Part 2,大数据的,4V,特征,Value,价值密度低,(Value),价值密度的高低与数据总量的大小成反比以视频为例，一部,1,小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题,挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息,3,Part,大数据技术简介及现况,Part 3,大数据技术简介,数据采集,数据预处理,数据存储,数据分析挖掘,数据可视化,实时处理 Spark Storm,机器语音,R语言,关联分析,用户画像构建 推理预测,知识图谱,2D法,时间可视化,多维法 层次法,分布式架构 Hadoop MapReduce,数据库体系 NoSQL,NewSQL,MPP混合架构,Lambda架构,数据清理 遗漏值处理 噪音数据,数据集成 实体识别 数据冗余,数据归约 维度归约 数值归约,硬件采集 传感技术 RFID,软件采集,系统日志抓取,企业特定API、网络众包,Part 3,大数据技术现况,将在三个环节分层突破,采集端,多源数据融合,社交数据、IOT数据 等外部数据与企业内 部数据融合拉通,运营化发展,通过长期采集积累 海量数据资源的企 业实现数据联合运 营,分析端,处理实时化,针对网络视频化潮流，更加强化对实时流数 据的处理能力,高效化,数据量的不断增加，云端处理API结合后 台支撑将使数据处理 更加高效,应用端,智能化,以机器学习作为核心，将实现对用户需求的自 我理解和智能迭代,云端化,云计算和移动互联网 将促进大数据应用从,2B市场迅速推广到,2C市场,Part 3,大数据及其关联技术,物联网,云计算,大数据,物联网是大数据的重要来源,大数据技术为物联网数据分析提供支撑,云计算为物联网提供海量数据存储能力,物联网为云计算技术提供了广阔的应用空间,云计算为大数据提供了技术基础，大数据为云计算提供用武之地,云计算、大数据和物联网代表了,IT,领域最新的技术发展趋势，三者既有区别又有联系,4,Part,大数据应用,Part 4,大数据主要用途,21%,16%,24%,21%,18%,精准经营,降低成本,智能服务,风险管理,创新经营,24%,的大数据企业认为在为用户实施,智能服务,方面有较大帮助,数据价值,体现在三个方面,增加收,入,减少支,出,降低风,险,Part 4,大数据主要应用行业,能源行业,随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析,用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。
物流行业,利用大数据优化物流网络，提高物流效率，降低物流成,本,城市管理,可以利用大数据实现智能交通、环保监测、城市规划和智能安防,生物医学,大数据可以帮助我们实现流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读DNA,了解更多的生命奥秘,体育娱乐,大数据可以帮助我们训练球队，决定投拍哪种题财的影视作品，以及预测比赛结果,安全领域,政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御,网络攻击，警察可以借助大数据来预防犯罪个人生活,大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务大数据主要应用行业,Part 4,大数据主要应用行业,制造业,利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程,金融行业,大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用汽车行业,利用大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活互联网行业,借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。
餐饮行业,利用大数据实现餐饮O2O模式，彻底改变传统餐饮经营方式,电信行业,利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施,大数据主要应用行业,Part 4,大数据应用领域不断丰富,大数据应用领域不断丰富，,从,互联网、电信、金融,开始向,医疗、交通、政府,领域深入,2018年中国大数据市场行业结构预测,基础电信,金融,交通,政府,医疗,其他,媒体社交娱乐,38.1%,17.1%,14.1%,13.6%,8.1%,7.6%,1.4%,大数据,应用领域,零售,安防,工业,媒体社交 娱乐,交通,电信,金融,政府,Part 4,大数据产业发展,数据资源,创新活力（内部因素）,市场需求（外部因素）,2020年,大数据基础 软硬件,互联网 大数据,行业大数据,大数据平台,大数据分析 产品,与互联网和传统行业融合创新将成为大数据产业爆发点,5,Part,大数据现状及未来发展,Part 5,大数据现状及未来发展,习近平,政府管理不仅要讲究策略，还要讲究手段，比如大数据技术的应用,，,2014,年,3,月,8,日,“大数据”首次写入政府工作报告,奥巴马,“将投入巨资拉动与大数据相关的产业”“数据为“未来的石油“，是美国综合国力的一部分，是与陆权、海权、空权同等重要的“国家核心资产”。
李克强：,加快推进全国中小企业征信系统建设,通过大数据等技术优化中小企业征信资质李克强,经济数据和目标的进一步调整，中小企业将面临更大的压力，互联网金融除了解决便利性问题外，更重要的是如何围绕特有的大数据资源展开对实体经济的服务,汪洋,数据为王，财政工作离不开大数据,中央政府对大数据的重视程度,重大机遇和优势,数据资源大量积累为 大数据发展提供了良 好条件,信息技术的广泛深入应用，引发了数据量的爆发式增长，我国在信息产业不断发展、信息化不断推进的过程中，积 累了大量的数据资源，为大数据发展提供了源泉经济社会持续增长 的应用需求为大数 据发展提供了市场 空间,大数据技术产品创新正逐渐从技术驱动转向应用驱动，旺 盛的应用需求和巨大的市场空间是我国大数据产业创新的 强大内生动力政府重视和服务体 系建设为大数据发 展创造了优良环境,十八届三中、四中、五中全会指出要利用大数据推动政府治理能力的 提升，加快公共数据开放共享，推动大数据在科学决策、政府管理和 公共服务等领域的应用，助推简政放权和万众创新良好的政策环境 为大数据发展创造了难得的政策机遇2015年，我国规模以上电子信息产业总规模超过15.5万亿元，比,“十一五”期末翻了一番。
大型数据中心向绿色化、集约化发展，云计算服务逐渐成熟，国内龙头企业面向大数据新需求，积极推出 新产品和新服务，一批新兴的专业化大数据企业崛起产业体系雏形初 具为大数据发展 提供了产业基础,成熟公司 新创公司,10亿元以上,1亿元-10亿元,5000万元-1亿元,1000万元-5000万元,1000万元以下,珠三角地区和京津 冀地区是大数据产 业最具创新活力的 区域京津冀地区和珠三角地 区呈现大中小企业梯次 发展的健康结构，龙头 企业数量较多，带动能 力相对较高京津冀和珠三角成为最具创新活力与带动能力的区域,Part 5,大数据现状及未来发展,发展趋势,随着大数据技术的快速发展，企业和政府部门开始已经开始运用大数据来进行业务的分析、预测和决策01,机器学习成为智能分析,核心技术,近年来，机器学习已经开始渗透到生活各个领域：客服机器人、垃圾邮件过滤、人脸识别、语音识别、个性化推荐随着大数据分析能力的不断提高，2018年机器学习将继续在智能分析方面发挥重要作用02,多种科技和学科交叉融合,大数据技术的发展不仅能够将网络计算中心、移动网络技术和物联网、云计算等新型尖端网络技术充分地融合成一体，促进不同科学技术的交叉融合，同时还能够促进多学科的交叉融合，充分发挥出交叉学科和边缘学科在新时代的新功能与效用,。
03,政府大数据将迅速发展,近日，国家相关部门就实施国家大数据战略进行第二次集体学习。