《{企业发展战略}大数据发展概况及行业解决方案43》由会员分享，可在线阅读，更多相关《{企业发展战略}大数据发展概况及行业解决方案43（43页珍藏版）》请在金锄头文库上搜索。
1、大数据发展概况及行业解决方案分享,目录,1,理解大数据,2,大数据业界解决方案及典型应用概览,移动互联时代，数据爆发性增长,在60秒内，YouTube会上传48小时的视频；Google会收到2000000次搜索请求；Facebook的用户会分享684478条信息； 目前世界上90%以上的数据是最近3年才产生的； 2009年0.8Z，每年将增长50%，每两年便将翻一番，而预测全球的数据使用量到2020年会增长44倍，达到35.2ZB (1ZB = 10亿TB)；,数字宇宙,大数据的主要来源,较少：传统IT，企业业务系统，门户网站；15%； 较多：社交网络兴起，大量的UGC(用户自生成内容)内容、
2、音频、文本信息、视频、图片，非结构化数据出现了； 最多：物联网的数据量更大，加上移动互联网能更准确、更快地收集用户信息，比如环境、位置、生活信息等数据； 并处于急剧加速的趋势；,2,3,1,什么是大数据,Wiki百科：大数据（Big Data）是指那些超过传统技术处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本技术存取、处理。,IDC：大数据，通常是指解决问题的一种方法，即通过收集、整理生活中方方面面的数据，并对其进行分析挖掘，进而从中获得有价值信息，最终衍化出一种新的商业模式。,实体角度,广泛意义,大数据的主要特征：4V,多样化,高速化,精确化,海量化,Volume：大数
3、据体量巨大,每天25TB 日志数据,每天上传 168TB视频,每天9500万条,8,2011,2012,2015,全球数据存储量（ZB） 2.7 1.8,10 8 6 4 2 0,数量也许是与大数据最相关的特征； 从TB级别，跃升到PB、ZB级别； 前所未有的规模和加速趋势；,Variety：大数据的多样性,数据形式的多样 结构化数据，数据间有很强的因果关系； 半结构化数据，数据间因果关系较弱； 非结构化数据， 数据间无因果关系；,数据来源的多样性 不同的应用系统 各种设备 互联网 其它,Velocity：大数据处理速度要求越来越高,大数据与海量数据的一个重要区别，在于不仅数据尺寸大，而且对数
4、据处理的响应速度有着更高的要求； 处理速度快，1秒定律； 传统的以周，天，小时为单位的运算处理周期，下降到以分钟，秒为单位； 大数据高价值的重要体现-处理速度；,信用卡欺诈检测：通过分析每个客户的历史用卡行为， 使用欺诈检测模型实时来检测每一笔交易是否异常。,案例,Veracity：精确化，大数据低价值密度的高精确要求,数据不确定性。例如人的感情，天气形势，经济因素，环境信息等。 价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。,精确性是大数据最重要的特性，体现价值； 客观的数据体毫无意义； 精确是对大数据方法的要求和挑战，,第5V，大数据的价值,大数据的核心，第5V
5、：Value；,eBay精准在线营销,Ebay 有 1.8 亿个活跃用户，有 3.5 亿左右的商品被销售，每天会产生 2.5 亿次搜索，拥有的原始数据是 10 PB； 用户行为模式+用户基本信息，更精准的定位客户，感知客户购物需求，促成在线交易率； 新浪微博+淘宝；QQ；,美国海啸预警,日本大地震发生后仅9分钟，美国国家海洋和大气管理局（NOAA）就发布了详细的海啸预警，制作的海啸影响模型出现在YouTube等网站； NOAA的快速反应基于其全球范围内庞大的海洋传感器网络，获取全球范围的海洋信息，并对获得的实时数据进行计算机模拟。 NOAA的数据中心存储着超过20Pb的数据，是美国政府最大的数
6、据库之一。,数据进行专业化处理，并与已知的现实相融合，洞察运营，促进和创新；数字石油； 数据回报率=数据价值/数据成本； 全球大数据市场规模从今年的148.7亿美元增长到2018年的463.4亿美元。,我们在信息的海洋里淹死了，却在知识的海洋里渴死了。,大数据带来的主要挑战和机遇,数据存储； 处理能力； 实时响应； 业务价值；,传统的IT架构和技术已经不能适应大数据的处理需求；,大数据的发展历程,早在1980年，著名未来学家阿尔文托夫勒便在第三次浪潮一书中，将大数据赞颂为“第三次浪潮”； 全球知名咨询公司麦肯锡最早提出“大数据”时代到来； 从2009年开始，“大数据”才成为互联网信息技术行业的
7、流行词汇； 2012年出版的大数据时代，对大数据进行系统、明确的阐述； 2012年3月，美国政府投资2亿美元启动“大数据研究和发展计划”，美国政府认为大数据是“未来的新石油”，将“大数据研究”上升为国家意志。 我国尚未提出国家层面的大数据战略，在十二五的规划中把大数据作为物联网的相关关键技术提及；,EMC、惠普、IBM、微软在内的全球IT巨头纷纷布局大数据；今年最大的收购案都与大数据相关：Oracle对Sun、惠普对Autonomy; 状态：大数据相当于2010年左右的云计算：概念火热，摸索实践，落地较少；,大数据的市场前景,1,2011年-2016年中国大数据市场规模,2,2014年各行业大
8、数据市场规模,计世资讯预测，2014年政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。公共服务（环保、交通）；移动互联电子商务； 由于各个行业都存在大数据应用需求，潜在市场空间非常可观。,计世资讯认为，2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。 计世资讯预测，2012年中国大数据市场规模将达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。 十二五规划落地，4G；,大数据与传统经分（BI）,结构化数据 数据规模一般为T
9、B规模 集中式为了分析进行大量数据移动，数据向计算靠近 样例抽样，批处理为主,结构化/非结构化混合分析的能力 数据规模从数十TB到PB级别 分布式，计算向数据靠近 全量，支持流式分析 实时性要求高，1秒定律；,具有最深的血缘关系,大数据与云计算,当今最火的两个概念，互相融合； 云计算使大数据成为可能，大数据靠云计算技术实施和落地； 大数据在于对海量数据的挖掘和处理，传统技术无法支撑，它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术； 大数据比云计算更宜落地； 商业模式驱动 vs 应用需求驱动,大数据与云计算是天作之合,目录,1,理解大数据,2,大数据业界解决方案及典型应用概览
10、,大数据的企业实践方法 大数据的行业趋势热点 大数据的业界解决方案 大数据的典型应用案例,企业大数据应用的四重奏,企业大数据实践的演进路线,认识和学习,探索和规划,落地和实践,执行和推广,内 容,建立知识库； 意识和知识培养和积累； 从技术和业务价值等角度； 个人、单元进行知识收集，而非正式的组织 注重知识积累与市场观察；,相关技术的实验性应用； 企业大数据战略蓝图：数据角色，技术方向，投资回报； 企业大数据演进路线：基于业务需求，分步骤优先级处理数据，部门，业务域；,在有限范围内，落地大数据项目； 验证技术、战略和业务方向； 人力、技能、经验积累； 形成企业级标准规范；,扩大范围，大规模使用
11、大数据应用； 大数据常态化，重点聚焦业务运营和创新； 提升、优化数据分析能力；,企业大数据实践的演进路线,认识和学习,探索和规划,落地和实践,执行和推广,高管对大数据的支持,无高管,首席信息官,业务高管（相关）,首席执行官,负责业务线的高管,初期技术推动，随着范围扩大和效果显现，业务高管逐步重视，并最终发挥更关键的业务核心作用，实现业务主导的价值最大化。,企业大数据实践的演进路线,认识和学习,探索和规划,落地和实践,执行和推广,所需的数据时效性,一星期内,24小时内,同一个工作日内,实时传送,随着大数据应用的深入，缩短数据时延，提高数据时效性。 数据不再仅仅是辅助支持决策的东西；而是在制订该决
12、策时的一个业务关键要素。,企业大数据实践的演进路线,认识和学习,探索和规划,落地和实践,执行和推广,主要障碍,制定有吸引力的业务投资回报分析报告,了解如何使用大数据,管理与资源支持,技术能力,资源支持到能力提升； 制订有吸引力的业务投资回报分析报告的能力，贯穿始终；,数据质量,分析能力,企业大数据分析的能力构成,传统经分 + 数据拥有 + 处理分析能力 + 业务融合,目录,1,理解大数据,2,大数据业界解决方案及典型应用概览,大数据的企业实践方法 大数据的行业趋势热点 大数据的业界解决方案 大数据的典型应用案例,大数据的关键技术,大数据的重点行业及应用,2,1,互联网行业大数据主要应用在社交和
13、网购方面,结合位置数据、消费数据进行实时营销信息推送是电信行业大数据应用主要场景,3,金融行业大数据应用场景主要集中在投资方面,4,制造行业具有多环节、多地域特色，各个环节的优化是制造行业最关注的大数据应用场景,永无止境,大数据的价值热点趋势,根据IDC和麦肯锡的大数据研究结果的总结，大数据主要能在以下4个方面挖掘出巨大的商业价值： 对整个顾客群体细分，然后对每个群体量体裁衣般的采取独特的行动； 运用大数据模拟实境，发掘新的需求和提高投入的回报率； 提高大数据成果在各相关部门的分享程度，提高整个管理链条和产业链条的投入回报率； 进行商业模式、产品和服务的创新。,综合来看，未来几年大数据在商业智
14、能、公共服务和市场营销三个领域的应用非常值得看好，大多数大数据案例和预算将发生在这三个领域。,从单纯关注技术“T”转为更加关注信息“I”，让数据产生价值,目录,1,理解大数据,2,大数据业界解决方案及典型应用概览,大数据的企业实践方法 大数据的行业趋势热点 大数据的业界解决方案 大数据的典型应用案例,四类大数据处理平台； 数据分析平台：提供高效存储和快速列存储式数据库，能为客户分析处理PB级的数据，例如HP Vertica。 数据操作平台:企业级的NOSQL数据库,Couchbase和MarkLogic等。 IaaS：分布式云计算平台，主要产品有Amazon, Infochimps等； 结构化
15、数据库：结构化数据库产品，Oracle, Microsoft SQL Server, MySQL, PostgreSQL, memsql, Sybase, IBM DB2等；,围绕大数据的生态产业链,数据应用层,数据处理层,基础支撑层,基础支撑技术，包括Hadoop, MapReduce, Hbase, Cassandra, Mahout等分布式大数据支撑平台；,分析和可视化应用； 商业智能； DaaS；,国内、国外的分布；,广告/媒体应用； 日志数据应用； 垂直应用；,大数据的方案供应商角色,阿里大数据战略架构,马云对阿里集团未来“平台、金融、数据”的三大构想战略； 阿里集团目前拥有的大数据
16、达到30P，其中1P等于100万GB； 阿里是大数据的拥有者，数据服务的提供者、收益者；自用 + 他用； 现在的数据开放应该是以TOP平台为主面向电商平台客户开放，比如数据魔方的开放。 打造开放的生态系统：近期谨慎开放；,互联网厂商是大数据战略实践的领跑者,引跑科技 EngineOne大数据处理平台,云数据库,云搜索引擎,云内容管理,结构化 数据,海量数据搜索,非结构化数据,. . .,云操作系统EngineOne： 一站式、弹性的、高性价比的大数据处理平台,引跑科技 EngineOne大数据处理平台,云计算的核心：云数据库、云内容管理、云搜索引擎,目录,1,理解大数据,2,大数据业界解决方案及典型应用概览,大数据的企业实践方法 大数据的行业趋势热点 大数据的业界解决方案 大数据的典型应用案例,案例：阿里 数据魔方,阿里 数据魔方,数据魔方 淘宝官方数据产品 分享海量行业数据 致力帮助商家实现数据化运营 用数据做行业定位、点亮品牌路。 订购条件：集市五钻以上或者天猫用户 适用人群：
