《大数据智能分析解决方案介绍-ibm课件》由会员分享，可在线阅读，更多相关《大数据智能分析解决方案介绍-ibm课件（64页珍藏版）》请在金锄头文库上搜索。
1、,Analytics and Big Data on Power方案及案例分享,目录,大数据与分析概述 高性能运算Symphony解决方案 DB2 BLU助力高性能数据集市 大数据案例分析,大数据与分析概述,“上个月在瑞士达沃斯举行的世界经济论坛上,大数据是一个热点话题。在论坛的一份报告大数据，大影响中声明： 数据已成为一类新的经济资产，就像货币或黄金一样.,“公司被数据淹没了从客户的习惯到供应链的效率。但是许多经理却不能理解这些数据的意义.”,“越来越多的企业使用大众媒体去分析公众对产品的反馈，例如Facebook或Twitter, 也有使用网站资源试着“了解客户，是什么让他们选择他们想要的
2、东西” 负责IBM预测分析项目的迪阿德瓦说。“,“大数据已抵达Seton医疗保健家庭,幸运的是, 通过使用这个分析工具,每年超过200万复杂病例的患者得到了帮助”,“数据是新型石油” 未开采的石油，没有什么价值。 加工及提炼后，将助力世界。,“现在，沃森 正投入到工作中，消化了数百万页的研究, 结合最佳的临床实践和监测结果，以协助医生治疗癌症患者.”,奥斯卡情感测量 一种工具，是由洛杉矶时报、IBM和南加州大学安创新实验室共同开发的 分析意见,“主要针对Twitter上共享的百万条奥斯卡奖项比赛的公共信息做出的分析意见.”,“数据是新型石油.” Clive Humby,大数据来自哪里？,每天有
3、超过3亿 活跃用户,每天有超 过25 TB 日志数据,每天有 超过1亿 条消息,大数据的特点,综合分析覆盖面越来越宽的种类,应对日益增长的速度,有效地处理日益增长的数量,建立大数据来源的真实性,三分之一商界领袖感到无法信任那些帮助他们做决策的信息,50x,35 ZB,2020,2010,300亿 RFID传感器和计数器,世界上80%的数据是非结构化的,大数据会影响到您业务的方方面面,了解关于您客户的一切 从渠道交互到社交媒体，通过分析所有数据来源帮助您了解您的每位客户 零延迟操作 分析所有可用的操作数据并且实时做出反应，从而优化流程。通过成本效益技术降低IT成本。 在速度和规模上实现新产品创新
4、 捕获所有来源的反馈，分析庞大的市场环境，研究大量的数据，从而推动创新。 即时的欺诈和风险意识 通过分析所有可用数据来打造更好的欺诈/风险模型，用流数据交易分析来实时监测欺诈 利用仪表化资产 监控资产通过实时数据反馈来预测和预防维修问题，并且开发新产品和新服务。,大数据主要与大型数据集相关 在大数据的新世界中，我们必须更换所有陈旧系统 大数据就是 Hadoop 较为陈旧的事务数据已经不再重要 数据仓库已是昨日黄花 大数据适合熟知互联网的企业。传统业务与大数据毫无关系 我们不具备相应的需求、预算或者技能，因此我们不必为此担心,人们对于大数据的观点是怎样的,研究显示了实施大数据的4个阶段,大数据采
5、用,当基于当前的大数据活动级别而划分为 4 个小组时，受调查者在组织行为上表现出显著的一致性,受调查者总数 n = 1061 由于舍入原因，各个比例总和不等于 100%,6%,部署两个或更多大数据计划，继续应用高级分析,占总受调查者的百分比,执行,22%,试点大数据计划，以验证价值和需求,占总受调查者的百分比,试点,47%,基于业务需求和挑战开发战略和路线图,占总受调查者的百分比,探索,24%,专注于知识收集和市场观察,占总受调查者的百分比,学习,智慧分析,大数据平台,加速器,信息整合与治理,内容管理,数据仓库,流计算,Hadoop 系统,信息整合与治理,大数据平台,系统、存储和云,业务分析,
6、内容 分析,决策管理,风险 分析,绩效管理,商业智能与预测分析,IBM提供了全面的、整合化的大数据和分析方法,Hadoop 系统 管理多样化海量数据 企业级应用增强了开源Hadoop能力 流计算 用于分析流动的数据 能够处理分析多种数据 通过高级分析运算符来支持结构化，非结构化，视频，音频等 数据仓库 工作负载均衡的MPP架构，支持高性能的OLAP及混合型的操作和分析负载 数据可视化 企业级搜索引擎 图形展现海量分析结果,IBM大数据平台,BAO方案整体技术架构,从哪里来？,是谁？,到哪里去？,大数据解决方案出现之前传统的计算模式,电商、微博、社交网站、平安城市等产生大量社交数据、日志、图片、
7、视音频数据.,海量数据汇总、统计耗时太长，满足不了业务部门的时效性需求；,传统计算模式遇到的困难,某些业务部门需要实时数据分析，数据一边产生，一边进行分析，以应对市场压力,数据产生速度快，数据量巨大，种类繁多，非结构化数据占了80%以上,Hadoop 并行计算模式,HDFSHadoop Distributed File System。 HDFS为了做到可靠性（reliability）创建了多份数据块（data blocks）的复制（replicas），并将它们放置在服务器群的计算节点中（compute nodes），MapReduce就可以在它们所在的节点上处理这些数据了。,MapReduce
8、,大数据技术与传统数据处理技术的关系,超越和补充传统数据处理技术,实时 数据处理,Internet 级别 海量数据 存储与分析,传统 数据仓库,In-Motion Analytics,Data Analytics, Data Operations & Model Building,Results,Internet Scale,Database & Warehouse,At-Rest Data Analytics,Results,Ultra Low Latency Results,InfoSphere Big Insights,传统/关系型 数据源,传统/非关系型数据源,传统/关系型 数据源,传
9、统/非关系型数据源,高性能运算Symphony解决方案,大数据常见应用场景举例,影像管理（各类单据的扫描件、地图影像），非结构化/半结构化数据存储和分析（XML文件、文本日志文件） 典型应用： 测绘行业系统、地图服务提供商产品、公安部、银行/税务票据管理、电信详单日志分析、各类终端采集数据分析 常见痛点：存储成本/性能，关系型数据库性能/功能问题。 业务/产品/服务创新 典型应用： CDR分析，舆情分析，LBS，广告精准投放，移动终端服务/智慧XX （电表数据分析、HIS，电子支付），精益生产、反洗钱 常见痛点：实时性、数据来源多样、数据量大 计算密集型应用 高性能计算技术非常适用 典型应用：
10、保险精算、银行风险分析、信用卡欺诈分析 常见痛点： 实时性、多种数据源要形成统一视图,IBM大数据平台优势1-高性能,国内运营商进行的基于Hbase的数据查询测试，取得315倍的性能优势 国内运营商进行的基于Hive的数据分析测试，取得911倍的性能优势,数据加载场景每核加载速度为x86核的11.18倍,数据分析场景每核分析速度为x86核的9.63倍,为什么Symphony更快？,Job Tracker/Task Tracker 用C+/C编写 资源管理和任务管理解耦. 支持300 并发job trackers; 1000 并发 jobs/job tracker SOA架构，共享服务(reus
11、e JVM across many tasks) 使用TCP原语和二进制编码，取代 http and text/XML Push protocol avoids task tracker pulling tasks and the delay caused by pulling interval 专利的 asynchronous persistency protocol 以保证可靠性和性能,Note: Hadoop Results were published by Cloudera at Hadoop World event Dec, 2011. Hadoop jar example.jar
12、 sleep mt 1 rt 1 m 5000 r 1 Tested on 10 hosts,21,IBM大数据平台优势2-高可靠,从硬件、文件系统和分布式计算框架所有层面采用高可靠设计架构，杜绝基于开源产品的不可靠问题 Symphony计算框架：经过接近20年全球成功企业应用考验的高可靠性框架，不仅本身可靠性高，不存在单点故障，而且通过对下层硬件资源的先进管理功能，实现物理资源与逻辑资源的解耦，实现资源的动态加减和黑名单等机制，彻底解决硬件故障的透明failover问题 GPFS-FPO文件系统：经过20多年全球无数应用验证的分布式文件系统，成熟、可靠，GPFS-FPO采用去中心化设计（元数
13、据分散存储），天生不存在NameNode的单点故障和可靠性瓶颈问题 PowerLinux在RAS特性方面全面领先X86平台,IBM大数据平台优势3-好维护,IBM大数据平台优势4-高度兼容性,Symphony和GPFS具有最广泛的兼容性，只要是基于Hadoop架构标准接口开发的软件都可以100%兼容，如Hadoop Hbase, Pig, Hive, Java MR, Oozie等各种知名的Hadoop开源方案 不仅兼容开源方案，还支持各种商业分析软件，如SAS、SPSS、Murex, Algorithmics, Sugard, Calypso, TillingHast 等 兼容各种Java、
14、R、C/C+等各种开发语言，兼容各种文件系统及数据库，如HDFS, GPFS-FPO,RDMBS, MPP等，兼容Linux、Windows、AIX等各种OS平台，兼容X86、Power等各种硬件平台，支持虚拟机和物理机混合组网使用,IBM大数据平台优势5-技术支持,核心产品由IBM自主开发，拥有完全的技术研发与支持力量 全球26个研发和销售机构，300+的研发团队分布在北京和西安两地 强大的QA和服务支持团队，强大的本地售后支持力量 专业的定制化开发团队 业界公认的大型网格/工作负载管理的领导者,全方位的技术支持服务,评估,规划与咨询服务,建设,设计与实施服务,管理,管理与维护支持服务,IB
15、M大数据平台优势6-高效可靠文件系统,GPFS-FPO替换HDFS，更可靠、更高效,对于需要随机I/O的 SQL查询,JAQL查询等 对于需要线性排序的sort操作来说 BigInsights 提供2至3倍与开源Hadoop技术的性能 文件索引等查找效率 17倍于开源Hadoop技术,得益于Client Cache能力,Hadoop Indexing (HDFS),Database Upload (ext3),Web Service Layer,Copy,Fetch,HDFS: Extra copy overhead and network fetch, separate clusters f
16、or analytics and database,Hadoop Indexing + Database Upload (GPFS),Web Service Layer,Cache,GPFS: Single cluster for analytics and database, no copying required, caching for web layer,Workload Isolation,Proven data integrity Replicated metadata services Yahoo keeps 3 copies of 3 versions of HDFS because of unknown data integrity 1 Quantcast deletes files once HDFS is 50% full 2,1 Care and Feeding of Hadoop Clusters,
