《Pivotal_GemFire 解决方案和案例》由会员分享，可在线阅读，更多相关《Pivotal_GemFire 解决方案和案例（24页珍藏版）》请在金锄头文库上搜索。
1、A NEW PLATFORM FOR A NEW ERA Additional Line 18 Point Verdana 2 Copyright 2013 Pivotal. All rights reserved. 2 Copyright 2013 Pivotal. All rights reserved. Pivotal 内存计算平台的应用和解决方案内存计算平台的应用和解决方案 -GemFire/SQLFire 冯天创 13560200888 3 Copyright 2013 Pivotal. All rights reserved. Load Balancer Web and App S
2、ervers Web层层 中间件层中间件层 数据库层数据库层 OS App OS App GemFire是什么？ OS App OS App OS App OS App OS App OS App 内存计算层内存计算层 Data Grid in Memory 4 Copyright 2013 Pivotal. All rights reserved. VMware GemFire是什么? 把数据移动中间层 更靠近需要它的地方 伸缩性 易于适应更多的应用用户 高性能 所以计算操作都在内存，极大提高性能 数据可靠性 多个数据备份 数据自动同步 数据可以写入磁盘(数据库)直写或是后写 跨地域分布 通
3、过WAN连接 5 Copyright 2013 Pivotal. All rights reserved. Pivotal 内存计算解决方案 GemFire Enterprise 存储对象（Java、C+、C#、.NET）或非结构化数据 允许来自多种语言的并发客户端同时访问 GemFire SQLFire 使用 SQL 界面存储关系数据 支持 JDBC、ODBC、Java 和 .NET 界面 关键值随 OQL 查询存储 使用现有的关系工具 订单 订单行项 目 数量 折扣 产品 SKU 单价 2 级缓存用于Hibernate HTTP 会话状态管理 6 Copyright 2013 Pivota
4、l. All rights reserved. 采用 GemFire 的场景和切入点 解决应用性能问题解决应用性能问题 OLAP数据处理不够快数据处理不够快 报表生成报表生成 ETL CEP OLTP业务处理不够快业务处理不够快 网上银行网上银行 录入系统录入系统 CRM 网上业务网上业务 综合支付平台综合支付平台 数据总线数据总线 花旗花旗银行银行 双活数据中心双活数据中心(全局数据分布全局数据分布) 上海教委上海教委 应用场景应用场景 PaaS平台平台 快应用快应用 快数据快数据 数据总线数据总线 大数据大数据Installbase需要快数据需要快数据 解决方案切入点解决方案切入点 7 C
5、opyright 2013 Pivotal. All rights reserved. 市场表现 在面向金融、政府、电信及其他行业在全球企业部署方面具有 8 年经验证的丰富经验 服务于全球 1000 多家客户 在华尔街部署有 53,000 多个 CPU 在极限事务处理 (XTP) 领域遥遥领先 于 1982 年开创分布式数据管理模式 在大中国区金融行业、政府公共事业、交通运输、电信行业有众多成功应用案例。 8 Copyright 2013 Pivotal. All rights reserved. 应用之一-ETL加速/报表加速 ETL的数据清洗、处理、加载等原 来基于Oracle/DB2的数
6、据库存储过程， 速度比较慢，有时间窗口，随着数 据增加，处理时间越来越接近或是 超出时间窗口，通过 GemFire/SQLFire把数据加载到内存 中处理，速度提高50-100倍。 报表、统计等数据处理加速， BOCOM做过测试 某城商银行真正做ETL加速 9 Copyright 2013 Pivotal. All rights reserved. 应用之二-网上银行/电商应用 1、网上银行是典型的XTP计算，并发访问用户量大，数据需要缓存 2、GemFire可以用于网上银行应用服务器的session数据缓存 3、GemFire也可以用于网上银行业务数据的缓存 GemFire OS Java
7、APP JVM A/S OS Java APP JVM A/S OS Java APP JVM A/S OS Java APP JVM A/S OS Java APP JVM A/S OS Java APP JVM A/S 10 Copyright 2013 Pivotal. All rights reserved. 应用之三-数据实时处理(支付清算) 实际使用案例：大幅提高处理能力，缩短处理时间 在相同的应用中，SQLFire实现了： 取代原来基于Oracle数据库的实现，原来的处理太慢，严重影响支付处理速度 Payment包括个人业务和公司业务等，有银行内内支付，也有跨行支持。 Tomca
8、t Spring应用访问SQLFire数据缓存，应用处理支付请求 在SQLFire中处理数据，实现支付的事务，匹配支付同时更新支付信息。 并且实现支付的全球同步，实现了支付的高可用性，包括各种故障恢复，如网 络故障、电力故障、存储故障等 客户要求的支付性能是每秒1200笔/秒交易，每小时400万笔，实际性能测试达到 5000笔/秒，1800万笔每小时，原来基于Oracle数据库无法达到1000笔/秒的交易 11 Copyright 2013 Pivotal. All rights reserved. 应用之四-CRM客户数据整合 随着银行向以客户为中心的战略转型和流程银行改造的深入，各业务部门
9、都迫切 要求做到对客户的全方位了解，以便于银行能够有针对性的进行客户服务与营销服 务的开展。实现这一目标，即时准确的客户数据是必不可少的，但是在全行IT系统 的架构中各个业务系统都保留其各自使用的客户信息，存在客户信息的分散、重复、 不一致或冲突的情况，无法满足各个业务部门统一客户视图的要求，需要对客户数 据进行整合。 客户数据整合（CDI），通过建立一个单一的系统进行所有客户数据的集中管理， 从而保证客户数据在整个IT应用体系中的唯一性和准确性。从而实现数据的即时性、 完整性、一致性和真实性，为营业机构和管理部门提供客户的完整统一的视图，提 升银行的整体服务和管理水平。 通过SQLFire实
10、现数据的即时性，而且通过SQLFire可以对每个数据操作进行完整性、 一致性检查，确保数据质量。 12 Copyright 2013 Pivotal. All rights reserved. 应用之五-物联网监管(物流监控) 目前的物流公司均只提供快递单的文字查询，而且只有中转环节的信息查询，没有地图模式目前的物流公司均只提供快递单的文字查询，而且只有中转环节的信息查询，没有地图模式 的查询。而本解决方案支持地图模式的查询，而且支持快递物品的实时位置查询。物流公司采的查询。而本解决方案支持地图模式的查询，而且支持快递物品的实时位置查询。物流公司采 用本解决方案，可以提高客户服务的满意度。在美
11、国物流公司已经提供了类似的应用功能。用本解决方案，可以提高客户服务的满意度。在美国物流公司已经提供了类似的应用功能。 为什么之前的国内物流公司不提供快递物品的实时位置查询并支持地图模式，主要是因为物为什么之前的国内物流公司不提供快递物品的实时位置查询并支持地图模式，主要是因为物 流车辆流车辆GPS信息采集设备和成本问题，第二是服务器端的性能问题。而在本解决方案中，彻底信息采集设备和成本问题，第二是服务器端的性能问题。而在本解决方案中，彻底 解决了这两个问题解决了这两个问题。 低成本的解决方案，在服务器端全部是X86服务器，。在货车端 只需要安卓手机、苹果手机或是其他支持Java和GPS的手机即
12、可。 支持海量被监控物品如车辆，可以同时监控数万辆车的信息。在 GemFire内存中可以保存数十T的车辆位置数据或是其他数据。 实时刷新数据，可以实时采集数据，并且实时展示，延迟在1秒 以内。因为所有信息和处理均在内存的缓存中实现，速度非常快。 支持车辆在地图上的实时展示 支持车辆轨迹和时间偏离的实时中央告警，预先给每个车辆设置 路径轨迹和时间，如果车辆实际行驶轨迹和时间和预订不同，则 在中心端实时告警。 13 Copyright 2013 Pivotal. All rights reserved. 应用之六-公安人像对比系统采用GemFire 1、通过专用的采集设备或者是二代身份证中的人像信
13、息存储在数据库中； 2、人像信息抽取特征值，特征值一方面保持在Oracle DB中，另外，全部加载到GemFire数据库中。 3、由于人像比对是全库查询，每一个查询都需要全库查询一遍，IO是个瓶径，即使是小机或着Oracle ExaDATA 都不是从根本上解决这个问题的方法，而且除了人像比对之外，未来还会有指纹比对，数据量是人像的十 倍，也是全库查询； 4、Gemfire部署在应用服务器在之后，数据库之前，在首次应用时把数据从数据库加载到Gemfire中，解决IO问 题，既可以横向扩展，实现计算能力的弹性，又保证了高可用性；目前只部署于主数据中心，未来将考虑 异地的应用双活； 5、人像比对的逻
14、辑之前是C+逻辑，换用为Java逻辑，人像对比逻辑在GemFire集群中分布式计算，在每个 GemFire集群中分布计算，然后汇总。 6、GemFire内存除了存放人像特征值，还存放一些基础信息，比如身份证基础信息。 7、在GemFire中运行多种对比算法，根据精度要求，可以粗对比，返回结果集比较大，也可以精确对比，返回 结果集比较小，但是消耗的时间比较长，但是目前全表比对根据精确度要求不同，在毫秒到数分钟之间就 可以返回结果。 14 Copyright 2013 Pivotal. All rights reserved. 应用之七-交通物联网交通信息实时展示采用GemFire 交通信息缓存在
15、GemFire中， 实时更新。 支持海量并非访问，测试 超过1000并非访问 和地图数据一起缓存，支 持快速查询和地图拖动 15 Copyright 2013 Pivotal. All rights reserved. 应用之八-交警卡口采用SQLFire和GP，实现车辆监控 数据采集 数据从各个区域卡口系统采集到中心平台后通过接口直接写入SQLFire服务器。目前SQLFire支持多种数据写入方式，支 持JDBC的数据写入，支持Java,Web Service,Rest API等方式写入。 数据写入SQLFire后，可以自动同步到GreenPlum的数据节点，可以即时写入，也可以批量写入。
16、数据缓存 数据从各个区域卡口系统采集到中心平台后通过接口 直接写入SQLFire服务器。就可以对这部分数据进行缓 存。 第一次使用时，可以批量从GreenPlum加载一些数据. 长期保存最常用的数据，如号牌信息数据，可以长期 保持，这样查询相应的号牌信息速度快。不常用数据 自动换出 数据快速处理、CEP 数据在SQLFire缓存中，因为SQLFire是个内存计算平 台，可以对数据进行各种操作。比如最常见的数据比 对，快速数据查询等。 在SQLFire中，可以对数据进行CEP(复杂事件处理)， 也即复杂的事件关联、聚合等处理。比如可以套牌车 事件关联，每有一个车牌照信息进入GemFire，就可 以触发一个套牌关联模式，查看最近一次此车牌在系 统出现的时间和地
