《新模式：金融行业运营安全实时大数据平台》由会员分享，可在线阅读，更多相关《新模式：金融行业运营安全实时大数据平台（5页珍藏版）》请在金锄头文库上搜索。
1、新模式：金融行业运营安全实时大数据平 台作者：暂无来源：上海信息化2016年第9期文/周显明凌峻峰随着近年来大数据应用步入2 0时代，金融业、制造业等领域都开始主动拥抱大数据，寻 找大数据应用的场景及落地的可能性。在大数据时代，对数据挖掘、数据处理、数据分析的实 时性需求越来越迫切，然而，想要安全、合理地利用好大数据，依然需要“摸着石头过河”。近年来，数字革命在全球范围内风起云涌，云计算、移动互联、大数据等新兴技术不仅重 构了人们的生活方式，也对现代金融业造成了深远的影响。寻求技术手段，借助于信息及通信 技术来实现金融企业拓展新业务和新渠道，维系新、老客户对企业的满意度、忠诚度，已经成 为现代
2、金融业必须面对的重要课题。金融数据：需求渐显从存折到银行卡中国银行业已经有了翻天覆地的变化，其中信息技术发展在其中发挥了不 可替代的作用。中国银行业的信息化建设一直处于业内领先水平，不仅具有国际领先的金融信 息技术平台，还建成了由自助银行、电话银行、手机银行和网上银行构成的电子银行立体服务 体系。银行信息化在20世纪80年代后期由金融电子化开始起步，逐步向信息化发展迈进。经过 几十年的发展，银行由单一电子类替代人工工作逐步向深度信息管理、客户信息利用等方面进 军。面对互联网经济的迅猛发展，国内主要金融机构纷纷开始尝试构建以私有云为基础的云服 务架构，以更加灵活、及时、高效的模式，支撑和响应业务
3、创新的需求，云平台架构转型已成 为金融企业信息化升级改革的必由之路。通过“大平台+微应用”的模式，以大平台沉淀最佳实 践、微应用快速适应变化，两条腿走路，实现数字化IT架构转型。目前银行等传统的金融机构大都已经使用商业智能或数据仓库解决方案，用于解决结构化 数据的整合分析问题，由于结构化数据的存储组织有章可循、相对简单，因而在B1分析中数据 模型的构建也较为简单。但是在大数据背景下，传统商业智能、数据仓库解决方案已经捉襟见 肘，难以满足发展的需要：在数据源方面，半结构、非结构化数据的大量涌现，使得传统的数 据仓库存储、组织此类数据变得无能为力；在商业智能分析方面，由于大数据大都是一些类型 丰富
4、的碎片化数据，没有相对固定的模式，而且价值密度相对较低但极为重要，使得在大数据 环境下进行数据分析的模式和方法相对复杂，因而构建银行大数据分析平台是一项从无到有、 富有挑战且意义深远的工作，对银行的创新能力，精细化、专业化经营管理以及高效决策支持 都具有重大意义。离线分析：探囊取物随着银行业务的载体与社交媒体、电子商务的融合日趋紧密，仅对原有的结构化数据进行 分析已经不能满足发展的需求。金融机构需要借助大数据战略打破数据边界，囊括更多的大数 据分析来构建更为全面的金融机构运营全景视图。以科技引领业务发展，未来银行也同样需要 借助由大数据构建的企业经营全景视图来进行产品营销、业务创新等活动，进而
5、寻找最优模式 以支持商业决策。目前金融行业，离线分析类大数据典型应用包括用户画像、精准营销等（如 图1）。用户画像：银行可以通过大数据分析平台，接入客户通过社交网络、电子商务、终端设备 等媒介产生的非结构化数据，构建全面的客户视图；根据用户行为对用户进行聚类分析，进而 可以有效地甄别出优质客户、潜力客户及流失客户。精准营销：借助大数据分析平台，通过对形式多样的用户数据（用户消费数据、浏览记录、 购买路径等）进行挖掘、追踪、分析，将不同客户群体进行聚类，有助于获取用户的消费习惯、 风险收益偏好等特征信息，从而根据不同客户特性打造个性化的产品营销服务方案，将最适合 的产品服务推介给最需要的客户，以
6、主动营销和个性化营销打破传统无差异的、被动的产品服 务营销方式。大数据的有效使用，不仅可以提升银行金融产品的精准营销水平，而且可以提升 客户对银行服务的认可程度及客户经理在营销过程中的专业程度。实时平台：方兴未艾座1恨村非RRf大淄编旻帷瑞啕对于非实时大数据平台，目前国内大多数生产商通过开源软件Hadoop的生态圈来实现，包 括MapReduce、HDFS、Hive、Pig等。而对于实时性要求高的大数据应用，如运营监控、操作及 业务风险监控、ITOA、海量事件分析等，金融机构还处于探索阶段。实际上，金融机构构建运营安全实时大数据分析平台的前提条件已具备。当下大部分金融 机构，如银行都已具备这些
7、条件：通过各类监控工具实现对交易数据、性能数据、状态数据、 基础资源等监控指标项的采集；通过事件采集工具实现对安全设备安全事件以及网络操作、服 务器操作、数据库操作、应用操作等事件的统一采集及处理；通过用户体验平台或业务日志实 现对全行所有业务系统、接口服务进程的模拟仿真，同时采集最终用户对业务系统的访问行为; 通过ITIL及其他工具实现请求、事件、问题、变更等管理类信息以及其他工具采集的语音、地 理、偏好、社交相关信息。金融行业运营安全实时大数据平台的网络拓扑如图2所示。旁路服务器：利用网络镜像口或专业TAP设备实现对网络数据的获取，通过IP、TCP、应 用层协议的解析，获取各类交易信息，包
8、括交易明细、返回码、响应时间等信息。采用网络旁 路方式不会影响到实际生产环境中备类业务系统的性能。接入服务器群：接入服务器群接收备类监控系统、其他业务系统、日志采集系统、定制 Agent程序发送的各类格式化及非格式化数据。数据包括备类安全事件、操作事件、交易数据、 业务流水、各类监控性能及状态数据、备类应用及业务日志等。这些接入服务器可动态增加， 通过散列等算法扩充接入能力，同时进行初步加工，增加数据来源等相关信息。管理应用服务器：管理应用服务器实现登录权限管理、数据格式配置管理、逻辑计算脚本 配置管理、各类配置数据管理等功能。计算服务器集群：计算服务器集群通过MQ实时获取各类数据，并根据配置
9、进行实时数据处 理。服务器采用内存高速算法，对历史数据进行直接寻址访问，实现数据重组、数据计算、规 则计算等操作。存储服务器集群：存储服务器集群实现对处理后数据的存储。包括状态、事件等实时数据， 以及计算、转换等处理后的历史数据、原始数据等。实时数据用基于 JSON（ JavaScriptOboject Notation， JavaScript 对象表示法）的 MysoL 存储，实现统一展示 的可配置呈现；历史数据用高压缩率的Infobnght阵列数据库等面向大数据的数据库存储。EMV等应用服务器：包括EMV统一展示应用服务器、操作风险分析服务器、统一日志分析 服务器、报表服务器等，实现实时大
10、数据应用的落地展示。金融行业运营安全实时大数据平台的软件架构、协同过滤机制分别如图3、图4所示。Agent模块：配置完成预处理（日志条目切割）、补充IP、时间、归属应用系统、网络节 点位置等元素数据属性；UDP （User Datagram Protocol，用户数据报协议）模式发送（效率高， 带宽占用少，可以适当做流控限制）；中心集中管理、向下兼容。伸4物心S!明卫恒邢*全枝对洗费席平卅国曲浴外Al 4蚯言宕册迎刘洗酷潮巫打帕卜EM速1皿事件收集服务：可分布式部署；接收Agent数据；预制应用模板，高效搜索算法（直接数 据寻址搜索）；为原始数据增加标签集（MySQL）；保存原始数据到Mong
11、oDB/MySQL。事件加工一第一轮抽取：第一轮Map （映射，是指对数据切割，形成统计相关的Key-Value 键值对），对原始数据按照来源IP地址、进程等标准做并行分析；套用预制模板分析；组件、 内嵌脚本语言增加扩展力、适应力；形成可分析准结构化数据（离散、OLTP（ On-Line TransactionProcessing，联机事务处理过程）类型）。事件加工第二轮抽取：第二轮Map映射；针对不同视角分析流量异常、操作分析（串行数 据）；转发数据到分析平台，结合其他数据，进一步处理；形成可查询数据、实时图表。事件加工一第三轮抽取：隔日、Reduce （规约化简，是指对根据需求对预先产生m
12、ap映射 的键值对数据做聚合计算）；统计分析数据；图表分析数据。历史数据转存服务：根据标签，从MySQL/MongoDB中转存到Inforbright/sybaseio等阵列 数据库。关键技术：各显神通在金融行业运营安全实时大数据分析平台规划过程中，要着力实现以下关键技术：云组件技术。设计并实现专门基于大数据及云平台的跨平台、自适应、远程过程调用的云 组件体系。云组件，在分布、异构的网络计算环境中，可以将各种分布的基础数据对象有机地 结合在一起，完成各类结构化、半结构化、非结构化数据的快速采集、处理及集成，实现对象 重用，并支持压缩、加密及备类通信报文格式。该组件技术适用于目前所有的主流操作系
13、统， 如 Windows， Linux， HP Unix， scoUnix， AIX 等。高速数据总线技术。设计并实现高速XML数据总线技术，针对金融实时大数据平台的业务 特点，包括结构化、半结构化、非结构化等数据特征，进行优化及适应各类适配器接口。屏蔽 掉各种平台、协议、数据格式之间的特性，实现在不同平台之间通信，实现分布式系统中可靠 的、高效的、实时的跨平台数据传输，实现各个数据采集模块之间的协同。该高速数据总线， 在报文树嵌套的情况下，增加兄弟节点连接线、除去子节点线，利用自主开发的高速算法，结 合二叉数深度优先算法的特点，实现对大数据平台下各类数据的高速检索及交换。数据挖掘算法。以ID
14、5及贝叶斯算法为基础，结合Hadoop生态系统中的Mahout子项目， 移植Mahout中可扩展的机器学习领域经典算法，并针对推荐引擎（协同过滤）、频繁集挖掘等 算法进行优化，实现对大数据平台数据挖掘的支持架构，使其更贴近运营安全领域实时大数据 的应用。面向领域的抽象语言。采用类C脚本语言技术，针对大数据平台的业务特点，包括高层次、 面向领域等待点，结合Hadoop生态系统中Pig子项目数据流脚本语言的特点，进行优化及调整。根据大型数据集进行分析和评估的特点，主要通过算法优化以及三元码预编译等技术。通过内 部测试比对，该类C面向领域的抽象语言脚本，是Hadoop生态系统中Pig Latin语言
15、处理速度 的1.7倍。全面应用指日可待金融行业运营安全实时大数据平台的建设分四个阶段来完成：阶段一：分析现有业务系统，整体规划，构建数据采集平台，完成原始数据积累，包括各 类业务交易数据、实时操作行为数据、客户访问行为数据、IT系统资源信息数据、各类安全事 件数据等，形成各类数据的统一接入及预处理。阶段二：构建实时大数据处理基础平台，建设包括数据总线、ETL工具集、离线计算引擎、 实时计算引擎、业务规则脚本等大数据生态环境。阶段三：完成部分运营安全实时大数据平台应用的落地，优先建设操作风险监控、体系性 能实时分析、故障精准定位及分析等典型应用。阶段四：实现实时大数据运营安全典型应用的拓展，包括
16、业务风险监控、客户体验分析、 内部运营分析、容量及资产分析管理等。甘宣垒实瞅散整平R由型市长嫌景金融行业技术基础建设比较成熟，与此同时对各类运营安全监管的实时性要求高，对于离 线计算类大数据应用，如客户画像、精准营销、决策支持等，通过开源Hadoop技术架构的拓展， 目前已有很多成熟的应用落地。但是对于运营监管、操作风控等实时性要求较高的大数据应用， 都还面临着诸多“痛点”，如缺少人才、缺少数据、缺少工具、没有数据场景、谁来做等问题。 但有理由相信，在已经具备落地推广的基本条件的情况下，实时大数据应用在金融行业必将发 挥出越来越明显的作用。Hadoop生态上的技术Pig: 一种操作Hadoop的轻量级脚本语言，最初由雅虎公司推出，是一种数据流语言，用 来快速轻松地处理巨大的数据，包含Pig Interface、Pig Latin两个部分。Pig
