商业银行大数据建设规划

《商业银行大数据建设规划》由会员分享，可在线阅读，更多相关《商业银行大数据建设规划（12页珍藏版）》请在金锄头文库上搜索。

1、X X 银 行 大 数 据 建 设 规 划一、项目背景随着信息化程度的加深,以及移动互联网、物联网的崛起,人们产生的数 据急剧膨胀,传统的数据处理技术难以支撑数据大量的增长和处理能力;经过 近几年的发展,大数据技术逐步成熟,可以帮助企业整合更多的数据 ,从海量 数据中挖掘出隐藏价值;大数据已经从“概念”走向“价值” ,逐步进入实施验证 阶段;人们越来越期望能实现海量数据的处理 ,从数据中发现价值 ;数据越来 越成为一种重要的资产;在2014年Gartner技术炒作曲线的报告中也体现了 大数据技术将走向实际应用;我行已深刻认识到数据战略对企业运营以及企业未来发展方向的重要 性;互联网金融的本质是

2、金融,核心是数据,载体是平台,关键是客户体验,发展 趋势是互联网与金融的深度融合 ,要提升大数据贡献度;因此,要深化互联网 思维理念,稳步推进互联网金融产品和服务模式创新,积极利用移动互联网、 大数据等新技术新手段,沉着应对冲击和挑战,实现传统金融与互联网金融的 融合发展;做好海量异构数据的专业化整合集成、关联共享、安全防护和维护 管理,深度挖掘数据内含的巨大价值 ,探索银行业务创新,实现数据资源的综 合应用、深度应用,已成为提升企业核心竞争力,实现企业信息化可持续发展 的关键途径;按照行领导部署 ,信息科技部组织力量对大数据技术进行研究 , 完成对市场上主流的大数据平台及应用技术预研,征求业

3、务部门建议,提出项 目建设要求;二、建设目标以大数据项目建设作为契机 ,凝聚我行优势力量,全面梳理数据资源,完 善数据体系架构,自主掌握大数据关键技术 ,加速大数据资源的开发利用 ,将 数据决策化贯穿到经营管理全流程,建设智慧银行,提升核心竞争力;一建设大数据基础设施,完善全行数据体系架构构建大数据平台,实现更广泛的半结构化、非结构化数据集中采集、存储、 加工、分析和应用,极大地丰富我行的信息资源,同现有的企业级数据仓库和 历史数据存储系统一起,形成基础数据体系,提供支撑经营管理的各类数据应 用;二开发大数据资源,支撑全行经营管理创新建设离线数据分析、实时数据/流数据分析集群和各类数据分析集市

4、,提 供高性能可扩展的分布式计算引擎,通过数据挖掘、计量分析和机器学习等手 段,对丰富的大数据资源进行开发使用,并将数据决策化过程结合到风控、营 销、营运等经营管理活动;三培养大数据人才队伍,建立大数据分析能力 结合大数据项目的落地实施,建立起一支大数据技术和分析人员队伍,具 备自主运营和开发大数据的能力 ,以更好推动业务创新 ,提升我行核心竞争 力;三、发展趋势近年来,银行业大力发展面向客户的新一代核心业务系统,信息系统建设 日趋完备,电子银行等在线金融服务大幅增长,在提升客户体验和风险管控能 力、满足监管各项要求的同时,形成并储存了庞大的可用数据资源;银行业的 数据资源不仅包括存贷汇等结构

5、化数据,也包括客户浏览痕迹、在线交易记录 等非结构化数据,还包含客户电话语音、网点视频等非结构化数据 ;2012 年, 银行业的电话记录数据、业务数据、数据仓库数据、结构化数据和非结构化 数据的数据规模分别达到 938T、1688T、3125T、5313T 和 3938T;Celent 公司预计未来 5 年将增长7 倍;除数据本身的快速增长外,银行业面临的更大的挑战是大数据带来的业 务挑战,这包括：小微贷市场上,银行与互联网小额贷款公司难以竞争；支付 市场中,网银支付所占比重越来越低,这使得银行越来越难以知道客户的消费 行为；各种互联网融资模式的出现,在未来可能会超过以银行为中心的间接融 资;

6、所有这些挑战 ,本质上是银行对于客户的了解程度相对越来越弱 ;麦肯锡 指出,在大数据时代,不能充分形成大数据使用能力的竞争者将被淘汰;一同业案例情况国内领先的商业银行已经启动大数据平台的建设,并应用于精准营销、风 险管理和业务创新等领域,以获得竞争优势;工商银行通过构建大数据平台 , 收集网银用户的行为轨迹并进行分析 ,精准营销,扩大销售 ,优化网银服务模 块的质量,提升客户体验;招商银行通过大数据平台构建全量数据分析和挖掘 平台,推出在线明细,实时征信,精准营销等创新业务,提升小微贷获客率;上海 银行构建大数据平台,用于对客户的资金的流入流出分析;中信银行、光大银 行、平安银行、民生银行都在

7、建设自身的大数据平台;二业务应用场景大数据技术在银行业的应用范围包括：客户洞察、营销支撑、风险管控 和营运优化等领域;客户洞察分析用户的各种数据,包括电话语音、网络的监控录像、商城交易信息、 金融业务信息以及外部的社交信息、第三方履约行为等多方面信息,从而实现 对客户进行分类和服务;对现有 CRM 系统中的客户分层的数据要素进行延 伸; 营销支撑实时营销：是根据客户的实时状态来进行营销,如客户当时的所在地、客 户最近一次消费等信息来有针对地进行营销;社交网络营销：主要是微博营销,这主要是捕捉用户的言论和行为,并有 针对地开展相关营销活动;事件式营销：将改变生活的事件视为营销机会,如换工作、改变

8、婚姻状况、 置业等; 风险管控信用评级：运用社交网络、行为特征、交易网、基本社会特征、人行征 信等多个维度对客户综合评级,运用大量的指标构建多重模型,以识别客户的 信用风险;反欺诈：通过监控客户、账户和渠道等,提高银行在交易、转账和在线付 款等领域防御欺诈的能力 ;在监控客户行为时,可以识别出潜在的违规客户 , 提示工作人员对其予以重点关注,从而节省反欺诈监控资源;营运优化改善用户体验：运用大数据能够处理海量数据的能力,将传统数据统计分 析等业务切换到数据处理能力更强的平台,来解决查询历史数据的困难,提升 用户体验;客服中心优化：通过对客服中心的数据分析,允许银行提前预测用户需求 用以快速地解

9、决问题,能够快速满足用户的需求;降低运营成本：大数据平台采用普通的PC服务器和廉价存储，相对原有 的小型机的硬件架构，可以有效的降低IT运营成本；四、平台建设原则 平台是大数据的基础实施，其建设、设计和系统实现过程中，应遵循如下 指导原则： 经济性：基于现有场景分析，对三年内的数据量进行合理评估，确定大 数据平台规模，后续根据实际情况再逐步优化扩容； 可扩展性：架构设计与功能划分模块化，考虑各接口的开放性、可扩展 性，便于系统的快速扩展与维护，便于第三方系统的快速接入； 可靠性：系统采用的系统结构、技术措施、开发手段都应建立在已经 相当成熟的应用基础上，在技术服务和维护响应上同用户积极配合，确

10、保系统 的可靠；对数据指标要保证完整性，准确性； 安全性：针对系统级、应用级、网络级，均提供合理的安全手段和措施， 为系统提供全方位的安全实施方案，确保企业内部信息的安全；大数据技术必须自主可控；先进性：涵盖结构化，半结构化和非结构化数据存储和分析的特点;借 鉴互联网大数据存储及分析的实践，使平台具有良好的先进性和弹性;支撑当 前及未来数据应用需求,引入对应大数据相关技术；平台性归纳整理大数据需求，形成统一的大数据存储服务和大数据分 析服务;利用多租户，实现计算负荷和数据访问负荷隔离;多集群统一管理；分层解耦：大数据平台提供开放的、标准的接口，实现与各应用产品的 无缝对接；五、分析应用规划大数

11、据项目实施在保持核心账务系统稳定同时，实现外围IT架构逐步向 开放架构演进，同时逐步吸纳互联网技术创新，应对大数据技术的快速发展和 进化；以全行三年战略发展规划和十三五规划为导向，借鉴同业和互联网企业 的先进经验，分步实施分析应用，基础平台、外围系统改造以及业务流程优化 相应地进行配套调整；规划的大数据平台及应用的整体架构如下：二期注设内習业务应用IS讲尉H1S供历史明细萱询应用精准营销实匝应用其它创新类应用三期色设内容据批趾理分析彳亍为分析用户国像丰件莒销析砖LoaderHBaseImpalaLKH在进吐理舞犬歡据平台f夕卜部逛HbaseLHiveMRHDFSmrr基细毅誓荃群Malioul

12、MR,旳uik平台重点功模能块定位如下：基础数据集群使用分布式文件系统和数据库等组件实现全量结构化数据和非结构化 数据存储,并提供标准接口或 Rest 标准接口,上层业务以只读方式访问;数据 使用平台集成的工具批量导入导出; 在线处理集群基础数据集群中的存放的往往是低价值密度的数据,经过加工处理后,提 取出高价值密度的数据,放入在线查询集群,支撑实时业务、自助查询等高并 发,低时延的数据查询; 离线处理集群离线数据处理集群主要用于海量数据的分析处理,提供数据挖掘、数据探 索功能框架,从海量数据中提取高密度价值的数据;适用于对海量用户行为数 据挖掘、建模,以支撑以客户为中心的精准营销、决策分析等

13、应用场景; 流式处理集群使用流式处理组件,将实时数据接入;通过注入实时业务处理规则 ,对事 件做分析处理,实时决策;流事件处理过程中 ,需要访问基础集群或在线处理 集群,获取必要的支撑信息,如风险信息表、黑白名单、历史交易信息等,要求 支持每秒万级别并发数据访问;适用于信用卡授权风险控制、移动在线支付 在线统计分析等对实时性要求较高的场景;大数据平台的数据来源及应用场景规划如下：业务价值员工按留倍宜安全#析运维吕志分fr客户网fis告反欺诈实时R控客户画&撼识管理祠站楚If61贷于牲ft理酣突買销S穽户聯詔莫时营销S件营睛应用场岂竺屈臥橙帝启忘客户夕酉1倉 产早二莒订-品燈经営皮 阳户W更 刃

14、m法军仮在匚富益 黑雀羊 汕卫冒詰第二方贸時I救据来源互联网救橢屈沾日志秽动定位信息客户信息寤發返行日志产品信启畧朋语晉行1E和产品信息文易信息视频盼壬注的舆喈信岂竜三方埶据人行征信朮电煤迪讯工商税劳海关跟幄平台、第三方型摇交换计划分三步进行实施，如下：一2015 年完成大数据基础平台的搭建，构建简单的查询分析应用，科技人员熟悉平 台关键技术和开发技能；基础平台完成大数据平台的搭建，实现平台的基础功能和基础数据集群；完成HDS历史数据、科技运维日志、网银日志、智能营销网页信息数 据的存储；构建多种数据挖掘算法库；完成基础数据平台对外数据服务的标准化接口；分析应用完成资金流向分析主题和历史数据内

15、部查询交易;提出直销银行、手机银行、微信银行的数据采集点数据要求; 提出用于支撑营销的个人信息的数据采集要求;外围系统改造完成直销银行、手机银行、微信银行的数据采集点改造,将行为日志数据 记录下来;二 2016-2017 年完善大数据基础平台,增加离线数据处理集群,采集行内各系统产生的客 户行为数据,第三方合作机构含同业的外部数据,丰富客户营销、风险管理方 面的数据信息 ,探索大数据同云计算平台的结合 ,构建相应的分析应用系统 , 将数据决策融入营销和风控过程;科技人员掌握平台关键技术,能够自主营运 开发; 基础平台 增加离线数据处理集群,完善多种数据挖掘算法库,用于对海量数据进行 加工处理,分析应用;采集客户行为数据,包括直销银行、手机银行、微信银行等; 迁移影像平台的历史数据;采集同业产品信息,我行网上舆论信息,特定客户和行内的互联网舆情信 息,第三方合作机构、银银合作平台的外部数据; 分析应用构建数据分析应用云计算平台,