《银行业金融大数据服务平台项目规划书》由会员分享，可在线阅读，更多相关《银行业金融大数据服务平台项目规划书（19页珍藏版）》请在金锄头文库上搜索。
1、银行业金融大数据服务平台项目规划书项目介绍1.1项目背景银行业一直是一个数据驱动的行业，数据也一直是银行信息化的主题词。银行的信息化 进程先后经历过业务电子化、数据集中化、管理模型化等阶段，如今随着大数据技术的飞速 发展，银行信息化也进入了新的阶段：大数据时代。目前，国内银行都积累了海量的金融数据，包括各类结构化、半结构化、非结构化数据， 数据量巨大，存储方式多样。但是这些海量数据还没得到充分利用，显得价值含量较低。只 有经过合适的预处理、模型设计、分析挖掘后，才能发现隐藏在其中的潜在规律。而应用大 数据分析技术，可以从海量的、不完全一致的、有噪声的、模糊的、随机的数据中提取隐含 在其中的、人
2、们事先不知道的、但又是潜在有用的信息和知识。银行可以利用这些信息和知 识来提升金融业务的服务效率和管理水平，银行的关键业务也能从中获得巨大收益。银行在大数据技术应用方面具有天然优势：一方面，银行在业务开展过程中积累了大量 有价值数据，这些数据在运用大数据技术挖掘和分析之后，将产生巨大的商业价值；另一方 面，银行在资金、设备、人才、技术上都具有极大的便利条件，有能力采用大数据的最新技 术。建立“金融大数据服务平台”可以通过对金融数据的挖掘、分析，创造数据增值价值， 提供针对银行的精准营销、统一广告发布、业务体验优化、客户综合管理、风险控制等多种 金融服务。1.2业务需求目前，银行客户对数据的利用
3、仍是以各类统计报表为主，存在以下重大弊端：1. 对数据的分析仅按照固定项目，对业务情况进行事后统计分析和监控。实际上没有 找到隐藏在数据背后的原因，数据深度分析和数据挖掘能力不足。2. 对数据的分析仅作为专项的统计分析结果输出，对于数据间的因果影响、相关性分 组或关联规则、聚类、描述和可视化等工作尚未开展，数据关联分析能力不足。3. 统计分析侧重在事后的数据汇总，难以从数据汇总中得到客户服务事件发生的规律，以及前瞻性判断，数据的预测性分析能力不足。针对具体的金融业务，大数据分析在以下方面有着迫切的需求:统一广告发布：目前金融行业客户在广告方面投入大、渠道多，但在确认真实效果、提 供优化广告策略
4、时却不能提供确切的数据证据。亟需利用大数据技术在收集各类型、各渠道 广告发布数据的基础上，提供可靠的效果数据和优化策略建议。精准营销：目前金融行业的营销方式基本上还是粗放式的，调查方式粗糙，分析原因简 单，对过程的控制力差，对客户和产品的推广都缺少针对性。亟需利用大数据技术来收集详 尽数据、科学分析原因、严格控制过程、并有针对性地面向客户和产品进行营销推广。业务系统优化：目前金融行业对其业务系统的客户体验效果、客户转化率缺乏准确数据 支持，也无法分析具体原因。亟需利用大数据技术获得各业务、各环节的客户转化率，从而 有针对性地改进业务流程，提升服务质量。客户流失分析：对于如何稳定留存客户、降低客
5、户流失率，目前金融客户还无法准确分 析客户流失的原因，也就无从提出有效的改进措施。亟需利用大数据技术在分析流失客户数 据的基础上，提出改进客户关系管理效率和水平的有效建议。风险分析：金融行业对自己客户和业务的风险分析停留在初级阶段，缺乏全面掌握和提 前预防的技术手段。亟需利用大数据技术获得存在较高风险的客户群体及业务，作为对其进 行重点监控和提前做好预防措施的基础。通过建设金融大数据服务平台，研发基于大数据分析的统一广告发布系统、精准营销系 统、业务体验优化系统、客户流失分析系统和风险分析系统，金融客户可以提升广告发布效 果，提高营销针对性，优化服务质量，改善客户管理水平，预防风险冲击，进而为
6、业务发展 提供决策支撑，并促进相关领域构建新的业务模式、服务模式。北京技术有限公司自主研发的“金融大数据服务平台”旨在为金融行业客户提供包括 数据采集、数据存储、数据预处理、数据挖掘、可视化展现、业务实现等全流程服务，以帮 助客户实现各种金融业务。数据采集“金融大数据服务平台”首先需要收集各种金融数据，它们可能是结构化的，也可能是半结构化或非结构化的；既可能来自银行内部的各业务系统，也可能由外部提供；既可以是 静态的（如属性数据），也可以是动态的（如行为数据）而金融数据采集产品就是根据业务 需要，将这些数据采集到“金融大数据服务平台”中。数据存储集群通过将数据分配到多个集群节点上并进行并行处理
7、，因此尤为适合对大数据的存储 和分析。集群通过添加节点数量来有效的扩展集群，因此具有极好的可扩展性；软件都是开 源的，也不必购买昂贵的高档服务器，因此具有很好的性价比。集群将数据分片发送至多个 节点保存，因此具有极高的容错性。数据预处理采集到金融数据来自多种数据源，大多存在着不完整性和不一致性，无法直接用于数据 挖掘或严重影响数据挖掘的效率。因此在进行数据挖掘之前，通过使用数据预处理工具，灵 活对原始数据的清理、变换、集成等处理，可以减少挖掘所需数据量，缩短所需时间，并极 大提高数据挖掘的质量。数据挖掘数据挖掘是通过分析数据、从大量数据中寻找其潜在规律的技术。利用预测、关联、分 类、聚类、时序
8、分析等技术，数据挖掘可以从海量的、不完全的、有噪声的、模糊的、随机 的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。目前，传 统的数据挖掘产品在大数据平台上还存在一些局限性，研发一套平台下的数据挖掘工具是一 项极具挑战性的任务。可视化展现数据挖掘得到的结果，往往数据量巨大、关联关系复杂、维度多以及双向互动需求等。 可视化展现工具以适合人类思维的图形化的方式对结果进行展示，提高了数据的直观性和可 视性。可视化展现面向各类客户，通过选择合适的可视化模型，将枯燥的数据转换为令人印 象深刻的美丽图形，极大提升了数据的利用价值。业务实现“金融大数据服务平台”的效果，最终需要集成在
9、各类金融业务系统中才能得以体现。 目前拟建设的金融业务系统有：精准营销系统、统一广告发布系统、业务体验优化系统、客 户流失分析系统、风险分析系统等。三.项目目标实施针对银行的“金融大数据服务平台”项目，通过采集银行内部与外部、静态与动态 的各类金融数据，搭建适于大数据存储与分析的集群，对金融数据采取合适的预处理方式， 利用数据挖掘技术得出隐藏在海量数据后的、有价值的潜在规律，以丰富的可视化模型向客 户进行展现，在此基础上实现精准营销、统一广告发布、业务体验优化、客户综合管理、风 险控制等金融业务应用。由此，提升金融业务的水平和效率，推进银行业务创新，降低银行 管理和运行成本。本项目的具体技术目
10、标包括：开发金融数据釆集工具：大数据分析需要收集来自银行内部的和外部的、静态的和动态 的各种金融数据，为此开发各类金融数据采集工具，如动态采集、日志提取分析工具、外部 数据导入工具等。搭建大数据集群：搭建大数据集群，是建设“金融大数据服务平台”的基础。利用多台 性能较为一般的服务器，组成一套基于和机制的集群，并根据需要在其上安装、等软件。实现分析挖掘算法：支持的分析挖掘算法，是“金融大数据服务平台”的一个关键组成 部分。在利用传统数据挖掘技术的基础上，实现包括抽象的数学算法（如关联算法、分类算 法、聚类算法、时序分析算法等），以及在此基础上针对金融业务的专业算法（如客户行为 特征模型、效果分析
11、模型等），作为进一步构建抽象模型和金融专业模型的基础。构建分析挖掘模型：支持的分析挖掘模型，是“金融大数据服务平台”的另一关键组成 部分。在上一步基础上，快速构建抽象的数学模型（如神经网络模型、事物关联模型等）， 以及针对金融业务的专业模型（如精准营销模型、广告效果评估模型等）。实现工具：数据预处理也是“金融大数据服务平台”需要解决的问题之一。利用市场上 已有的数据预处理成果，研发一个支持的工具，实现包括规范化、数据抽样、数据排序、汇 总、指定因变量、属性变换、数据替换、数据降维、数据集拆分、离散化等功能。实现可视化展现工具：“金融大数据服务平台”上的分析结果将主要采用丰富多彩的可 视化形式向
12、用户进行可视化展现。利用市场上已有的相关技术和产品，研发一个可视化展现 工具，可以支持：分类树图、视觉聚类图、关联图、序列图、回归图等多种可视化形式。实现金融业务应用:将分析挖掘的结果集成到具体的银行业务系统中，如精准营销系统、 统一广告发布平台、业务体验优化系统、客户综合管理系统、风险控制系统等。具体方式既可以是实现某个独立的新业务系统，也可以是在现有系统中实现一个或多个新模块，从而扩 充或提升原有的功能。本项目的具体业务目标包括：精准营销：综合分析客户行为特征信息和金融业务分类信息，可以得到客户最有可能感 兴趣的业务以及业务最有可能的潜在客户群，以此为基础有针对性地开展营销；统一广告发布：
13、分析广告效果分析信息，可以得到各类型、各渠道的最佳配置或薄弱环 节，以此为基础改变广告策略、提升广告效果；业务体验优化：分析客户业务体验信息、客户流失信息，可以得到客户在各业务、各环 节的转化率，分析流失原因，在此基础上改进业务流程、提高服务质量，以提升客户满意度;客户流失分析：综合分析客户行为特征信息、客户流失信息及其它信息，得到客户的全 方面分析结果，在此基础上改进客户关系管理的效率和水平；风险分析：分析客户属性数据、风险分析数据，可以得到存在较高风险可能的客户群体 和业务信息，在此基础上区分特别关注目标、制定预防措施，降低这些客户和业务可能带来 的冲击。技术方案4.1总体架构“金融大数据
14、服务平台”由数据采集层、数据存储层、分析挖掘层和业务应用层组成,总体框架如下图所示:数据采集层：负责从各类数据源中提取、导入数据，主要产品包括：动态采集、日志提 取分析工具、外部数据导入工具、其它数据提取工具等。数据存储层：负责将预处理后的数据进行存储，主要由可进行横向扩展的集群构成，另 外辅之以关系数据库作数据中转、元数据存储、供某些软件使用等用途。分析挖掘层：负责金融数据经建模、挖掘、评估和发布，核心是实现两类数据挖掘的算 法和模型：一类是抽象的数学算法及模型，另一类是在此基础上针对金融业务的专业算法和模型。业务应用层：负责将分析挖掘结果的可视化展现形式，集成到相应的金融业务系统中。 另外
15、，在数据采集层和数据存储层之间，由工具负责数据预处理任务；在分析挖掘层和 业务应用层之间，由可视化展现工具负责分析挖掘结果的可视化展现任务。4.2技术架构“金融大数据服务平台”的技术架构采用多层次形式，如下图所示:业务 实现层HiveHBase关系数据库HDFS + Map-Reduce数据 存储层动态数据日志文件其它数据数据源R图形包,R分析包,SAS,R分析包,SAS,分析挖掘算法分析挖掘模型分析 挖掘层数据源包括各类动态数据（如行为数据）、静态数据（如属性数据）、日志文件以及其它 数据等，可以是结构化的、半结构化的和非结构化的数据。在数据采集层，各采集工具根据具体情况采用不同的技术实现方式，如对动态数据的采 集，使用架构的客户端采集，对日志文件使用方式的分析提取工具，对静态数据按方式从关 系数据导入，对其它数据则使用定制化程序，等等。（数据抽取、转换、加载）将采集到的各种数据整合成统一的数据模型，包括数据清洗、 数据转换、数据规约、数据集成等。为加快项目进度和保证项目质量，初步决定在某个支持 的开源产品（如）的基础上进行二次开发。在数据存储层，集群使用技术生态圈的诸多关键技术，包括：分布式存储系统、并行处 理机制、数据库、数据仓库、协调系统等。此外，还需用到关系数据库担任数据中转、元数 据存储、供某些软件使用等用途。分析挖掘层的任务是在集群实现各种分析挖掘算法和
