《大数据在金融领域的典型应用研究》由会员分享,可在线阅读,更多相关《大数据在金融领域的典型应用研究(56页珍藏版)》请在金锄头文库上搜索。
1、大数据在金融领域的典型应用研究中国支付清算协会金融大数据应用研究组 中国信息通信研究院云计算与大数据研究所2018 年 3 月版权声明本报告版权属于中国支付清算协会金融大数据应用研 究组,并受法律保护。转载、摘编或利用其它方式使用本白 皮书文字或者观点的,应注明“来源:中国支付清算协会金 融大数据应用研究组”。违反上述声明者,本单位会将追究 其相关法律责任。编写指导:王素珍、何宝宏 编写小组:丁华明、赵计博、韩涵、赵博、何阳4前言近年来,我国金融科技快速发展,在多个领域已经走在 世界前列。大数据、人工智能、云计算、移动互联网等技术 与金融业务深度融合,大大推动了我国金融业转型升级,助 力金融更
2、好地服务实体经济,有效促进了普惠金融发展。在 这一发展过程中,又以大数据技术发展最为成熟、应用最为 广泛。从发展特点和趋势来看,金融云快速建设落地奠定了 金融大数据的应用基础,金融数据与其他跨领域数据的融合 应用不断强化,人工智能正在成为金融大数据应用的新方向, 金融行业数据的整合、共享和开放正在成为趋势,给金融行 业带来了新的发展机遇和巨大的发展动力。为促进大数据技术在金融领域的创新和安全应用,中国 支付清算协会在金融科技专业委员会的基础上,成立了金融 大数据应用研究组,依托金融科技专业委员会开展相关研究 验证和推广交流活动,充分发挥行业协会贴近市场和研究机 构的优势,深入研究金融大数据应用
3、理论和实践问题。研究 组成立以来,在组长单位中国信息通信研究院云计算与大数 据研究所的带领下,在广大成员单位的支持和配合下,积极 开展市场调研,努力搭建交流平台,探索行业标准建设,开 展了许多富有成效的工作,取得了积极成果。其中一项重要工作就是面向成员单位征集金融大数据创新应用案例,开展重点课题研究。该项工作自 2017 年 11月启动以来,得到了广大成员单位的积极响应,共征集到 40多个有效案例。经专家严格评审,最终有 24 个案例获评“金 融大数据创新应用优秀成果奖”。研究组进一步整合获奖案 例内容,结合课题研究成果撰写完成大数据在金融领域的 典型应用研究白皮书并公开发布,借此机会希望促进
4、行业 交流和优秀成果的学习借鉴,为推动金融大数据更好发展应 用贡献一份智慧和力量。大数据在金融领域的典型应用研究数据是数字经济时代的新型生产资料,基于数据的生产 变革和业务模式创新正驱动着全球范围内经济社会各个领 域的数字化、智能化转型,发展大数据已经成为国家战略。 十九大报告明确指出,要推动“互联网、大数据、人工智能 和实体经济深度融合。”金融行业数据资源丰富,数据应用由来已久。从发展特 点和趋势来看,金融云快速建设落地奠定了金融大数据的应 用基础,金融数据与其他跨领域数据的融合应用不断强化, 人工智能正在成为金融大数据应用的新方向,金融行业数据 的整合、共享和开放正在成为趋势。随着大数据技
5、术的广泛普及和发展成熟,金融大数据应 用已经成为行业热点趋势,在交易欺诈识别、精准营销、黑 产防范、消费信贷、信贷风险评估、供应链金融、股市行情 预测、股价预测、智能投顾、骗保识别、风险定价等涉及银 行、证券、保险、支付清算和互联网金融等多领域的具体业 务中,得到广泛应用。涌现出一大批技术创新、业务突破的 应用案例。总结来看,对于大数据的应用分析能力,正在成 为金融机构未来发展的核心竞争要素。毋庸置疑,金融大数据拥有着广阔的发展前景。然而, 金融大数据应用也面临着数据资产管理水平不足、技术改造 难度大、行业标准缺失、安全管控压力大和政策保障仍不完 善等一系列制约因素。为推动金融大数据更好发展应
6、用,必 须从政策扶持保障、数据管理能力提升、行业标准规范建设 和应用合作创新等多个方面入手,不断强化应用基础能力, 持续完善产业生态环境。一、大数据的兴起与金融大数据的发展(一)大数据的兴起 近年来,摄像头、可穿戴设备、GPS 等传感器收集着大量音频、视频、图像等各类结构化和非结构化数据,随着电 子商务、社交、综合信息网站等互联网应用的发展,数据基 于网络大量产生并存储,信息量爆发式增长。据 IDC 的研究 显示,全球数据总量年复合增长率 50%。这种增长速度意味 着未来两年,全球新增的数据量将超过人类有史以来积累的 数据总和。IDC 预测,到 2020 年,全球数据总量将达到 40ZB(40
7、0 亿 TB),代表地球上每个人平均会产生 5TB 的数据。 人类正从 IT 时代走向 DT 时代,数据是数字化时代的“石油”,大数据就是数字化时代的“冶炼工艺”。通过数据的收 集、存储、分析和可视化技术,解决大数据海量、高速、多 变、低密度的问题,使数据从散乱的信息,变成知识和智慧, 帮助组织解决发展中遇到的实际问题。5麦肯锡公司早在 2011 年就已经预见到大数据时代的到 来,并提出:“各个行业和领域都已经被数据渗透了,目前 数据已成为非常重要的生产因素。对于大数据的处理和挖掘 将意味着新一波的生产率不断增长和消费者盈余浪潮的到 来。” 人们已经意识到,通过数据给社会创造价值的能力和 用数
8、据盈利的能力将成为所有组织的核心竞争力。纵观金融行业的发展史,每次都是科技的创新推动着金 融行业的发展与变革。电报技术、互联网技术的推出都对金 融机构的服务模式和风控方式产生了重大影响。近几年,各 国政府不断加大对科技创新的重视程度。科技创新的速度不 断加快,并逐步与金融业务深度融合,以大数据、云计算、 人工智能、区块链等为代表的新技术已逐渐成为金融发展的 新动力。普华永道调研显示,在所有金融科技中,大数据是金融 行业投资和应用的首选。首先,从内在需求看,在互联网金 融模式的冲击下,整个金融业的运作模式正在重构,行业竞 争日益激烈,基于数据的精细化运营需求日益迫切。其次, 从应用基础上看,金融
9、行业拥有海量数据资源。金融业是最 有意愿进行信息化投入的行业之一,经过多年的信息沉淀, 各系统内积累了大量高价值的数据,拥有用于数据分析的基 础资源。最后,从产品供应上看,大数据产品已经越来越成 熟,技术供给越来越丰富,部署成本直线下降。此外,部分先行者为大数据部署提供了宝贵的应用案例,使得金融大数6据解决方案越趋完善。(二)金融大数据的产生 金融数据产生的主体有三种:“人”、“机”、“物”。“人”指的是人类活动的数据,它是人类在活动过程所产生的各类 数据,包括评论、通话记录、照片、网页浏览痕迹、交易记 录等信息。“机”指的是信息系统产生的数据,这些信息主 要以文件、多媒体等形式存在,包括审计
10、、日志这样自动生 成的信息。“物”指的是物理世界产生的数据,是通过摄像 头、传感器等数字设备在监测中采集的数据,例如服务器运 行监控数据、押运车监控数据等。(三)金融机构数据获取方式金融机构有三种数据获取的方式:在自有系统中沉淀、 在网上采集和从第三方购买。1.在自有系统中沉淀数据。金融机构通常会部署数百个应用系统,这些系统在日常经营中持续产生和储存数据,经 过长期的数字化运营积累,数据的规模已经较为庞大。以银 行业为例,目前中国单家股份制商业银行累积的数据已经达 到上百 TB。波士顿咨询的调研表示,银行业每创收 100 万美 元,平均就会产生 820GB 的数据。2.在网上采集数据。金融机构
11、在网上主要采集企业的舆情数据和个人的行动数据。企业舆情数据包括两大方面:一 是政府公开数据:工商、司法、行政和一行三会的处罚/涉诉数据等;二是企业经营动态数据:资产重组、投融资、高7管变动、员工招聘、新产品发布和产品销售情况等。个人行 动数据也包括两大方面:一是基本属性数据:性别、年龄、 学历、职业等;二是喜好数据:浏览页面、浏览商品、页面 停留时间、关注的商品、支付的商品、产品评分、产品投诉、 产品建议、加入的社群、经常互动的话题等。3.从第三方购买数据。金融机构购买的主要是企业的数据,在个人数据购买上比较谨慎。在个人数据交易上,大型 金融机构普遍认为比较敏感,要谨慎对待。目前,大型金融 机
12、构从第三方购买个人数据的行动基本停滞,主要从政府侧 购买公共数据,例如公积金、社保和税务数据等。(四)金融大数据的发展特点1.金融云快速落地奠定大数据应用基础。金融云具备的 快速交付、高扩展、低运维成本等特性,能够在充分考虑金融机构对信息安全、监管合规、数据隔离和中立性等要求的 情况下,为机构处理突发业务需求、部署业务快速上线、实 现业务创新改革提供有力支持。因此,金融业一直较为积极 的推动云计算的落地。目前,大型金融机构纷纷开启了基于云计算的信息系统 架构转型之路,逐步将业务向云迁移。大型金融机构普遍青 睐混合云架构,将非核心应用迁移到公有云上,再将部分核 心应用迁移到私有云平台上,关键业务
13、上继续使用传统架构。 新兴金融机构如蚂蚁金服、微众银行等在诞生之初就把所有IT 系统架构在云上。82.实时计算分析能力是金融大数据应用的首要关注点。金融机构的业务要求大数据平台具有实时计算的能力。目前, 金融机构最常使用的大数据应用场景为精准营销、实时风控、 交易预警和反欺诈等业务都需要实时计算的支撑。以精准营销和交易预警为例,精准营销要求在客户短暂 的访问与咨询时间内发现客户的投资倾向,推荐适合的产品。 交易预警场景要求大数据平台在秒级完成从事件发生、到感 知变化、到输出计算结果的整个过程,识别出客户行为的异 常,并做出交易预警。因此,流式计算框架的实时计算大数 据平台目前逐渐在金融机构得到
14、应用,以满足低延时的复杂 应用场景需求。3.金融业务创新越来越依赖于大数据应用分析能力。客户对服务体验的要求越来越高,需要金融机构随时随地都能 提供服务,产品设计的更易用、更直观,响应速度更快速。 金融机构提供产品和服务的重点,也从简单的标准化,转变 为个性化。大数据能够在产品设计和客户服务两方面提高创新能 力。在产品设计上,大数据能够更好的利用现有数据,为客 户进行全面的客户画像,识别客户的需求。基于精准的客户 认知,金融机构可以细分客户的需求,从而针对性的设计出 符合客户个性化需求的、场景化的产品。在客户服务上,大 数据可以提高产品的自动化程度,从而扩大产品和服务的范围、拓宽客户基础,使得
15、金融机构得以覆盖以前服务不到的9长尾客户。此外,产品自动化还能够快速的对客户需求做出 反应,提高客户粘性。4.金融数据正在向金融科技行业巨头聚集。互联网和科技行业存在的“赢家通吃”模式,在金融行业继续上演。随 着行业的快速整合,原来分散在各家金融机构的数据正快速 向金融科技行业巨头集中,从而形成数据寡头。以支付行业为例,原来分散在各家银行手中的支付数据 正快速向支付宝和财付通集中。目前,支付宝和财付通已经 覆盖了绝大多数消费场景,包括电商购物、餐饮、出行、航 旅、公共事业缴费、线下购物等几乎所消费场景。过去银行 可以通过借记卡和信用卡的消费记录来分析客户的消费行 为,为金融企业的服务和产品设计提供支持。现在这些小额 消费行为很多都通过第三方支付发生,银行无法拿到具体的 消费数据。客户消费数据的缺少,正在影响银行对个人客户 的了解和分析。(五)金融大数据的发展趋势1.大数据应用水平正在成为金融企业竞争力的核心要 素。金融的核心就是风控,风控以数据为导向。金融机构的 风控水平直接影响坏账率、营收和利润。经过长期的数字化改造,金融机构积累了大量的信息系统,通过这些系统积累 了海量的数据,但是这些数据是分散在各个系统中,不能实