《51CTO下载-中国银联柴洪峰---中国银联金融大数据探索与实践》由会员分享，可在线阅读，更多相关《51CTO下载-中国银联柴洪峰---中国银联金融大数据探索与实践（39页珍藏版）》请在金锄头文库上搜索。
1、中国国际大数据大会 C h i n a I n t e r n a t i o n a l B i g D a t a S u mmi t 中国银联金融大数据 探索与实践 柴洪峰 中国银联执行副总裁 2014 08 目录 1 银联对大数据的认知 2 银联的金融大数据实践 3 展望 目录 1 银联对大数据的认知 2 银联的金融大数据实践 3 展望 1 1 大数据时代来临 无处不在的大数据无处不在的大数据 交交通数据通数据 零售零售数据数据 金融金融数据数据 物联网数据物联网数据 社交网络社交网络数据数据 科学数据科学数据 每年上传的总数据为35ZB 即即35 000 000PB35 000 00
2、0PB 每年数据量增长60 其中非结构化数据增长非结构化数据增长80 80 IDC预测 到到20202020年 年 1 2 大数据发展现状 1 技术创新 百花齐放 业界领先企业大力投入 尚未完全定型 潜力巨大 1 2 大数据发展现状 2 国家战略 2012年3月 美国政府发布 大数据研究和发展倡议 投资2亿美 元发展大数据 用以强化国土安全 转变教育学习模式 加速科学和 工程领域的创新速度和水平 2012年7月 日本提出以电子政府 电子医疗 防灾等为中心制定 新ICT 信息通讯技术 战略 发布 新ICT计划 重点关注大数 据研究和应用 2013年1月 英国政府宣布将在对地观测 医疗卫生等大数据
3、和节 能计算技术方面投资1 89亿英镑 2012 12 北京成立 中关村 大数据产业联盟 2012 12 广东省启动了 实施大 数据战略工作方案 2013 科技部将大数据列 入973基础研究计划 2013 7 上海推进大数据研究 与发展三年行动计划 2013 11 国家统计局与11家国 内企业签订协议共同开 发利用大数据 2014 06 全国政协专题研讨大数据 1 2 大数据发展现状 3 商业引擎 数据挖掘 移动数据 互联网数据 电子商务数据 社交数据 物联网数据 自然语言处理 金融信息 电子商务 地图导航 生物制药 催生服务模式创新 大数据技术的出现 创造了 一大批新兴产业以及全新的商业 和
4、服务模式 既有百度 谷歌 亚马逊等互联网巨头不断推出新 型服务类型 也有搜狗 高德地 图等建立在大数据基础上的全新 企业 驱动传统产业升级 传统的汽车 制药 金融等 行业也受益于大数据技术的出现 新型的数据收集和处理技术也 促使了数据化决策和数据化运营 的推广 在提升传统产业产品质 量与生产效率等方面都做出了贡 献 1 2 大数据发展现状 4 科研热点 企业设置数据科学家 高校设置数据研究机构 高校开设大数据专业方向 美国哥伦比亚大学 纽约大学 澳大利亚悉尼科技大学 日本名古屋大学 韩国釜山国立大学 电子科技大学 厦门大学 华东师范大学 美国加州大学伯克利分校 伊利诺伊大学香槟分校 英国邓迪大
5、学 香港中文大学 清华大学 中国人民大学 中科院 Facebook Google 福特 纽约时报 阿里巴巴 腾讯 百度 腾讯 阿里等公司每年组织 国内大数据交流会议 参与 人数与会议主题逐年递增 国内各研究机构在大数据方 面的研究水平并不亚于国际 同行们 各高校同时开设了大量网络 课程 有助于大数据技术的 传播与推广 1 3 大数据的作用 源 技术驱动创新 传统技术架构 大数据技术 分布式架构 横向扩展能力强 处理能力线性增长 能够处理结构化 半结构化 非结构化数据 有效支撑百亿数据量 PB级数据实时查询 能够针对全量数据进行数据挖掘和机器学习 能力提升 方法更新 模式创新 存的更多 算的 更
6、快 做得比以前好 做以前所不能做 抽样 全量 结构化 非结构化 内部 内外部聚合 为精准营销 产 品设计等带来新 的工作模式 催生新商业模式 1 3 大数据的作用 1 公共管理 e g 基于出行数据的城市规划 无锡市基于居民手机信令数据 利用大数据技术进行分析挖掘 掌握 无锡城市居民出行特征 区域人口分 布及城市板块人口流动规律等情况 为城市总体规划修编以及轨道网扩编 规划等重大规划提供了科学依据 以经验为主要依据 高度依赖执行人 的公共管理思路 以数据为基础 以分 析挖掘技术为手段 讲求科学论证的公共 管理思路 城市规划管理 基于对服务对象行为特点的掌握 进行更科学更 适应市民实际情况的整体
7、规划 市民舆情监测 基于社交网络 微博等网络公共场所 利用文本 挖掘技术 进行舆情监控 提升政府服务水平 犯罪行为预测 1 3 大数据的作用 2 工业产业 e g 基于传感数据的汽车优化 福特汽车基于车上安装的传感网 络收集的大量数据以及用户社交网络 数据 利用大数据技术建立模型 分 析用户驾驶行为以及用户情感表达 并基于挖掘结果 反馈到设计部门 对汽车本身进行优化 依赖于产品设计人 员 在设计阶段将 经验融入到产品中 产品更新慢 以数据为基础 在生 产使用过程中不断生 成数据 不断训练模 型 实现产品的自我 升级 精细化生产 基于收集到的海量数据 对生产的每一个环节进 行量化 并利用挖掘模型
8、 实现产品的最优化 降低产品使用过程中的风险 数据化运营 基于运营过程中的数据收集 实现运营过程的自 动化 数据化 智能化 用户反馈优化 1 3 大数据的作用 3 经济金融 e g 基于数据的银行卡交易预测 中国银联基于跨行转接数据 利 用过往数据与当前环境数据 进行挖 掘分析 能够有效预测未来数天内的 银行卡交易情况 为维护银行卡交易 系统的稳定运行提供了重要支撑 以数理统计等为基 础的传统经济分析 系统 强调对过去 的描述 以数据挖掘分析为基 础的新型经济分析系 统 可以实现对未来 的预测 宏观经济预测 基于对以往数据的掌握 以及当前经济及社会环 境等数据的量化 利用机器学习方法预测未来的
9、 经济指标 小微信贷 基于商户交易数据 对其未来经济状况及违约可 能进行预测 能以极低的边际成本审核发放贷款 商业关联分析 1 3 大数据的作用 4 生活服务 e g 基于用户行为的商品推荐 一号店基于用户行为数据 分析 用户兴趣 挖掘商品之间的关联 并 通过优惠推荐 购买搭配等方式推送 给用户 上线后订单量增长了266 为用户提供了更优的购物体验 以产品为中心 强 调产品能力 为所 有人提供一致化的 服务 以人为中心 强调千 人千面 为每个人提 供贴身的个性化服务 提升用户体验 精准营销 基于用户行为及属性特征 为不同的用户群体施 行不同的营销策略 利用大数据技术提升转化率 推荐系统 基于用
10、户自身及其他用户的行为数据 利用协同 过滤等技术 预测挖掘用户需求 提升服务水平 定制化服务 1 3 大数据的作用 最终 数据指引生活 决策科学化 生产精细化 经营预测化 服务个性化 量化生活 大数据思维 一切以数据为依据 为每个对象提供贴身服务 让机器从经验中学习智慧 让机器做机器擅长的 人做人擅长的 从数据中 探索未来 记录一切 量化一切 量化的目标是为了改善 让数据做决定 一切为人的体验服务 目录 1 银联对大数据的认知 2 银联的金融大数据实践 3 展望 概况 成立于 2002 年 3 月 总部位于上海 中国的银行卡联合组织 拥有 400多 家成员机构 处于银行卡产业的 核心和枢纽 地
11、位 保障银行卡跨银行 跨地区和跨境使用 制定和推广银行卡支付各项标准规范 发卡量 累计发行各类银联卡累计发行各类银联卡 43 43 亿多张亿多张 发卡量全球第一发卡量全球第一 交易量 20132013年跨行交易年跨行交易 151 151 亿笔 亿笔 32 32 万亿元万亿元 交易规模全球第二 增长率全球第一交易规模全球第二 增长率全球第一 国际化 网络延伸至境外网络延伸至境外 142142个个 国家和地区国家和地区 网络规模网络规模全球第三全球第三 品牌 国内的认知度高达国内的认知度高达 100 100 持续领跑中国银行卡市场 持续领跑中国银行卡市场 国内第一国内第一 引领我国银行卡产业 有力
12、支撑我国电子支付和电子商务产业的发展引领我国银行卡产业 有力支撑我国电子支付和电子商务产业的发展 2 1 中国银联概况 2 2 银联的数据概况 0 50 100 150 200 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 跨行交易跨行交易笔笔数 亿笔 数 亿笔 银行卡数量 43亿张 持卡人数量 超过9亿人 商户数量 超过1000万户 终端数量 超过1000万台 每秒交易笔数 峰值近2000笔 每天交易量 5000万笔 7000万笔 日均交易金额 接近1000亿元 日均核心交易数据 接近 1 TB 数据量大 质量高 宏观
13、和微观层面都很有价值数据量大 质量高 宏观和微观层面都很有价值 2 3 银联开展大数据工作的背景 银联海量支付数据处理面临挑战 银联原有基于传统数据处理技术建立的能力 难以满足一些大数据量 时限要求 高的数据需求 但每年的交易量仍在高速增长 银联自身业务发展的需要 银联业务向着精细化方向发展 精准营销 产品设计与推广 风险防控 客户关系管理等业务都需要获得数据的强力支撑 合作伙伴对多样化数据服务的需求 银联的各类合作伙伴 成员机构 商户 持卡人 政府机构 从多层面 提出了在传统数据仓库中无法实现的多样化数据服务要求 电子支付和电子商务行业发展的需要 电子支付和电子商务行业发展到一个新的阶段 亟
14、需通过深度数据挖掘 分析用户个体及市场群体的行为特征 提供个性化服务 银联的行业地位 和拥有的数据决定了银联需要在推动行业发展方面发挥重要作用 国家示范项目建设的要求 银联承担了 国家云计算示范工程项目 国家高技术服务业项目 国家 信息安全专项 等多个国家示范项目建设的任务 大数据相关工作内容是其中的 重点之一 银联的工作将带动大数据技术在金融业的应用和优化 2 4 银联大数据工作设想 整合各类数据 可以安全 便利的获取 支持对海量历史数据的即时查询 提供大跨度的数据统计分析服务 逐步深入 开展各类大数据挖掘 推动内外数据聚合 提升数据价值 各类内外数据 大数据平台 Hadoop 等基础设施
15、查询 统计 分析 挖掘 管理 服务 数据 平台 对内支持 对外合作 2 5 银联大数据工作布局 秉承原则 结合公司实际情况 紧跟业界主流方向 模型研究 基础服务 应用 服务 基础数据 基础平台 在前期跟踪研究的基础上 中国银联在在前期跟踪研究的基础上 中国银联在20122012年年5 5月正式启动大数据工作月正式启动大数据工作 内 部 应 用 外 部 合 作 2 6 实践1 建设基础平台 中国银联已经建设了数百台服务器 中国银联已经建设了数百台服务器 PBPB级数据容量规模的大数据基础平台 级数据容量规模的大数据基础平台 集成常见的分布式机器学习算法 逐步对接各类新工具和传统数据处理软件 自主
16、开展了一些技术创新研究 例如 开发专 用存储引擎 开发分布式机器学习算法 已支撑十几个应用系统在运行 基于银联云计算平台的基础设施 基于业界主流的Hadoop等大数据技术 践行更适合应用型企业的 商业化开源 路线 汇集银联核心交易数据和参数数据 吸纳部分外部数据 2 6 实践2 BCCI指数 BCCI 银行卡消费信心指数 Bankcard Consumption Confidence Index 由银联与 新华社 联合冠名发布 2009年4月9日 首次发布 获得广泛关注 随着银行卡应用领域的不断拓展 银行卡渗透程度的逐步提高 2013 年银行卡渗透率已达47 45 通过银行卡交易信息可在一定程度上解 读出居民消费水平和居民消费结构的特征及演变趋势 我们正在利用银联大数据平台的能力 进一步优化BCCI指数在数据源 计算方法 异常分析与校正等方面的工作 使BCCI指数更准确的反 映宏观消费情况 BCCI运行值 2013年1月至2014年4月 2 6 实践3 面向持卡人的数据服务 历史交易查询 电子账单 面向持卡人的数据服务 推广中 基于银联海量历史交易数据 为持 卡人提供实时交易查询及电子
