王闯舟-商业智能与大数据概述PPT讲解

《王闯舟-商业智能与大数据概述PPT讲解》由会员分享，可在线阅读，更多相关《王闯舟-商业智能与大数据概述PPT讲解（71页珍藏版）》请在金锄头文库上搜索。

1、商业智能(Business Intelligence)与大数据概述 王闯舟 2013/12/16于同济大学 背景简介 1983.9 -1990.12，同济大学电气工程系， 自动控制专业，本科与硕士 1991.1-1993.1 同济大学电气工程系自动控制教研室 1993.1-1994.7 德国FESTO上海办事处 1994.7-2009.7 美国AT&T公司、NCR公司、Teradata，在Teradata担任中国区 副总经理和Senior Practice Partner，负责华北与华东地区的Professional Service 2009.7-2011.8，东南融通系统工程有限公司，负责其

2、商业智能事业部的技术 管理工作 2011.8-目前，文思创新(Vanceinfo)、文思海辉(Pactera)，负责其商业智能解 决方案业务线 从1996年开始专注于商业智能、数据仓库领域的咨询与项目实施服务，主要为金融、电 信行业的客户提供商业智能解决方案，包括数据仓库基础平台、CRM、风险、运营管 理、财务管理等领域 2 TOPICTOPIC 商业智能的应用示例 1 数据仓库解决方案架构 2 3 进入大数据时代 4 Q&A 3 什么是商业智能Business Intelligence 1.商业智能通常被理解为将企业中现有的数据转化为知识，帮 助企业做出明智的业务经营决策的工具。商业智能是对

3、商业 信息的搜集、管理和分析过程，目的是使企业的各级决策者 获得知识或洞察力（insight），促使他们做出对企业更有 利的决策。 2.商业智能不是什么新技术，它只是数据仓库、OLAP和数据 挖掘等技术的综合运用。 3.数据仓库（Data Warehouse）是一个面向主题的（ Subject Oriented）、集成的（Integrated）、相对稳定的 （Non-Volatile）、反映历史变化（Time Variant）的数据 集合，用于支持管理决策(Decision Making Support)-数 据仓库之父Bill Inmon,“Building the Data Warehou

4、se” （1991） 4 BI应用案例：管理驾驶窗 5 BI应用案例：客户获取 事例：争夺铁通的用户 实施者：中国电信某地区公司市场部 使用应用名称：数据仓库内结算话单 步骤： 1、对当月所有用户的结算费用进行排序，发现电话号码96368的结算 支出排名最高，查询之前各月份，它的排名也最高，最近一年每月平均结 算支出为3390元。 2、查询96368的用户资料为当地一烟草公司客服号码。 3、从数据仓库提取其结算话单，统计其与各个运营商之间互通的情况 ，发现其与铁通的用户互通较多，造成结算支出较大。 6 BI应用案例：客户获取 4、针对铁通经营的同样是固定电话，电信的产品完全可替代的特点， 派单

5、给大客户服务部，要求大客户经理说服烟草公司把它的分销商的 电话全部转为电信电话。 5、通过一系列综合的营销手段，成功把烟草公司分销商转换为电信用 户 成效： 铁通1842个用户转为电信用户 按门面电话的最低ARPU 40元/月计算，月创 收7.37万元，年累计创收88.42万元 7 BI应用案例：数据仓库效益（国内某股份制银行） 实施前实施后 营销名单获取时间4-6 Weeks1 Day 业务及客户统计报表产生速度4-6 Weeks1 Day 绩效分析能力N/A天1周 客户可接触率15%30% 一年能执行营销活动数量1050+ 活动平均反馈率无法评估8-30% 活动回报率 无法评估Up to

6、60% 无，贷款容易有风险强大客户单一视图能力 8 BI应用案例：在市场营销的应用（某银行信用卡中心） 基于数据仓库的客户关系管理系统，从了解客户或客户细分 开始，在制定各种客户产品渠道的营销管理策略时提供 决策信息支持，计划、执行并管理各种行销活动。CRM在银 行卡管理中提供新卡获取、客户挽留和交叉销售的功能，有 力推动银行卡业务快速发展。 Ad-hoc query Raw Customer List Ad-hoc query Raw Customer List Ad-hoc query Raw Customer List 优化客户名单 Call Center SMS 直邮客户获取营销邮件

7、，依据分行及目标客户类 型而有不同 数据仓库 2。营销活动定义、名单进行去 重、频率规则的限定和过滤 1。初始客户名单通过Brio从数据 仓库中筛选出来，并导入TCRM中 4。渠道应用接触目 标客户，传送促销 信息 5。数据仓库监控客 户开卡事件 6。使用Brio分析 营销活动成功率 3。名单和相应营销 信息传送给不同的 渠道系统 直邮 分行 CRM系统的主要模块： p 分析模块 p 沟通管理 p 个性化模板与规则 p 交互：营销渠道整合(call center/SMS/Email) p 最优化：营销评估和优化 CRM投产之后，已经执行了170多个营销活动，由于实现了目标客户营销，平均每个营销

8、活动的目标客户从百万级降低到10万， 乃至5000-1000之间，所以营销成本比系统投产前降低了90%以上。 投资回报： 9 BI应用案例：客户挽留（某银行信用卡中心） p07年10月的预测评分结果显示流失概率50以 上的客户为93975人； p在流失概率50以上客户中，其中3的客户贡 献86利润； p在挽留客户的营销活动中，将主要的资金和资源 用在3%高价值客户上，可节省97%的营销成本 ，而得到86%的效果； 流失概率5060的客户贡献度分布： 投资回报： 10 BI应用的背后 11 1. 支持前述类型应用的最佳实践是构建企业级数据仓库EDW（数据平台 ），通过一定的数据模型来整合企业内的

9、各种数据，并在此基础之上构 建相关的分析型应用 2. 这些应用很难在企业原有的OLTP系统（以交易或者流程为主）上实现 ，如果没有数据仓库，也可以通过手工或者半手工的方式来实现，但非 常麻烦，很难重复使用 3. BI系统主要通过数据分析来发现数据之间内含的业务规律，其负载类型 和负载特征与OLTP系统有很大的差异，一般都需要建立物理独立的系 统，并采用适合BI负载环境的专门技术平台-一般都是以基于MPP（ Massive Parallel Processing）技术的数据库引擎为基础 4. 目前国内主流的MPP平台有：DB2, Netezza (IBM Puredata), Oracle Ex

10、adata, Teradata, EMC Greenplum (Pivotal), HP Vertica, SAP HANA. Microsoft也推出了它的MPP数据库一体机 TOPICTOPIC 商业智能的应用示例 1 数据仓库解决方案架构 2 3 进入大数据时代 4 Q&A 12 数据仓库解决方案整体框架 企业级数据仓库基础平台将采用模块化、参数化的功能设计方式，提高了系统运行 的稳定性并有效的降低实施成本和风险。 13 EDW体系架构 应用体系 应用主题应用模式应用方案实施规划 数据体系 数据架构近源层基础层汇总层集市层 技术体系 统一交换统一监控统一调度统一发布统一管控 运维体系 日

11、常监控故障处理备份恢复系统安全 组织架构管控流程管控内容 管控体系 从应用体系、数据体系、技术体系、运维体系和管控体系五个方面阐述数据 仓库整体架构 14 应用体系特定主题的应用 15 国内外先进银行总结提炼了一套数据仓库业务应用框架，包括了客户管理、运营管理、风险 管理、财务管理、监管与信息披露五大支柱的几百种应用，为金融机构的数据仓库项目建设 和推广应用提供了极好的借鉴。 客户管理 客户获取与挽留 客户细分与价值提升 交叉销售/向上销售 事件驱动营销 营销活动管理与优化 客户生命周期管理 风险管理 合规与信息披露 资产负债管理 金融犯罪识别 信用风险 市场风险 操作风险 财务管理 财务绩效

12、管理 资本配置与管理 法规遵从与报表 产品捆绑与定价 财务管理流程优化 运营管理 交易渠道管理 销售渠道管理 渠道迁移与流程优化 绩效考核与报表 产品开发与定价 资源规划与管理 监管与信息披露 1104报表 信息披露报表 15 应用体系数据应用规划参考 16 跨领域的应用平台 客户管理类 应用 风险管理类 应用 运营管理类 应用 财务管理类 应用 监管与信息 披露类应用 零售CRM 对公CRM 客户营销 管理系统 即席查 询平台 数据挖 掘平台 报表服 务平台 满足总分 行临时数据 需求 支持业务 人员进行业 务探索 客户聚类 分析 产品购买 关联分析 客户流失 概率模型 行为评分 模型 申请

13、评分 模型 财务报表 风险报表 监管报表 个人客户 报表 对公客户 报表 总帐报表 考评报表 产品报表 1104监管报表 信息披露报表 新资本协议 应用群 资产负债管理 人行征信 人行反洗钱 特别关注客户 信息系统 关联方信息 查询系统 关键经营指标 分析系统 管理会计 系统 人行集中金融 统计 风险准备金 计提 客户利润贡 献度计算 贵宾服务 系统 客户积分 计算 客户经理 绩效考核 分行绩效 考核 渠道分析 中间业务分析 产品绩效分析 内部财务信息 分析 定价系统 个人客户内部 评级 境内机构网络 布局优化评估 战略性业务 指标 人行支付报表 分行分润 国家外管局 监管报表 高端客户 理财

14、报表 技术缓存层 近源模型层 整合模型层 共性加工层 应用集市层 数 据 仓 库 仓内集市 仓内集市仓内集市仓内集市仓内集市仓内集市 仓外集市 仓外集市仓外集市仓外集市仓外集市 应用 集市 示例 16 随机查询 具有IT和 业务两方面的知识和 技能，进行任意数据 探索和查询，回答各 种未预先定义的业务 问题。 数据挖掘 在灵活分 析的基础上，对某些 业务问题进行数据属 性的提炼和归纳，如 “评分模型”、“违 约模型”、”细分模 型”等。 应用系统 支持复杂业务逻辑的应用系统，包括营销 活动管理平台、ALM、利润贡献度、平衡计分卡 等。 实践表明，应用系统的开发离不开需求的成熟和稳定，只有通过大

15、量的灵活分析和数据挖掘 的应用，才能形成成熟稳定的应用需求，反之，应用系统在业务中的大量使用，又会促进分 析人员更加深入、有效的分析探索数据。 数据挖掘 (Modeling) 应用系统 随机查询 (Ad-hoc) 固定报表 固定报表 以固定模 式回答简单、常规的 业务管理、统计类问 题。 应用体系应用模式 17 数据仓库 数据挖掘的流程 取样 评估与确认 模型化 、数据探索与转化 清洗数据与预处理 找出并了解业务问题 部署到数据仓库 知识 建模前的预处理 通过样本组来建立预测模型 通过对照组与行动组的比较，评估模型的精准性； 通过行动组与不行动组的比较，评估执行环节的优劣。 18 应用体系应用

16、规划考虑维度 q IT部门除了考虑数据质量、数据可用性、投资预算规模之外，更重要 的是考虑应用实施能否满足业务用户目前收益心理预期等因素，要想 的大（全面，具体，全局观）。 q 数据仓库建设规划，要分步骤进行实施，起步从小做起； q 不同业务部门对业务应用的优先度要求不同，必须综合考虑不同部门 对业务应用的策略价值和投资回报评价，形成初步的规划后，再经数 据仓库管理委员会讨论确定。 数据仓库建设规划，通常从以下三个方 面进行评估： p实施难度：IT部门评估 p策略价值：决策层评估 p投资回报：应用部门评估 19 Increasing Query and Workload Complexity Increasing Data Detail, Volume, Integration & Schema Sophistication BI应用模式的类型与发展 Continuous Update & Time Sensitive Queri