《Oracle BI 数据仓库设计及解决方案》由会员分享，可在线阅读，更多相关《Oracle BI 数据仓库设计及解决方案（69页珍藏版）》请在金锄头文库上搜索。
1、 1数据仓库解决数据仓库解决方案探讨方案探讨基于开放和标准基于开放和标准业已优化业已优化, , 集成的和可延展的集成的和可延展的更好的性能更好的性能, , 可靠性可靠性, , 安全性安全性更短的部署时间更短的部署时间更简便的管理与升级更简便的管理与升级更低的拥有成本更低的拥有成本极大降低变更管理的风险极大降低变更管理的风险整体支持整体支持Complete, Open, IntegratedOracle 产品体系架构平台产品及技术映射产品体系架构平台产品及技术映射 Oracle 电子商务应用套件电子商务应用套件 EBSOracle 融合中间件融合中间件SOA SuiteOSBBEPLBAMWeb
2、 Service ManagementOracle 网格基础架构层网格基础架构层Oracle10g/11g/RACWebLogic ServerOracle 展现展现Oracle WebCenterBI EE+RUEIOracle 用用户和安全管理户和安全管理Oracle Identity ManagementOracle 企业管理企业管理Oracle Enterprise ManagerOracle 数据仓库数据仓库PartitioningHyperion EssbaseData MiningOracle 高性能计算高性能计算TimesTenCoherenceOracle 内容管理内容管理E
3、nterprise Content Management业务流程层业务流程层业务流程层业务流程层信息访问层信息访问层信息访问层信息访问层商务智能商务智能门户门户数据库数据库应用服务器应用服务器存储存储网格基础架构层网格基础架构层网格基础架构层网格基础架构层数据平台层数据平台层数据平台层数据平台层流程管理流程管理企业服务总线企业服务总线规则引擎规则引擎应用应用1应用应用2应用应用3应用应用4应用应用5安安 全全 管管 理理拓拓 扑扑 管管 理理系系统统的的监监控控和和调调优优产产品品生生命命周周期期管管理理企企 业业 管管 理理单单点点登登陆陆用用户户管管理理目目录录集集成成联联盟盟身身份份应用
4、应用6业务监控业务监控其它其它操作型数据库操作型数据库数据仓库数据仓库批量数据加载批量数据加载实时实时/准实时更新准实时更新数据获取层数据获取层数据获取层数据获取层人工流程人工流程Oracle 数据获取数据获取层层GoldenGate ELT（Oracle Data Integrator ） Oracle BPM Suite流程管理流程管理Oracle Exadata一体机一体机Oracle 人力资源人力资源 PeopleSoftOracle 项目管理项目管理 P6Oracle 客户关系管理客户关系管理 SiebelOracle 供应链供应链 JDEOracle 绩效管理绩效管理 Hyperi
5、on 4Oracle 数据数据仓库解决方案仓库解决方案数据数据仓库系统实施仓库系统实施规划规划总结总结日程日程 6什么是数据仓库什么是数据仓库数据仓库概念的提出者、美国著名信息工程专家William Inmon博士在90年代初提出了数据仓库概念的一个表述：“一个数据仓库通常是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，它用于对管理决策过程的支持。” 8ETL & 配置器配置器 数据仓库和商务智能解决方案数据仓库和商务智能解决方案CRMIVR Supply ChainFinancialHRWebCTI用户交互系统用户交互系统用户交互系统用户交互系统业务系统业务系统业务系统
6、业务系统其他业务和分析其他业务和分析其他业务和分析其他业务和分析数据源数据源数据源数据源发现和预警交互式仪表板报表报表数据仓库平台数据仓库平台企业领导企业领导经理经理一线员工一线员工上下游企业上下游企业业务分析数据仓库业务分析数据仓库移动分析移动分析实时分析实时分析即时查询即时查询商务智能分析商务智能分析商务智能分析商务智能分析销售分析销售分析服务分析服务分析市场分析市场分析供应链分析供应链分析财务分析财务分析劳动力分析劳动力分析商务智能分析商务智能分析商务智能分析商务智能分析预制的客户和业务分析行业化和基于规则 针对Siebel, SAP, PeopleSoft, Oracle, 和其他数据
7、源快速实施、低成本 数据仓库平台数据仓库平台数据仓库平台数据仓库平台为所有用户服务极高的扩展性和性能完整的、即时的数据提供提供更强的BI和分析能力 9数据仓库逻辑结构数据仓库逻辑结构元数据元数据数据集市数据集市数据集市数据集市数据分析数据分析BusinessModeling数据挖掘数据挖掘查询及报表查询及报表门户门户数据仓库管理数据仓库管理数据源数据源数据数据仓库仓库OLAP数据仓库构建数据仓库构建数据仓库数据仓库,模型模型分段数据存储分段数据存储抽取抽取,转换转换,加载加载ERP数据数据其它其它数据数据其它数据其它数据知识工人知识工人用户用户 决策人员决策人员数据仓库及商务智能系统逻辑架构图
8、数据仓库及商务智能系统逻辑架构图 单点登录单点登录和和统一身份管理统一身份管理数据仓库数据加载数据仓库数据加载Oracle Data IntegratorOracle Data Integrator（ODI) 是一个是一个 SOA-Ready 的数据集成工具的数据集成工具数据集成数据集成数据集成数据集成 数据仓库数据仓库主数据管理主数据管理实时消息实时消息数据联邦数据联邦数据迁移数据迁移分散在各个系统中的异构数据源分散在各个系统中的异构数据源分散在各个系统中的异构数据源分散在各个系统中的异构数据源 ERP-CRM- - -遗留系统遗留系统-业务系统业务系统如何充分利用企业现有的信息如何充分利用
9、企业现有的信息如何充分利用企业现有的信息如何充分利用企业现有的信息 商业智能商业智能绩效管理绩效管理业务流程监控业务流程监控商业流程管理商业流程管理- - - - - - - - -数据同步数据同步Oracle Data Integrator支持多种数据源和目标 高性能ODI可以方便地调用数据库存储过程、函数、操作系统可执行脚本ODI支持增量数据捕获ODI支持BLOB/CLOB数据类型的完全处理ODI支持将数据库数据转换为XML，包括BLOB/CLOB数据类型图形化界面，易于使用E-LT 架构架构-数据加载数据加载高性能高性能传统的传统的ETL架构架构ExtractLoadTransform新
10、一代架构新一代架构“ “E-LTE-LT” ”LoadExtractTransformTransform在单独在单独ETL服务器上进行转换服务器上进行转换私有的引擎私有的引擎性能差性能差高成本高成本在已有的关系数据库上进行转换在已有的关系数据库上进行转换充分利用资源充分利用资源效率高效率高高性能高性能好处好处最佳的高性能、可扩展性最佳的高性能、可扩展性易管理、低成本易管理、低成本ODI的易用性的易用性ODI提供图形化方式实现异构数据复制、异构数据的抽取加载以及转换 17数据仓库逻辑结构数据仓库逻辑结构数据仓库数据管理数据仓库数据管理Oracle DB 大型数据仓库大型数据仓库特性排序特性排序
11、Source: Oracle ST Survey数据分区技术提高大数据量的访问速度数据分区技术提高大数据量的访问速度数据分区层次的管理数据分区层次的管理范围、范围、 hashhash、列表、复合分区列表、复合分区查询查询时自动分区忽略，减少对不相关数据的访问时自动分区忽略，减少对不相关数据的访问查询语句可以在分区间并行，提高查询语句可以在分区间并行，提高CPUCPU和和IOIO并发并发增强增强的数据有效性的数据有效性数据故障隔离在分区而不是表上，备份、恢复更灵活数据故障隔离在分区而不是表上，备份、恢复更灵活查询的自动分区忽略、其它分区数据不受影响查询的自动分区忽略、其它分区数据不受影响orde
12、r tableDropmay04Addjan04feb04mar04apr04本地索引本地索引 数据分区的益处：数据分区的益处：q显著提高访问大表时的性能显著提高访问大表时的性能q只访问相关的分区只访问相关的分区q优化器知道或查找相关的分区优化器知道或查找相关的分区q预先用已知的值进行静态修剪预先用已知的值进行静态修剪q使用内部递归使用内部递归 SQL 查找相关的分区来进查找相关的分区来进行动态修剪使行动态修剪使 I/O 操作最小化操作最小化分区忽略分区忽略系统自动根据分区情况优化系统自动根据分区情况优化数据访问，忽略无关的数据数据访问，忽略无关的数据分区分区199819992000regis
13、ter Table Table select sum(register_amt)from register where reg_datebetween 1998and 1999表分区使用情况表分区使用情况? OracleOracle数据库的真正应用集群技术数据库的真正应用集群技术Computer AComputer AComputer AComputer AComputer BComputer BComputer BComputer BComputer CComputer CComputer CComputer C高可用性高可用性 保证节点故障保证节点故障时时连续访问连续访问, ,用户连接自用
14、户连接自动重定向（动重定向（24*724*7）高伸缩性高伸缩性 自动负载均衡，自动负载均衡，当当负载增加时可增加节负载增加时可增加节点来提高处理能力。点来提高处理能力。共享磁盘技术共享磁盘技术高速内存通道技术高速内存通道技术可支持多节点配置可支持多节点配置11g 中新的高级压缩技术中新的高级压缩技术压缩大的应用表压缩大的应用表9i只在数据加载时用，因此只适用数据仓库系统11g适合所有命令，可用于业务处理系统压缩各种数据类型压缩各种数据类型结构化数据和非结构化数据典型压缩比典型压缩比 2-3 X大量节省磁盘空间消耗2x-3x可减少IO, 加强了缓存的效率比正常读取要快2倍压缩的成本压缩的成本能节
15、省一半的存储空间会增加5%的CPU使用率Sun Oracle Database Machine网格就是未来网格就是未来高性能高性能, 低成本低成本, 冗余冗余, 线性扩展线性扩展Sun Oracle Database Machine 为所有数据管理需求交付第一个为所有数据管理需求交付第一个也是唯一一个完整的网格架构也是唯一一个完整的网格架构Exadata Storage Server Grid14 x高性能低成本高性能低成本存储服务器存储服务器100 TB raw SAS disk storage or 336 TB raw SATA disk storage5TB+ 闪存闪存(flash s
16、torage)!RAC Database Server Grid8 x 高性能低成本服务器高性能低成本服务器每个服务器包括每个服务器包括2 Intel quad-core XeonsInfiniBand Network40 Gb/sec fault-tolerant unified server and storage network26Exadata Flash 解决随机解决随机I/O瓶瓶颈颈Sun Oracle Database Machine有有5+ TB 的的闪闪存存存存储储Exadata Smart Cache技技术缓术缓存存热热点点访访问问的数据的数据Allows optimiza
17、tion by application table极大地降低成本极大地降低成本同样的同样的I/O能力能力,超过超过10x倍的磁盘节省倍的磁盘节省低能耗低能耗Oracle 是第一个闪存优化是第一个闪存优化的数据库系统的数据库系统New5X More I/Os than 1000 Disk Enterprise Storage Array 2009 Oracle Corporation - Confidential2750XUp ToOnly on ExadataExadata Hybrid Columnar Compression数据以字段形式存储并压数据以字段形式存储并压缩缩查询模式查询模式
18、针对针对data warehousing最优的速度最优的速度典型的可达到典型的可达到10X的压缩率的压缩率按压缩比率改进扫描按压缩比率改进扫描Archival Mode 针对频繁针对频繁的数据访问的数据访问减少空间减少空间典型的可达到典型的可达到15X的的压缩率率有些可达到有些可达到50X 28数据仓库逻辑结构数据仓库逻辑结构多维数据集市多维数据集市EssbaseOracle Essbase近十年内最具影响力的 10 大科技创新之一全球第一的多维数据库What-if 计算多维分配多用户读/写写回建模 BI财务智能维度和度量维度和度量稀疏维稀疏维4020202030151004514530181
19、52012831295281083020187638114402020203015100451455828235032181595020998484370623325995354北北京京总总部部天天津津分分公公司司济济南南分分公公司司合合肥肥分分公公司司广广州州分分公公司司深深圳圳分分公公司司华华北北地地区区华华南南地地区区全全国国商品商品C商品商品B商品商品A商品商品分类分类商品商品分类分类商品全体商品全体2003年年1月月2003年年2月月2003年年3月月2003年年4月月2003年年5月月2003年年6月月地区维度地区维度时间维度时间维度商品商品维度维度销售额度量销售额度量Dimens
20、ion维度维度 地区地区时间时间商品商品Measure度量度量销售额销售额成员成员卓越的卓越的计算能力算能力最广泛的功能： 简单汇总到复杂的跨维分配根据检索存储或计算的结果关系识别条件或程序逻辑Hyperion Essbase 可提高数据仓库性能可提高数据仓库性能1,000 个并发查询个并发查询 1,400 万客户帐户万客户帐户响应时间响应时间磁盘占用空间磁盘占用空间7 小时1 TB响应时间响应时间磁盘占用空间磁盘占用空间.2 秒1.4 GB具有具有 Q&R 工具的数据仓库工具的数据仓库Hyperion Essbase1% 完成，仍需要完成，仍需要 7个个 小时小时100% 完成，共计完成，共
21、计 .2 秒秒大数据量、多用大数据量、多用户支持支持分析可伸缩性国际整流器有限公司国际整流器有限公司 协作需求计划销售趋势及预测制造能力与调配营销分析客户和产品盈利能力资本预算财务报表编制与分析通过改进预测降低库存成本、提高收入通过改进预测降低库存成本、提高收入数据可伸缩性安大略省交通部安大略省交通部超过100GB的39 维数据库提供14年的历史记录230,000次事故250,000段公路450,000辆车（22个属性）185,000名受伤人员（18个属性）通过提高对意外事件影响因素的洞察力降低死亡通过提高对意外事件影响因素的洞察力降低死亡率率维护可伸缩性戴姆勒戴姆勒克莱斯勒公司克莱斯勒公司使
22、用UNIX外壳脚本、AutoSys作业和Tivoli TME10监控实现过程自动化4个物理服务器上运行45个数据库服务器及应用日志监控每晚更新及计算备份与恢复降低管理成本，提高应用程序的可用性降低管理成本，提高应用程序的可用性用户可伸缩性NTT DoCoMo 37个业务部门及172个办事处，共30,000名用户移动电话销售客户账单资产、合同、采购与物流 人力资源 财务- P/L、C/F、B/S、虚拟结算实时可视性实时可视性 35数据仓库逻辑结构数据仓库逻辑结构数据挖掘数据挖掘Data MiningOracle 数据挖掘数据挖掘 Oracle in-Database 挖掘引擎挖掘引擎数据挖掘功能
23、 (Server)PL/SQL & Java APIs开发 & 部署预测分析应用大量的 DM 算法 (12)分类 回归聚类异常检测 关联规则 (购物篮分析) 结构化 & 非结构化数据 (文本挖掘）Oracle 数据挖掘器 (GUI)简易化的, 直观的数据挖掘预测分析从电子表格中“1-click data mining”Data WarehousingETLOLAPData MiningOracle Oracle DBDBStatisticsOracle BI EE 管理员可以看到Oracle 数据挖掘结果Oracle BI EE 定义了最终用户展现的结果ODM和和Oracle BI EE的整合
24、的整合预测分析预测分析Oracle 数据挖掘数据挖掘 & Oracle BI EE了解更多了解更多!大量的数据挖掘算法 和(免费的) 统计功能挖掘数据, 探索更全面的隐含信息, 进行预测做的更多做的更多!挖掘新的信息用Oracle BI EE 做部署构建的应用可以帮助你“胜在分析上”花的更少花的更少!排除冗余的数据管理和数据分析系统利用Oracle 数据库技术的投资Data WarehousingETLOLAPData MiningOracle Oracle DBDBStatistics您可以您可以 ： 44数据仓库逻辑结构数据仓库逻辑结构数据仓库展现数据仓库展现BIEEOracle BI E
25、E PlusKPI 指标可以钻取到明细动态警告简报下载便于离线分析视图选择，动态改变分析方式轻松在仪表盘，即席查询，高级报表等功能间切换图形钻取，追寻问题根源指标选择，快速切换关注焦点Oracle BI EE Plus直观的维度展示和选取轻松进行钻取、旋转、切片等复杂分析快速添加各种数据视图 54扩展的数据仓库分析平台扩展的数据仓库分析平台Oracle能提供什么产品能提供什么产品扩展功能扩展功能Oracle 数据仓库和商务智能产品数据仓库和商务智能产品Oracle 扩展功能产品扩展功能产品及时响应及时响应Data IntegratorBAMTimesTen闭环分析闭环分析SecurityPor
26、talPartitioningCompressionData MiningOLAP EssbaseWarehouse BuilderBIEEBI Apps事件驱动事件驱动OSB+CEPBPELBPA地理信息地理信息Spatial 56Oracle 数据数据仓库解决方案仓库解决方案数据仓库系统实施规划数据仓库系统实施规划总结总结日程日程 58数据仓库和商务智能系统实施数据仓库和商务智能系统实施5个关键因素个关键因素为什么为什么?开始阶段树立信用度和信心开始阶段树立信用度和信心怎么做怎么做?确认谁对确认谁对DW/BI 最感兴趣最感兴趣实施难度评估实施难度评估Choose “Right” Busin
27、ess UnitBase on ROIPeriodic EvaluationInternal TrainingEnd Users Involvement 59为什么为什么?在开始阶段取得成果在开始阶段取得成果怎么做怎么做?高价值和高价值和ROI较高的数据可用性较高的数据可用性更好的数据质量更好的数据质量更好的数据组织更好的数据组织R eturnO n I nvestmentChoose “Right” Business UnitBase on ROIPeriodic EvaluationInternal TrainingEnd Users Involvement数据仓库和商务智能系统实施数据仓
28、库和商务智能系统实施5个关键因素个关键因素 60为什么为什么?确定下一阶段的目标确定下一阶段的目标怎么做怎么做?评估当前使用的频率评估当前使用的频率评估当前的评估当前的ROI评估用户需求评估用户需求Choose “Right” Business UnitBase on ROIPeriodic EvaluationInternal TrainingEnd Users Involvement数据仓库和商务智能系统实施数据仓库和商务智能系统实施5个关键因素个关键因素 61为什么为什么?在内部和外部推广在内部和外部推广怎么做怎么做?使用经验推广使用经验推广ETLReportOperation Capa
29、bility提升最终用户分析能力提升最终用户分析能力分析数据分析数据Choose “Right” Business UnitBase on ROIPeriodic EvaluationInternal TrainingEnd Users Involvement数据仓库和商务智能系统实施数据仓库和商务智能系统实施5个关键因素个关键因素 62为什么为什么?高层领导的参与程度直接决定了数据仓库的建设效高层领导的参与程度直接决定了数据仓库的建设效率率 “一把手工程一把手工程”业务用户的参与能保证项目不偏离业务目标，最终业务用户的参与能保证项目不偏离业务目标，最终用户对系统的评价是数据仓库是否成功的标准
30、用户对系统的评价是数据仓库是否成功的标准怎么做怎么做?尽量让高层领导了解实施的每个阶段才能充分协调尽量让高层领导了解实施的每个阶段才能充分协调各类资源各类资源业务用户充分参与到项目每一个实施的步骤，特别业务用户充分参与到项目每一个实施的步骤，特别是测试的工作是测试的工作Choose “Right” Business UnitBase on ROIPeriodic EvaluationInternal TrainingEnd Users Involvement数据仓库和商务智能系统实施数据仓库和商务智能系统实施5个关键因素个关键因素 63DW/BI 系统实施方法论系统实施方法论需求分析需求分析信
31、息收集信息收集模型设计模型设计数据仓库架构设计数据仓库架构设计商务智能应用开发商务智能应用开发运行维护运行维护数据抽取数据抽取RA 需求分析需求分析IC 信息收集信息收集AD 数据仓库架数据仓库架构设计构设计MD 模型设计模型设计FA 商务智能应商务智能应用开发用开发数据抽取数据抽取RM 应用维护应用维护Oracle DW KM38 Key Factors1 启动启动2 问题准备问题准备3 用户培训用户培训4 用户访谈用户访谈5 需求分析需求分析1 业务系统培训业务系统培训2 材料收集材料收集3 系统级分析系统级分析4 表级分析表级分析5 数据样本分析数据样本分析6 数据模型主题分类数据模型主
32、题分类7 需求确认需求确认1 数据建模培训数据建模培训2 统一业务域定义统一业务域定义3 数据模型定义数据模型定义4 数据模型验证数据模型验证5 物理数据模型定义物理数据模型定义6 模型维护模型维护1 数据库设计数据库设计2 平台架构设计平台架构设计3 ETL 架构设计架构设计4 元数据架构设计元数据架构设计5 商务智能架构设计商务智能架构设计1 ETL 阶段计划阶段计划2 关键事项关键事项3 源数据映射源数据映射4 转换工作开发转换工作开发5 开发和测试调整开发和测试调整6 任务测试任务测试1 平台搭建平台搭建2 分析模型设计分析模型设计3 报表开发报表开发4 业务验证业务验证5 需求变化管
33、理需求变化管理1 系统上线系统上线2 上线调整上线调整3 定期维护定期维护4 系统存档系统存档 64Oracle 数据数据仓库解决方案仓库解决方案数据仓库系统实施规划数据仓库系统实施规划总结总结日程日程媒体媒体 / 能源能源航空航空 / 工业工业保险保险 / 医疗医疗生命科学生命科学其他其他通信通信汽车汽车金融金融 / 银行银行消费品消费品高科技高科技决策支持客户决策支持客户部分部分案例案例 68Oracle的不同之处的不同之处提供了全面的全面的端对端的解决方案，包括FMS, HCM, SCM, CRM 和 OTM等应用系统和信息基础架构拥有最多的最多的用户。Oracle应用和信息基础架构产品在港口行业中市场占有率最高为顶级的制造业用户提供成熟的成熟的应用系统和信息基础架构Only OracleOperating SystemDatabaseFusionMiddlewareTools / J2EEApplicationsConsulting
