Oracle BI 数据仓库设计及解决方案

《Oracle BI 数据仓库设计及解决方案》由会员分享，可在线阅读，更多相关《Oracle BI 数据仓库设计及解决方案（55页珍藏版）》请在金锄头文库上搜索。

1、 1 数据仓库解决方案探讨 基于开放和标准 业已优化 集成的和可延展的 更好的性能 可靠性 安全性 更短的部署时间 更简便的管理与升级 更低的拥有成本 极大降低变更管理的风险 整体支持 Complete Open Integrated Oracle 产品体系架构平台产品及技术映射 Oracle 电子商务应用套件 EBSOracle 融合中间件 SOA Suite OSB BEPL BAM Web Service Management Oracle 网格基础架构层 Oracle10g 11g RAC WebLogic Server Oracle 展现 Oracle WebCenter BI EE

2、 RUEI Oracle 用户和安全管理 Oracle Identity Management Oracle 企业管理 Oracle Enterprise Manager Oracle 数据仓库 Partitioning Hyperion Essbase Data Mining Oracle 高性能计算 TimesTen Coherence Oracle 内容管理 Enterprise Content Management 业务流程层业务流程层 信息访问层信息访问层 商务智能门户 数据库应用服务器存储 网格基础架构层网格基础架构层 数据平台层数据平台层 流程管理 企业服务总线 规则引擎 应用1

3、应用2应用3应用4应用5 安 全 管 理 拓 扑 管 理系统的监控和调优产品生命周期管理 企 业 管 理 单点登陆用户管理目录集成 联盟身份 应用6 业务监控 其它 操作型数据库数据仓库 批量数据加载实时 准实时更新 数据获取层数据获取层 人工流程 Oracle 数据获取层 GoldenGate ELT Oracle Data Integrator Oracle BPM Suite流程管理 Oracle Exadata一体机 Oracle 人力资源 PeopleSoft Oracle 项目管理 P6 Oracle 客户关系管理 Siebel Oracle 供应链 JDE Oracle 绩效管理

4、 Hyperion 4 Oracle 数据仓库解决方案 数据仓库系统实施规划 总结 日程 5 绩效可见性是投资时最优先考虑的事项 Gartner Inc 6 什么是数据仓库 数据仓库概念的提出者 美国著名信息工程专家 William Inmon博士在90年代初提出了数据仓库概念的 一个表述 一个数据仓库通常是一个面向主题的 集成的 随时 间变化的 但信息本身相对稳定的数据集合 它用于 对管理决策过程的支持 数据仓库术语仓库术语 类类比 主题 模型 表 视图 数据集市 用户 分析结果 管理员 多维分析 固定报表 即席查询 数据挖掘 架构设计 8 ETL 配置器 数据仓库和商务智能解决方案 CRM

5、 IVR Supply ChainFinancialHR WebCTI 用户交互系统用户交互系统业务系统业务系统 其他业务和分析其他业务和分析 数据源数据源 发现和预警交互式仪表板报表 数据仓库平台 企业领导经理一线员工上下游企业 业务分析数据仓库 移动分析实时分析即时查询 商务智能分析商务智能分析 销售分析服务分析市场分析供应链分析财务分析劳动力分析 商务智能分析商务智能分析 预制的客户和业务分析 行业化和基于规则 针对Siebel SAP PeopleSoft Oracle 和其他数据源 快速实施 低成本 数据仓库平台数据仓库平台 为所有用户服务 极高的扩展性和性能 完整的 即时的数据提供

6、 提供更强的BI和分析能力 9 数据仓库逻辑结构 元数据 数据集市 数据集市 数据分析 Business Modeling 数据挖掘 查询及报表 门户 数据仓库管理 数据源 数据仓库 OLAP 数据仓库构建 数据仓库 模型 分段数据存储 抽取 转换 加载 ERP数据 其它数据 其它数据 知识工人 用户 决策人员 数据仓库及商务智能系统逻辑架构图 单点登录 和 统一身份管理 数据仓库数据加载 Oracle Data Integrator 我该如何主动管理自己应收的产品组合的风险 供应商绩效如何影响客户满意度和销售收入 服务 客户 销售 营销 分销 财务 人力资源 劳动力 运营 采购 客户 客户

7、供应商 供应商 供应商 高级的分析往往涵盖异构数据源 呼叫中心人员如何享有 培训并且通过报酬来影响销售人员的工作效 率和交叉销售业绩 Oracle Data Integrator ODI 是一个 SOA Ready 的数据集成工具 数据集成 数据仓库主数据管理实时消息数据联邦数据迁移 分散在各个系统中的异构数据源 ERP CRM 遗留系统 业务系统 如何充分利用企业现有的信息 商业智能绩效管理业务流程监控商业流程管理 数据同步 Oracle Data Integrator 支持多种数据源和目标 高性能 ODI可以方便地调用数据 库存储过程 函数 操作系 统可执行脚本 ODI支持增量数据捕获 O

8、DI支持BLOB CLOB数据类 型的完全处理 ODI支持将数据库数据转 换为XML 包括BLOB CLOB数 据类型 图形化界面 易于使用 E LT 架构 数据加载 高性能 传统的ETL架构 Extract Load Transform 新一代架构 E LT LoadExtract Transform Transform 在单独ETL服务器上进行转换 私有的引擎 性能差 高成本 在已有的关系数据库上进行转换 充分利用资源 效率高 高性能 好处 最佳的高性能 可扩展性 易管理 低成本 ODI的易用性 ODI提供图形化方式实现异构数据复制 异构数据的抽 取加载以及转换 17 数据仓库逻辑结构 数

9、据仓库数据管理 Oracle DB 大型数据仓库 特性排序 Source Oracle ST Survey 数据分区技术提高大数据量的访问速度 数据分区层次的管理 范围 hash 列表 复合分区 查询时自动分区忽略 减少对不相关数据的访问 查询语句可以在分区间并行 提高CPU和IO并发 增强的数据有效性 数据故障隔离在分区而不是表上 备份 恢复更灵活 查询的自动分区忽略 其它分区数据不受影响 order table Drop may04 Add jan04feb04mar04apr04 本地索引 数据分区的益处 q显著提高访问大表时的性能 q 只访问相关的分区 q 优化器知道或查找相关的分区

10、q预先用已知的值进行静态修剪 q 使用内部递归 SQL 查找相关的分区来进 行动态修剪使 I O 操作最小化 分区忽略 系统自动根据分区情况优化 数据访问 忽略无关的数据 分区 199819992000 register Table select sum register amt from register where reg date between 1998 and 1999 表分区使用情况 Oracle数据库的真正应用集群技术 Computer AComputer AComputer BComputer BComputer CComputer C 高可用性 保证节点故障 时连续访问 用户

11、连接自 动重定向 24 7 高伸缩性 自动负载均衡 当负载增加时可增加 节点来提高处理能力 共享磁盘技术 高速内存通道技术 可支持多节点配置 11g 中新的高级压缩技术 压缩大的应用表 9i只在数据加载时用 因此只适用数据仓库系统 11g适合所有命令 可用于业务处理系统 压缩各种数据类型 结构化数据和非结构化数据 典型压缩比 2 3 X 大量节省磁盘空间消耗2x 3x 可减少IO 加强了缓存的效率 比正常读取要快2倍 压缩的成本 能节省一半的存储空间 会增加5 的CPU使用率 Sun Oracle Database Machine 网格就是未来 高性能 低成本 冗余 线性扩展 Sun Orac

12、le Database Machine 为所有数据管理需求交付第一个 也是唯一一个完整的网格架构 Exadata Storage Server Grid 14 x高性能低成本存储服务器 100 TB raw SAS disk storage or 336 TB raw SATA disk storage 5TB 闪存 flash storage RAC Database Server Grid 8 x 高性能低成本服务器 每个服务器包括2 Intel quad core Xeons InfiniBand Network 40 Gb sec fault tolerant unified serv

13、er and storage network 26 Exadata Flash 解决随机I O瓶颈颈 Sun Oracle Database Machine有5 TB 的闪闪存存储储 Exadata Smart Cache技术缓术缓 存热热点访访 问问的数据 Allows optimization by application table 极大地降低成本 同样的I O能力 超过10 x倍的磁盘节省 低能耗 Oracle 是第一个闪存优化 的数据库系统 New 5X More I Os than 1000 Disk Enterprise Storage Array 2009 Oracle Cor

14、poration Confidential27 50X Up To Only on Exadata Exadata Hybrid Columnar Compression 数据以字段形式存储并压 缩 查询模式 针对data warehousing 最优的速度 典型的可达到10X的压缩率 按压缩比率改进扫描 Archival Mode 针对频繁 的数据访问 减少空间 典型的可达到15X的压缩压缩率 有些可达到50X 28 数据仓库逻辑结构 多维数据集市 Essbase Oracle Essbase 近十年内最具影响力的 10 大科技创新之一 全球第一的多维数据库 What if 计算 多维分配

15、多用户读 写 写回建模 BI 财务智能 维度和度量 稀疏维 40202020301510045145 3018152012831295 281083020187638114 40202020301510045145 58282350321815950209 98484370623325995354 北京总部 天津分公司 济南分公司 合肥分公司 广州分公司 深圳分公司 华北地区 华南地区 全国 商品C 商品B 商品A 商品分类 商品分类 商品全体 2003年1月 2003年2月 2003年3月 2003年4月 2003年5月 2003年6月 地区维度 时间维度 商品维度 销售额度量 Dimens

16、ion维度 地区 时间 商品 Measure度量 销售额 成员 卓越的计计算能力 最广泛的功能 简单汇总到复杂的 跨维分配 根据检索存储或计 算的结果 关系识别 条件或程序逻辑 Hyperion Essbase 可提高数据仓库性能 1 000 个并发查询 1 400 万客户帐户 响应时间磁盘占用空间 7 小时1 TB 响应时间磁盘占用空间 2 秒1 4 GB 具有 Q R 工具的数据仓库Hyperion Essbase 1 完成 仍需要 7个 小时100 完成 共计 2 秒 大数据量 多用户户支持 分析可伸缩性 国际整流器有限公司 协作需求计划 销售趋势及预测 制造能力与调配 营销分析 客户和产品盈利能力 资本预算 财务报表编制与分析 通过改进预测降低库存成本 提高收入 数据可伸缩性 安大略省交通部 超过100GB的39 维数据库提供14年的历史记录 230 000次事故 250 000段公路 450 000辆车 22个属性 185 000名受伤人员 18个属性 通过提高对意外事件影响因素的洞察力降低死亡 率 维护可伸缩性 戴姆勒 克莱斯勒公司 使用UNIX外壳脚本 AutoSys作业