《《精编》商业智能（BI）介绍》由会员分享，可在线阅读，更多相关《《精编》商业智能（BI）介绍（51页珍藏版）》请在金锄头文库上搜索。
1、BI DWIntroduction JamesChenPSOSr Consultant 程序 算法 数据结构 NiklausWirth 数据结构离散结构线形结构 数组链表栈队列树图 算法空间复杂度时间复杂度 用户 内存中数据结构 物理数据结构 E R 业务流程 二者相辅相成 不同应用侧重不同 经典业务系统模型 Skillset数据库C J2EE net PowerDesignerER WIN OO UML面向过程 OODesignWorkflow DevelopBusinessTypeModel IdentifyBusinessInterfaces IdentifySystemInterfac
2、es Ops CreateInitialCompSpecs Architecture DiscoverBusinessOperations RefineInterfaces Ops RefineComponentSpecs Architecture DefineInterfaceInformationModels SpecifyOperationPre Postconditions SpecifyComponentInterfaceConstraints BusinessConceptModel UseCaseModel BusinessInterfaces SystemInterfaces
3、Interfaces Interfaces ComponentSpecs Architecture ComponentSpecs Architecture ComponentSpecs Architecture BusinessTypeModel ArchitecturePatterns ExistingInterfaces ExistingAssets ComponentIdentification ComponentInteraction ComponentSpecification 笑一笑 数据仓库初学者 数据仓库与数据库有什么区别 某专家 一个有仓一个没仓 BI DW的引出 统计报表需
4、求数字越来越重要报表越来越多效率越来越差 数据仓库的定义 数据仓库是在企业管理和决策中面向主题的 集成的 与时间相关的和不可修改的数据集合 BillInmon 数据仓库 DataWarehouse 是一种专为联机分析应用和决策支持系统提供数据源的结构化的数据环境数据仓库要解决的问题是从数据库中获取信息的问题 影响数据仓库的几个人物 BillInmon 数据仓库 RalphKimball 数据仓库工具箱 BernardLiautaud 商业智能 OLTP与数据仓库系统 RDBMS关系数据库 SAP ERP VSAM主机系统 EXCELWeb XML OLTP业务系统 数据仓库系统 BI系统建设方
5、法 1 直接建立BI应用 KPI指标报表多维分析即席查询数据挖掘 BI系统建设方法 2 企业数据仓库体系架构 典型物理架构 ETL DM1 ETL DM2 BAS DW1 BAS DW2 BAS OP1 BAS OP2 Bas sw01 Bas sw02 Dx sp01 Dx sp02 Dx sp03 元数据管理服务器 BAS SM1 BAS SM2 70T 企业数据仓库的目的 数据整合 建立一个企业统一的信息平台建立统一的业务数据定义建立唯一的统计分析数据源快速访问 采用适合企业BI应用的数据组织方式新需求的开发快数据获取的效率快 战略层 底层数据低粒度汇总高粒度汇总 建设数据仓库的主要任务
6、 数据仓库建模ETL前端展现组数据挖掘元数据 数据仓库引擎 NCRTeredataORACLE9以上DB2EEESybaseIQMSSQLServer 维模型的设计 IWS模型的特点 简单视图 实例 仓库底层设计考量 一 慢速变化维问题 快速变化和慢速变化 仓库底层设计考量 二 粒度问题 一天变化多次 入库时间 仓库中间层设计考量 基于用户标识多个粒度汇总综合各个数据集市效率考虑 仓库集市层设计考量 面向应用报表集市挖掘集市主题集市KPI集市维模型以最细粒度数据为主表加物化视图 数据仓库与数据集市 数据源 CUBE 报表 事实表 维表 维表 维表 维表 数据仓库 事实视图 维视图 维视图 维视
7、图 维视图 业务驱动 数据驱动 数据集市 设计技巧 星型还是雪花 组合代理键慢速变化维维度的不同层次处理聚合表的设计 ETL过程 源表结构 目标结构工具 自己编码 业务逻辑的任务已经很大实时任务和批量任务CDC的处理ODS的处理 BODateIntegratorInformaticaPowerCenterDatastageSagent 数据源 大数据量变化数据关联数据手工数据 抽取时机和最迟到达时间 数据源考量 大数据量 二十余种清单上万个文件 大小不一一天几十GB的数据 数据源考量 变化数据 实时变化未存历史 数据源考量 关联数据 没有transaction几个文件不一致怎么办 数据源考量
8、手工数据 外部录入 OLTP系统 天气社会指标集团客户信息操作型CRM 数据源考量 历史数据更新 修改昨日数据批错价 延迟话单等 ETL 抽取 转换 加载源数据的理解加载时间4小时ETL实现工具Loader汇总 数据库汇总还是文件汇总 调度 ETL 调度 一天几十GB的数据并行度 任务大小 资源 优先级调度清单类 大数据量 文件的拆分和合并 实时处理业务类 实体之间的关系复杂 稽合帐务类 数据准确 验证参数类 变化影响其他实体 告警 事先处理其他任务月末处理 前端展现 固定报表多维分析即席查询仪表盘数据挖据 BO CR Hyperion Brio CognosMicrostrategy 仪表盘
9、 OLAP分析 报表 即席查询 固定报表 格式灵活多变CrystalReportMSTRBrioReportNet 多维分析 MOLAP CognosPowerPlay HyperionEssbaseROLAP BOE MSTRHOLAP BO MSOLAP切片旋转切块钻取 OLAP分析 多角度 多层次对同一主题进行分析通过旋转 钻取 切片等技术探察数据旋转 按不同顺序组织各个维 对结果进行考察钻取 在一个维内部沿着从高到低或从低到高的方向考察数据 有上钻和下钻两种 切片 在确定某些维数据的情况下对其他维进行观察有MOLAP ROLAP HOLAP三种实现方式 OLAP设计 指标还是维度 即席
10、查询 语义层效率很关键BO语义层 仪表盘 仪表盘 KPI EPM整合了企业的整个绩效 把告警 报表 分析穿在了一起BOEPMHyperionBPM 数据挖掘 机器学习数理统计数据库预测 特征分析 客户分类SAS SPSS 数据挖掘实施的体系结构 元数据管理 什么是元数据 元数据和开发文档有何区别 为什么单单在数据仓库中如此重视元数据 文档 语音计费 GPRS计费 文档 帐务 文档 结算 营业 文档 文档 客服 文档 MIS 网管 HR 文档 文档 文档 元数据管理 续 业务元数据业务元数据用业务名称 定义 描述和别名来表示数据仓库和业务系统中的各种属性 直接供业务分析人员使用 技术元数据技术元
11、数据描述了数据源 数据转换 抽取过程 加载策略以及目标数据库的定义等 元数据管理 续 CWM1 0数据源ETL数据仓库数据集市OLAPCUBE 元数据管理 续 能分析什么 WhereUsedDependsOn事先还是事后 自动化修改 典型的项目组织架构 项目经理 首席业务分析师 ETL组组长 设计师 软件工程师 项目管理组 开发组 首席架构设计师 项目经理助理 项目管理 数据仓库组组长 设计师 软件工程师 数据展现组组长 设计师 软件工程师 数据挖掘库组组长 设计师 软件工程师 项目领导小组 客户代表 公司领导 质量经理 支持组 系统组 培训组 客户代表 测试组组长 测试工程师 项目组织架构 配置管理组 谢谢
