《电信数据仓库设计》由会员分享，可在线阅读，更多相关《电信数据仓库设计（76页珍藏版）》请在金锄头文库上搜索。
1、陕陕 西西 省省 电电 信信 有有 限限 公公 司司电信数据仓库设计Stillwatersrundeep.流静水深流静水深,人静心深人静心深Wherethereislife,thereishope。有生命必有希望。有生命必有希望陕陕 西西 省省 电电 信信 有有 限限 公公 司司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕陕 西西 省省 电电 信信 有有 限限 公公 司司总体架构总体架构EDWODS数数据据总总线线ADB使用使用人员人员CIF语义层语义层综合综合统计统计分析分析平台平台EDACIFCRM计费业业务务及及管管理理系系统统。数据总线数据总线业务操作数据
2、客户资料业务运营数据业务运营数据统一经营数据共享统一经营数据共享业务分析结果统计分析数据源统计分析数据源统计分析数据源统计分析数据源决策信息业务查询结果业务分析结果业务操作数据客户资料业务运营数据业务运营数据业务运营数据业务分析结果业务分析结果陕陕 西西 省省 电电 信信 有有 限限 公公 司司整体目标整体目标打破信息孤岛，实现数据共享数据共享，构建企业数据全集企业数据全集综合统计分析平台的数据支撑综合统计分析平台的数据支撑，建立从数据转换为价值的体系，让数据发挥出企业核心资源的效用，实现数据的增值，彻底改善彻底改善IT对于业务的支撑能力，尤其是对分析决策的支持对分析决策的支持能力能力提供统一
3、的数据支撑和标准规范的对外接口统一数据管理，保证数据准确和可追踪管理，支持内控，构建企业统一的数据管理平台企业统一的数据管理平台 陕陕 西西 省省 电电 信信 有有 限限 公公 司司系统定位系统定位按照陕西电信规划模型，整合各业务系统按照陕西电信规划模型，整合各业务系统的数据，实现企业范围的数据统一视图的数据，实现企业范围的数据统一视图通过技术和管理手通过技术和管理手段，实现面向经营段，实现面向经营分析决策的分析决策的企业级企业级统一共享的数据管统一共享的数据管理平台理平台通过对数据的组织加工，实现从数通过对数据的组织加工，实现从数据到信息的转变；提供对综合统计据到信息的转变；提供对综合统计分
4、析平台和其它系统的数据支撑分析平台和其它系统的数据支撑综合数据仓库平台（综合数据仓库平台（EDW）定位：）定位： 打破信息孤岛，实现数据共享。打破信息孤岛，实现数据共享。 数据支撑与价值提升。数据支撑与价值提升。 构建企业级数据管理平台。构建企业级数据管理平台。EDAEDW陕陕 西西 省省 电电 信信 有有 限限 公公 司司建设范围建设范围数据范围数据范围：企业级数据整合和组织，以支撑综合统计分析平台中各主题分析、分析查询、报表统计等和其它系统的数据需求。 功能范围功能范围：数据组织管理、ETL管理、元数据管理、数据质量管理、数据整合等。陕陕 西西 省省 电电 信信 有有 限限 公公 司司与综
5、合统计分析平台与综合统计分析平台-分工界面分工界面UniverseUniverseUniverseUniverse综综合合统统计计分分析析平平台台细节数据层细节数据层细节数据层细节数据层汇总数据层汇总数据层汇总数据层汇总数据层应用集市层应用集市层应用集市层应用集市层数数据据管管理理综综合合数数据据仓仓库库平平台台数据整合数据整合CubeCubeCubeCube企业仪表盘企业仪表盘企业仪表盘企业仪表盘即席查询即席查询即席查询即席查询企业报表企业报表企业报表企业报表预警预测预警预测预警预测预警预测OLAPOLAPOLAPOLAP分析分析分析分析 业务应用业务应用 业务分析业务分析分工界面分工界面临
6、时区临时区临时区临时区陕陕 西西 省省 电电 信信 有有 限限 公公 司司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕陕 西西 省省 电电 信信 有有 限限 公公 司司功能架构功能架构数数据据处处理理数数据据管管理理数据数据数据数据获取获取获取获取数据数据数据数据提供提供提供提供数据数据数据数据整合整合整合整合文件完整文件完整性检验性检验接口文件接口文件管理管理接口文件接口文件异常处理异常处理 数据数据 获取获取 清洗转换清洗转换合并合并细节数据细节数据生成生成汇总数据汇总数据生成生成数据数据异常处理异常处理 集市数据集市数据生成生成ETL调度调度和监控和监控 数
7、据数据 备份备份 数据数据 检验检验 数据数据 提供提供数据模型数据模型管理管理元数据元数据管理管理数据质量数据质量管理管理安全性安全性管理管理系统系统监控监控系统备份系统备份和恢复和恢复陕陕 西西 省省 电电 信信 有有 限限 公公 司司逻辑架构逻辑架构综合结算系统统一客户资料智能网计费帐务系统10000号手工录入数据数据源财务系统 综合受理预处理抽取清洁转换装载ETL-1 细节细节数据层数据层 汇总汇总数据层数据层 临时区临时区错误数据数据仓库接口数据采集接口文件格式管理ETL规则管理 商业元数据管理数据仓库元数据管理 报表元数据管理系统监测/告警安全管理日志管理接口管理元数据管理系统管理
8、统计报表立方体数据生成抽取转换汇总装载ETL-2格式检查和转换 应用应用集市层集市层综合统计分析平台 XX系统陕陕 西西 省省 电电 信信 有有 限限 公公 司司外部数据数数据据获获取取细节数据层CRM、计费帐务、结算、10000号、财务等系统数据文件临时存放区数据文件临时存放区通知重传通知重传读取读取数据格式转换数据格式转换数据获取数据获取临时区临时区错误数据错误数据陕陕 西西 省省 电电 信信 有有 限限 公公 司司ETL-1细节数据层细节数据层汇总汇总数据层数据层ETL-2数据提供模块数据仓库连接控制数数据据整整合合元数据系统管理ETL-1抽取规则ETL-2抽取规则ETL-1日志ETL-
9、2日志数据仓库元数据商业元数据ETL-1/2/3规则管理ETL-1/2/3日志管理商业元数据管理数据仓库元数据查看ETL-1/2/3过程监控数据仓库数据访问日志管理数据仓库数据更新调度管理数据整合数据整合临时区应用集市层应用集市层ETL-3ETL-3抽取规则ETL-3日志ETL-3陕陕 西西 省省 电电 信信 有有 限限 公公 司司抽取数据抽取数据元数据系统管理根据转换规则根据转换规则转换数据转换数据确定数据格式确定数据格式按既定方式按既定方式提供数据提供数据EDW网络传送地址及安全数据数据传送日志数据抽取、转换规则传送目录及格式抽取、转换规则管理传送格式管理传送日志管理传送目录及安全管理提供
10、的数据数据提供数据提供数据提供陕陕 西西 省省 电电 信信 有有 限限 公公 司司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕陕 西西 省省 电电 信信 有有 限限 公公 司司数据分层设计数据分层设计业务需求的满足从上到下是分析逐步深入、数据需求细化的过程数据处理的过程从下到上是粒度加粗、更加面向应用的过程数据分层是根据数据处理、需求满足过程的特点，并考虑系统效率、数据稳定性而设计的。细节数据层细节数据层细节数据层细节数据层（按企业模型整合（按企业模型整合（按企业模型整合（按企业模型整合的当前细节数据）的当前细节数据）的当前细节数据）的当前细节数据）汇总数据层汇总
11、数据层汇总数据层汇总数据层（轻度汇总数据）（轻度汇总数据）（轻度汇总数据）（轻度汇总数据）应用集市层应用集市层（高度汇总数据）（高度汇总数据）临时区临时区临时区临时区（原始细节数据）（原始细节数据）（原始细节数据）（原始细节数据）业务业务业务业务数据数据数据数据业务需求满足的过程数据处理的过程陕陕 西西 省省 电电 信信 有有 限限 公公 司司临时区临时区以表的形式存放生产系统传送过来的数据以表的形式存放生产系统传送过来的数据生产系统包括：统一客户资料、综合受理、计费帐务、综合结算、10000号、财务、IN等用于进行数据整合的过程处理和异常处理用于进行数据整合的过程处理和异常处理原则：原则：采
12、用同生产系统相同的表结构去掉与分析无关的属性字段增加时间属性字段陕陕 西西 省省 电电 信信 有有 限限 公公 司司细节数据层的主题域细节数据层的主题域陕陕 西西 省省 电电 信信 有有 限限 公公 司司ER概念模型总图概念模型总图资源资源市场营销市场营销 产品产品 事件事件 服务服务 帐务帐务 客户客户 企业企业 供应商供应商/合作伙伴合作伙伴企业发起市场营销客户接受市场营销企业提供产品客户购买产品客户发起/经历事件营销类事件产品付费关系客户指定帐务关系，为产品付费产品提供相应服务客户使用服务产品类事件帐务类事件服务类事件服务使用产生帐务企业提供服务服务使用资源产品使用资源企业拥有资源供应商
13、提供资源企业与供应商合作供应商帐务企业帐务通用实体通用实体陕陕 西西 省省 电电 信信 有有 限限 公公 司司细节数据层建模细节数据层建模数据仓库数据仓库数据源数据源陕西规划数据模型陕西规划数据模型 源系统模型 源系统数据分析 陕西电信规划数据模型适合数据仓库的 主题域 层面 实体 属性 关系建模原则：建模原则： 去掉与分析无关的实体、属性 将影响效率的竖表（如属性表等）变为横表 增加时间属性 记录变更历史 增加映射字段或映射表 反正则化处理, 增加冗余信息陕陕 西西 省省 电电 信信 有有 限限 公公 司司第三范式（第三范式（ER图）图）第三范式要求第三范式要求1、每个属性的值唯一，不具有多
14、义性；2、每个非主属性必须完全依赖于整个主键，而非主键的一部分；3、每个非主属性不能依赖于其他关系中的属性，因为这样的话，这种属性应该归到其他关系中去。不满足第三范式的举例不满足第三范式的举例class(class_id, class_name, teacher_id, teacher_name) 规范化后规范化后class(class_id, class_name, teacher_id)teacher(teacher_id, teacher_name)总结总结确定主键和非主键属性的关系关注逻辑层面上的实体和关系，不考虑可用性问题需物化为表后，方可在DW创建、使用陕陕 西西 省省 电电 信信
15、 有有 限限 公公 司司反正则化处理反正则化处理处理方法处理方法增加冗余列增加冗余列避免查询时进行表连接操作增加派生列增加派生列避免查询时连接和使用聚合函数重新组表重新组表提高性能和效率处理策略处理策略对订单，增加“市场活动ID”对产品实例，增加“订单ID”对话单、帐单，除原有的“产品实例ID”，增加“客户ID”对话单，增加“帐务周期ID、时段ID、开始时间”等对客户/用户/帐户，分为当前信息表和历史信息表对话单、帐单，采用按“业务本地网”分表的方式对客户，分为“社会属性ID、自然属性ID、消费属性ID”其它陕陕 西西 省省 电电 信信 有有 限限 公公 司司汇总数据层汇总数据层存放数据存放数
16、据资料汇总、清单汇总、关联汇总、宽表等用途用途提高性能，防止大量的细节数据访问数据沉淀，粒度较粗的数据可以保存更长时间承上启下，连接数据驱动的3NF细节数据和需求驱动的Star-Schema数据原则原则将客户基础资料变更的时间粒度增粗对清单/帐单类数据在客户/用户/帐户级别上汇总对经常使用的关联操作，提前进行关联汇总，以表的形式存放单条记录包括用户基本信息、产品选择和使用量、费用信息，方便业务人员使用陕陕 西西 省省 电电 信信 有有 限限 公公 司司应用集市层应用集市层以多维模型、宽表、3NF等方式存放高度汇总数据直接支持前端分析应用应用集市设立的原则：按相同处理功能：如KPI集市、报表集市
17、等按业务分析主题：如市场竞争集市、市场营销集市等按特定分析目的：如数据挖掘集市、收入保障集市等其它陕陕 西西 省省 电电 信信 有有 限限 公公 司司雪花模式雪花模式是对星型模式的扩展（维度）日期、地区等多层次的维度均可类似扩展优点：在每个维中最小的数据冗余；增加建模的灵活性（维层次结构可以增加，无需改变事实表）；对复杂的维是非常有用的缺点：复杂的查询，包含很多连接；性能可能会较差陕陕 西西 省省 电电 信信 有有 限限 公公 司司星型模式星型模式优点：强调容易使用和性能；消除或降低雪花模型的缺点不足：数据准备慢，随业务变化的能力差一种多维的数据关系，由一个事实表和一组维表组成。每个维表表达一
18、个维度维度，所有维度字段组成事实表的复合主键。事实表的非主属性称为事实事实，都是汇总出来的数值型数据。维大都是文字、时间等类型的数据 陕陕 西西 省省 电电 信信 有有 限限 公公 司司平衡星型和雪花的方法平衡星型和雪花的方法StoreSalesTimeProductCustomer对仅牵涉到简单的单层维度的事实表，采用星型模式对牵涉到多层维度但纬度深度仅在一个方向增加的事实表，采用星型模式；在纬度深度超过3层的情况下，采用雪花模式对牵涉到多层维度且纬度深度在多个方向增加的事实表，采用星型和雪花混合模式陕陕 西西 省省 电电 信信 有有 限限 公公 司司应用集市层建模应用集市层建模需求建模需求
19、建模时间变化建模 MDDM模型优化和增强容量估计确定维度、指标建立事实和维R-OLAP 设计优化多维模型多维模型业务分析模型业务分析模型面向过程的需求面向信息的需求用户需求用户需求数据仓库模型数据仓库模型StoreSalesTimeProductCustomer陕陕 西西 省省 电电 信信 有有 限限 公公 司司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕陕 西西 省省 电电 信信 有有 限限 公公 司司ETL架构与流程架构与流程陕陕 西西 省省 电电 信信 有有 限限 公公 司司根据业务和数据情况，采用不同的数据整合路线根据业务和数据情况，采用不同的数据整合路线
20、细节数据层细节数据层细节数据层细节数据层汇总数据层汇总数据层汇总数据层汇总数据层应用集市层应用集市层临时区临时区临时区临时区T1F1S1T2D1F2S2业务业务数据数据数据建模数据建模数据建模数据建模数据建模数据建模数据建模数据建模D2“急用先行”ETLDW正常ETL数据建模陕陕 西西 省省 电电 信信 有有 限限 公公 司司DFD顶层图顶层图陕陕 西西 省省 电电 信信 有有 限限 公公 司司数据抽取策略数据抽取策略源源数数据据分分类方方式式数据数据操作操作分分类数据特征数据特征主要数据内容主要数据内容流水型增长（INSERT）数据按增量方式产生，不涉及对已有数据的更新操作清单、帐单、定单等
21、变化更新（UPDATE）对已有数据进行更新资源配置信息等两者结合（INSERT/DELETE+UPDATE）按增量方式产生新数据的同时，还对已有数据进行更新客服记录等数据数据量量大清单、帐单等相对较小资源管理、系统管理类数据陕陕 西西 省省 电电 信信 有有 限限 公公 司司数据清理过程数据清理过程数据分析和业务逻辑理解数据分析和业务逻辑理解通过通过ETL过程进行数据整合过程进行数据整合 错误数据反馈回业务系统错误数据反馈回业务系统业务系统数据问题整改业务系统数据问题整改分析数据源理解业务规则格式处理 、统一编码字段取舍和上下文处理数据校验和稽核对问题数据导出： a、数据重复 b、属性值错误
22、c、数据不一致数据质量的管控陕陕 西西 省省 电电 信信 有有 限限 公公 司司数据整合原则数据整合原则“基础资料（三户、产品实例等）基础资料（三户、产品实例等）”的统一的统一确定主系统、数据流向和逻辑关系以统一客户资料为准对计费帐务、综合结算、10000号、IN等系统的基础资料进行整合系统冗余数据的处理：以主系统为主，其它系统做为补充，按照数据流向和逻辑关系进行整合，确保数据的一致性和完整性“产品、商品产品、商品”等关键业务编码的统一等关键业务编码的统一以综合受理为准对各系统的业务编码域标准编码之间进行映射“产品实例到达数、计费时长产品实例到达数、计费时长”等统计指标的统一等统计指标的统一统
23、一统计指标的含义、单位、周期、统计方法等建立不同主题域之间的关联关系建立不同主题域之间的关联关系建立不同域之间的关联关系，如客户域与产品域、事件域、帐务域、资源域、市场营销域等之间的关联关系业务系统的中间汇总结果会纳入综合数据仓库平台，用于快速支持分析应用的开发和进行数据稽核。陕陕 西西 省省 电电 信信 有有 限限 公公 司司ETL开发开发创建Repository创建Project创建Data Store创建Job创建Data Flow创建Work FlowJob部署Job执行运行监控RepositoryProject：XX平台 Job执行Job部署运行监控 Project：综合数据仓库平台
24、Data Store：源和目标定义计费帐务/统一客户资料EDWJob1：用户整合Work Flow1：用户清洗转换Data Flow1：用户清洗Data Flow2：用户转换Work Flow2：记录合并Job2：产品整合Data Flow：产品整合示例：示例：陕陕 西西 省省 电电 信信 有有 限限 公公 司司ETL开发考虑的几个方面开发考虑的几个方面文件接口格式的统一制订与正确性校验文件接口格式的统一制订与正确性校验采用增量、全量等灵活的抽取时机与策略，减少对业务系统采用增量、全量等灵活的抽取时机与策略，减少对业务系统的影响的影响分段并行处理，提高系统性能分段并行处理，提高系统性能负载均衡
25、，提高可靠性和系统性能负载均衡，提高可靠性和系统性能合理合理ETLETL在专业工具和数据库之间的分配，大数据量汇总利用在专业工具和数据库之间的分配，大数据量汇总利用数据库性能数据库性能合理设计合理设计ETLETL时机和策略，确保数据产生的准时性和可用性时机和策略，确保数据产生的准时性和可用性统一的统一的ETLETL流程调度、监控和维护，实现流程调度、监控和维护，实现ETLETL的集中管理的集中管理陕陕 西西 省省 电电 信信 有有 限限 公公 司司数据质量原则数据质量原则完整性完整性：对一个业务，一个客户，一个产品，一个营销活动，一个客户的性质等进行缺失考察。有效性有效性：数据包含了一个有效的
26、数据格式或值 一致性一致性：数据仓库系统内数据定义的统一、口径的一致性唯一性唯一性：经营分析系统数据定义的唯一性 正确性正确性：ETL过程正确性/加工过程正确性/数据整合正确性/模型正确性/展现正确性/查询正确性/核对过程是否充分准确性准确性：在准确性基础上的精度和近似规则 可用性可用性：主要体现在使用的效率上 时效性时效性：能够按照业务需求集市产生所需的数据清晰性清晰性：清晰定义每一个数据的来龙去脉，没有歧义。 充足性充足性：在保证数据正确性和准确性基础上是否能对主要业务专题提供足够的数据进行足够精度的分析需求 陕陕 西西 省省 电电 信信 有有 限限 公公 司司数据质量保障数据质量保障汇总
27、数据层汇总数据层应用集市层应用集市层细节数据层细节数据层临时区临时区陕陕 西西 省省 电电 信信 有有 限限 公公 司司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕陕 西西 省省 电电 信信 有有 限限 公公 司司集成架构集成架构综合数据仓库平台（综合数据仓库平台（EDWEDW）统统一一数数据据仓仓库库平平台台BSSBSS业务系统业务系统ADBADBMSSMSS业务系统业务系统ADBADBOSSOSS业务系统系统业务系统系统ADBADBETLETL数数据据E ET TL L业业务务系系统统E EA AI I平平台台/ /数数据据接接口口综合统计分析平台综合统计分析
28、平台元数据管理ETL管理数据质量管理数据提供其它应用其它应用陕陕 西西 省省 电电 信信 有有 限限 公公 司司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕陕 西西 省省 电电 信信 有有 限限 公公 司司数据仓库的安全控制类型数据仓库的安全控制类型IBM DB2IBM DB2IBM DB2陕陕 西西 省省 电电 信信 有有 限限 公公 司司用户分组授权用户分组授权陕陕 西西 省省 电电 信信 有有 限限 公公 司司访问角色与安全模型访问角色与安全模型获取增、删、改权限获取增、删、改权限查询数据库查询数据库修改数据库修改数据库表数据库表数据库修改用户组修改用户组修
29、改用户修改用户1修改用户修改用户2查询用户组查询用户组访问用户访问用户1访问用户访问用户2维护用户组维护用户组维护用户维护用户1维护用户维护用户2查询请求查询请求增、删、改请求增、删、改请求获取查询权限获取查询权限查询请求查询请求创建、删除表；备份与恢复创建、删除表；备份与恢复陕陕 西西 省省 电电 信信 有有 限限 公公 司司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕陕 西西 省省 电电 信信 有有 限限 公公 司司物理拓扑图物理拓扑图 DCN网络网络各地市各地市各地市各地市数据库服务器ETL/OLAP服务器BOE服务器WEB 服务器陕陕 西西 省省 电电 信
30、信 有有 限限 公公 司司DI软件架构软件架构设计器设计器(Windows)元数据报告元数据报告(Web)管理器管理器(Web)资料库资料库作业服务器作业服务器(Unix)引擎引擎访问服务器访问服务器(Unix)实时服务实时服务本地资料库本地资料库1本地资料库本地资料库2本地资料库本地资料库n中央资料库中央资料库测试资料库测试资料库生产资料库生产资料库在综合数据仓库平台开辟单独的数据库空间，用于资料库的存放。在综合数据仓库平台开辟单独的数据库空间，用于资料库的存放。在综合数据仓库平台开辟单独的数据库空间，用于资料库的存放。在综合数据仓库平台开辟单独的数据库空间，用于资料库的存放。陕陕 西西 省
31、省 电电 信信 有有 限限 公公 司司DI软件部署软件部署DI服务器(Job Server)Local RepositoryCentral Repository项目组1开发客户端项目组2开发客户端项目组3开发客户端Job ServerJob ServerJob ServerRepository DB陕陕 西西 省省 电电 信信 有有 限限 公公 司司DI的统一管理及开发的统一管理及开发本地资料库测试资料库中央资料库生产资料库1. 开发者Check Out2. 开发者Check In3. 管理者Check Out, 进行测试4. 测试通过，管理者Check Out，部署生产统一调度、统一管理统一
32、调度、统一管理统一调度、统一管理统一调度、统一管理陕陕 西西 省省 电电 信信 有有 限限 公公 司司BOE+EPM软件架构软件架构ADBODS数据源数据源综合数据仓库平台安全服务调度和预警服务元数据存取服务发布和分发服务缓存和失效切换服务审核服务指标管理引擎协作服务系统管理服务业务规则和指标管理J2EE SDK.NET SDKWeb ServicesWEB服服务层务层平台平台服务层服务层(BOE)数据数据获取层获取层UniverseOLAP Server企业仪表盘DashBoard即席查询WebI企业报表CR预警预测EPMOLAP分析OLAPI展现层展现层综合统计分析应用其它应用陕陕 西西
33、省省 电电 信信 有有 限限 公公 司司BOE+EPM软件部署软件部署BO服务器1（主）BO服务器2（备）J2EE服务器1J2EE服务器2BO RepositoryEPM RepositoryBO服务器集群J2EE服务器集群CR客户端客户端（Administrator）（Designer）分 析 应 用 门 户（IE）在综合数据仓库平台开辟单独的数据库空间，用于资料库的存放。在综合数据仓库平台开辟单独的数据库空间，用于资料库的存放。在综合数据仓库平台开辟单独的数据库空间，用于资料库的存放。在综合数据仓库平台开辟单独的数据库空间，用于资料库的存放。陕陕 西西 省省 电电 信信 有有 限限 公公
34、司司BOE部署架构部署架构BI Platform: Server 2BI Platform: Server 1System repositoryAudit repositoryWeb服务器服务器Web 连接器应用服务器应用服务器 Web 组件接口安全服务调度和预警服务元数据存取服务发布和分发服务缓存和失效切换服务审核服务指标管理引擎协作服务系统管理服务业务规则和指标管理发布和分发服务在综合数据仓库平台开辟单独的数据库空间，用于资料库的存放。在综合数据仓库平台开辟单独的数据库空间，用于资料库的存放。在综合数据仓库平台开辟单独的数据库空间，用于资料库的存放。在综合数据仓库平台开辟单独的数据库空间，
35、用于资料库的存放。陕陕 西西 省省 电电 信信 有有 限限 公公 司司BOE+EPM的统一管理及开发的统一管理及开发统一管理、协调开发统一管理、协调开发统一管理、协调开发统一管理、协调开发综合统计分析平台的工作目录XX平台的工作目录XX平台的工作目录统一的语义层及统一的语义层及工作目录管理工作目录管理陕陕 西西 省省 电电 信信 有有 限限 公公 司司综合数据仓库平台涉及的规范综合数据仓库平台涉及的规范 命名规范 与源系统的接口规范 ETL开发规范 数据质量规范 数据提供规范 系统测试规范 数据仓库管理规范陕陕 西西 省省 电电 信信 有有 限限 公公 司司主机配置主机配置类型类型配置配置软件
36、软件说明说明数据库主机2*Superdome每台8CPU、32G RAMIBM DB2 8.2两台主机组成一个集群；每台主机上由8个DB2节点，两台共16个节点。ETL主机1*Superdome8CPU、32G RAMBO DI XIETL主机和OLAP主机互为热备OLAP主机1*Superdome8CPU、32G RAMHyperion EssbaseBOE主机2*PC Server每台2CPU、4GRAMBOE由BO软件实现负载均衡WEB SERVER和其它系统共享IBM WebSphere陕陕 西西 省省 电电 信信 有有 限限 公公 司司存储与备份存储与备份存储类型存储类型容量容量说明
37、说明数据库空间10.5T2T RAID0+1,其余RAID5ETL空间0.9TRAID5OLAP空间0.6TRAID5存储总计：存储总计：12T12T在SAN上进行存储划分；能够确保131月的存储备份容量 = 存储容量*4 = 12T*4 = 48T能够确保： 两次综合数据仓库平台全备份 最少四次综合数据仓库平台增量备份 最少二次数据集市、多维数据库（OLAP）全备份 陕陕 西西 省省 电电 信信 有有 限限 公公 司司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕陕 西西 省省 电电 信信 有有 限限 公公 司司MPDS在本项目中的应用：在本项目中的应用：从管控、
38、业务、数据和系统四个维度,考虑如何促进IT系统由产品为中心向客户为中心的转变CRM计费帐务MSS综合结算EDWM_管控模式P_业务流程D_数据S_系统.管理驱动:后期引入业务驱动:主要驱动力数据驱动:建设过程中的重要因素系统驱动:系统规划阶段的主要因素陕陕 西西 省省 电电 信信 有有 限限 公公 司司分析操作互动全面精确管理整合关键视图展现整合信息完善分析应用完整企业视图分解分解P P应用应用应用应用S S系统系统系统系统1. 构建陕西EDA统一模型 2. 整合经营分析数据，构建企业级数据仓库3. 初步建立数据仓库平台管理机制及相应应用 1. 构建数据组织管理平台2. ETL应用及调度应用3
39、. 信息整合应用4. 业务应用：全力配合综合统计分析平台，实现综合统计分析平台的主题分析、统计报表、查询等； 1. 公用数据管理平台搭建 2. 系统架构 3. ETL规则、流程与调度1. 增加元数据管理2. 提供数据挖掘的支撑功能3. 完善数据管理监控平台功能4. 完善ETL、OLAP应用 1. 系统、存储评估与升级 2. 和操作性系统交互1. 结合陕西EDA统一数据模型完善数据源，逐步纳入其它域，如资源域、服务域等的数据2. 支撑数据挖掘的数据需求3. 初步构建企业数据仓库4. 完善数据仓库平台管理及相关应用1. 支撑数据挖掘专题的深化、支撑全部跨 部门、跨专业的综合分析2. 建立完备的元数
40、据管理、数据质量管理、ETL调度管理等一系列数据仓库平台的应用，并建立完备的数据管理办法 1. 交互接口实现 2. 数据仓库上的应用模块构建 3. 管控流程的任务流机制实现1. 有效降低营销成本，通过专题分析减少客户流失、寻找商机、提升企业价值2. 完善数据仓库平台所有数据源，构建企业级数据仓库3. 建立完备的元数据管理、数据质量管理、ETL调度管理等一系列数据仓库平台的应用，并建立完备的数据管理办法 MM管控管控管控管控 1. 陕西电信企业数据模型在EDW的落实 2. ETL业务规则 3. 数据准备和质量管控1. 数据质量日常管控2. 定期经营分析报告制度3. 专业分析队伍建立4. 分析应用
41、流程评估和固化 1. 评估管控分析操作互动应用2. 企业绩效指标体系管控3. 定制化运营的管控D D数据数据数据数据1. 数据主要是客户类、产品类、帐务类、财务类、营销收益等相关数据2. 客户、产品、帐务、财务、营销收益等相关数据清理，保证基本准确度3. 初步完善指标口径 1. 客户、产品、帐务相关数据清理，提高准确度2. 完善财务类、市场营销类、收入类数据3. 增加事件类、投资与资源、服务类等相关数据4. 完善指标口径 1. 客户、产品、帐务相关数据清理，完全保证数据准确度2. 继续完善的数据主要是与财务、资源类相关数据3. 增加运维类、人力资源类数据 目标目标建设目标建设目标陕陕 西西 省
42、省 电电 信信 有有 限限 公公 司司业务驱动和数据驱动相结合的建设方式业务驱动和数据驱动相结合的建设方式采用“统一规划、分布实施”的建设模式。业业务务数数据据DemandSupply 自顶向下自顶向下需求定义需求定义Phase DMEnterprise DM自底向上自底向上 源系统分析源系统分析差距分析差距分析 - Prioritize and Plan PhasesScoping Study &Operational ChangeDW技术架构定义技术架构定义Implement陕陕 西西 省省 电电 信信 有有 限限 公公 司司1. 项目启动2. 需求分析3. 源系统数据调研4. 逻辑设计5
43、. 系统总体设计6. 物理数据库设计7. 数据转换加载ETL8. 元数据管理9. 数据仓库管理10.系统部署上线项目具体实施步骤数据仓库管理物理数据模型数据转换系统总体设计元数据管理系统部署上线项目具体实施步骤项目启动源系统数据调研逻辑设计需求分析陕陕 西西 省省 电电 信信 有有 限限 公公 司司主要任务：主要任务： 项目启动会议 确认项目主要目标 确认项目实施计划 成立项目组 确定各项目小组的成员及各自的工作职责 确定各项目小组的阶段性工作目标交付项目：交付项目：项目进度计划项目启动需求分析源系统数据调研逻辑设计1 项目启动陕陕 西西 省省 电电 信信 有有 限限 公公 司司主要任务：主要
44、任务： 确定重点用户与数据源 用户需求调研与确认 数据源确认 用户需求和数据源的分析 交付项目：交付项目：需求规格说明书 项目启动需求分析源系统数据调研逻辑设计2 需求分析陕陕 西西 省省 电电 信信 有有 限限 公公 司司主要任务：主要任务： 数据源分析 数据量分析 数据结构分析 数据质量分析 数据更新分析交付项目：交付项目：源系统数据调研说明书项目启动需求分析源系统数据调研逻辑设计3 源系统数据调研陕陕 西西 省省 电电 信信 有有 限限 公公 司司主要任务：主要任务：1.对业务、技术环境及企业文化的充分了解，从技术、组织、教育和支持等方面对系统进行全面评估2.定义业务驱动力3.定义数据仓
45、库成功的关键因素4.定义数据仓库的实施原则5.对系统体系结构各个组件进行详细设计6.建立系统测试方案交付项目：交付项目：系统总体设计说明书系统测试方案数据仓库管理物理数据模型数据转换系统总体设计元数据管理系统部署上线4 系统总体设计陕陕 西西 省省 电电 信信 有有 限限 公公 司司主要任务：主要任务： 进行原始数据分析 建立实体模型 建立实体间依赖关系 完善并填入所有属性 建立数据库逻辑模型 DFD利用工具：利用工具： Oracle Designer交付项目：交付项目： 数据仓库逻辑数据模型LDM，即ER图逻辑数据模型说明书DFD项目前期准备需求分析源系统数据调研逻辑设计5 逻辑设计陕陕 西
46、西 省省 电电 信信 有有 限限 公公 司司主要任务：主要任务：转换逻辑数据模型（LDM）为物理数据模型定义索引反正则化处理（Denormalizations）数据库建立设计优化备份和恢复设计使用工具：使用工具：Oracle Designer交付项目：交付项目： 物理数据模型（PDM）物理数据模型说明书数据库描述语言DDL备份和恢复方案建模方法：建模方法： 第三范式 3NF 星型结构 雪花状结构6 物理数据库设计数据仓库管理物理数据模型数据转换系统总体设计元数据管理系统部署上线陕陕 西西 省省 电电 信信 有有 限限 公公 司司主要任务：主要任务：数据源及其特性定义源系统数据接口定义和协调数据
47、析取、转换和加载策略设计构建和测试初始加载的程序和处理流程构建和测试日常加载的程序和处理流程交付项目：交付项目：源系统数据接口方案数据转换加载设计说明书 数据转换加载脚本 （ETL Scripts） 流程控制（ Process Control）7 数据抽取转换与加载 (ETL) 数据仓库管理物理数据模型数据转换系统总体设计元数据管理系统部署上线陕陕 西西 省省 电电 信信 有有 限限 公公 司司源系统ETL服务器数据仓库SQL, C, PerlDISQLl处理时机在源系统上进行处理 (数据抽取前)在加载服务器上进行处理 (数据抽取后、加载前)在数据仓库里进行处理 (数据加载后)l判断标准依服务
48、器及数据库物理特性决定l检查要点BUSINESS RULESPRIMARY KEYSREFERENTIAL INTEGRITYDOMAIN VALUESCROSS TABLES7 数据质量处理陕陕 西西 省省 电电 信信 有有 限限 公公 司司主要任务：主要任务：定义元数据使用功能确定元数据管理的处理范围能够进行元数据录入和浏览交付项目：交付项目： 元数据管理说明书8 元数据管理数据仓库管理物理数据模型数据转换系统总体设计元数据管理系统部署上线陕陕 西西 省省 电电 信信 有有 限限 公公 司司主要任务：主要任务：开发和测试数据仓库日常运作流程开发和测试性能监视程序开发和测试安全系统提供数据仓
49、库运行维护方案设计和开发操作人员/用户培训计划、教材提供技术支持使用工具：使用工具：系统监控工具和管理工具交付项目：交付项目：数据仓库管理过程说明书安全管理说明书用户培训计划用户使用手册9 数据仓库管理数据仓库管理物理数据模型数据转换系统总体设计元数据管理系统部署上线陕陕 西西 省省 电电 信信 有有 限限 公公 司司主要任务：主要任务：系统部署建立并执行集成测试计划建立并执行数据仓库平台测试计划与综合统计分析平台的联合测试建立并执行系统验收测试计划执行用户培训计划实施数据仓库运行维护方案项目回顾交付项目：交付项目：数据转换管理系统测试报告数据仓库平台测试报告数据仓库管理过程测试报告系统上线运
50、行报告10 系统部署上线数据仓库管理物理数据模型数据转换系统总体设计元数据管理系统部署上线陕陕 西西 省省 电电 信信 有有 限限 公公 司司综合数据仓库平台综合数据仓库平台-项目组织项目组织项目管理委员会项目管理委员会项目管理委员会项目管理委员会IBMIBM技术专家组技术专家组外聘技术专家外聘技术专家项目管理办公室项目管理办公室 ( (PMO)PMO)项目管理办公室项目管理办公室 ( (PMO)PMO)中国电信业务组中国电信业务组陕西电信专家陕西电信专家项目质控组项目质控组第三方监理第三方监理集成商项目实施组集成商项目实施组数据组流程组功能组需求组培训组管控组平台组总体组技术架构系统设计信息
51、分析数据模型ETL开发数据质量测试验收项目经理QA实施组陕陕 西西 省省 电电 信信 有有 限限 公公 司司综合数据仓库平台综合数据仓库平台-项目控制项目控制计划管理计划管理总体计划、阶段计划、变更管理汇报机制汇报机制进度汇报、项目例会、阶段汇报、重大事件沟通质量管理质量管理设计评审、外部监理、流程与规范、全面测试、培训配置管理配置管理文档控制、版本管理、发布管理配合与沟通配合与沟通外部配合：生产系统、综合统计分析平台、PMO、专家组等内部沟通：工作汇报、项目例会、日常沟通陕陕 西西 省省 电电 信信 有有 限限 公公 司司综合数据仓库平台综合数据仓库平台-里程碑计划里程碑计划综合数据仓库平台实施计划综合数据仓库平台实施计划工作阶段时间(月)010203040506071112启动需求设计开发测试培训试运行割接初验维护终验平台部署陕陕 西西 省省 电电 信信 有有 限限 公公 司司
