电信数据仓库设计课件幻灯片

《电信数据仓库设计课件幻灯片》由会员分享，可在线阅读，更多相关《电信数据仓库设计课件幻灯片（76页珍藏版）》请在金锄头文库上搜索。

1、陕西电信综合数据仓库平台 总体设计方案,议程,概述 功能架构 数据架构 ETL架构 集成架构 安全架构 平台架构 实施方法论,总体架构,EDW,ODS,数 据 总 线,A,D,B,使用人员,CIF,语义层,综合统计分析平台,EDA,CIF,CRM,计费,业务及管理系统,。,数据总线,业务操作数据,客户 资料,业务运 营数据,业务运 营数据,统一经营 数据共享,统一经营 数据共享,业务分 析结果,统计分析数据源,统计分析数据源,统计分析数据源,统计分析数据源,决策信息,业务查询结果,业务分析结果,业务操作数据,客户 资料,业务运 营数据,业务运 营数据,业务运营数据,业务分析结果,业务分 析结果

2、,整体目标,打破信息孤岛，实现数据共享，构建企业数据全集 综合统计分析平台的数据支撑，建立从数据转换为价值的体系，让数据发挥出企业核心资源的效用，实现数据的增值，彻底改善IT对于业务的支撑能力，尤其是对分析决策的支持能力 提供统一的数据支撑和标准规范的对外接口 统一数据管理，保证数据准确和可追踪管理，支持内控，构建企业统一的数据管理平台,系统定位,按照陕西电信规划模型，整合各业务系统的数据，实现企业范围的数据统一视图,通过技术和管理手段，实现面向经营分析决策的企业级统一共享的数据管理平台,通过对数据的组织加工，实现从数据到信息的转变；提供对综合统计分析平台和其它系统的数据支撑,综合数据仓库平台

3、（EDW）定位： 打破信息孤岛，实现数据共享。 数据支撑与价值提升。 构建企业级数据管理平台。,EDA,EDW,建设范围,数据范围：企业级数据整合和组织，以支撑综合统计分析平台中各主题分析、分析查询、报表统计等和其它系统的数据需求。 功能范围：数据组织管理、ETL管理、元数据管理、数据质量管理、数据整合等。,与综合统计分析平台-分工界面,议程,概述 功能架构 数据架构 ETL架构 集成架构 安全架构 平台架构 实施方法论,功能架构,数据处理,数据管理,数据 获取,数据 提供,数据 整合,文件完整 性检验,接口文件 管理,接口文件 异常处理,数据 获取,清洗转换 合并,细节数据 生成,汇总数据

4、生成,数据 异常处理,集市数据 生成,ETL调度 和监控,数据 备份,数据 检验,数据 提供,数据模型 管理,元数据 管理,数据质量 管理,安全性 管理,系统 监控,系统备份 和恢复,逻辑架构,外部数据,数 据 获 取,细节数据层,CRM、计费帐务、 结算、10000号、财务等系统,数据文件临时存放区,通知重传,读取,数据格式转换,数据获取,临时区,错误数据,ETL-1,细节数据层,汇总 数据层,ETL-2,数据提供模块,数据仓库连接控制,数 据 整 合,元 数 据,系 统 管 理,ETL-1抽取规则,ETL-2抽取规则,ETL-1日志,ETL-2日志,数据仓库元数据,商业元数据,ETL-1/

5、2/3规则管理,ETL-1/2/3日志管理,商业元数据管理,数据仓库元数据查看,ETL-1/2/3过程监控,数据仓库数据访问日志管理,数据仓库数据更新调度管理,数据整合,临时区,应用集市层,ETL-3,ETL-3抽取规则,ETL-3日志,ETL-3,抽取数据,元 数 据,系 统 管 理,根据转换规则 转换数据,确定数据格式,按既定方式 提供数据,EDW,网络传送地址及安全数据,数据传送日志,数据抽取、转换规则,传送目录及格式,抽取、转换规则管理,传送格式管理,传送日志管理,传送目录及安全管理,提供的数据,数 据 提 供,数据提供,议程,概述 功能架构 数据架构 ETL架构 集成架构 安全架构

6、平台架构 实施方法论,数据分层设计,业务需求的满足从上到下是分析逐步深入、数据需求细化的过程 数据处理的过程从下到上是粒度加粗、更加面向应用的过程 数据分层是根据数据处理、需求满足过程的特点，并考虑系统效率、数据稳定性而设计的。,临时区,以表的形式存放生产系统传送过来的数据 生产系统包括：统一客户资料、综合受理、计费帐务、综合结算、10000号、财务、IN等 用于进行数据整合的过程处理和异常处理 原则： 采用同生产系统相同的表结构 去掉与分析无关的属性字段 增加时间属性字段,细节数据层的主题域,ER概念模型总图,资源,市场营销,产品,事件,服务,帐务,客户,企业,供应商/ 合作伙伴,企业发起市

7、场营销,客户接受 市场营销,企业提供产品,客户购买产品,客户发起/经历事件,营销类事件,产品付费关系,客户指定帐务关系，为产品付费,产品提供相应服务,客户使用服务,产品类事件,帐务类事件,服务类事件,服务使用产生帐务,企业提供服务,服务使用资源,产品使用资源,企业拥有资源,供应商提供资源,企业与供应商合作,供应商帐务,企业帐务,通用实体,细节数据层建模,陕西规划数据模型,源系统模型 源系统数据分析,陕西电信规划数据模型,适合数据仓库的 主题域 层面 实体 属性 关系,建模原则： 去掉与分析无关的实体、属性 将影响效率的竖表（如属性表等）变为横表 增加时间属性 记录变更历史 增加映射字段或映射表

8、 反正则化处理, 增加冗余信息,第三范式（ER图）,第三范式要求 1、每个属性的值唯一，不具有多义性； 2、每个非主属性必须完全依赖于整个主键，而非主键的一部分； 3、每个非主属性不能依赖于其他关系中的属性，因为这样的话，这种属性应该归到其他关系中去。 不满足第三范式的举例 class(class_id, class_name, teacher_id, teacher_name) 规范化后 class(class_id, class_name, teacher_id) teacher(teacher_id, teacher_name) 总结 确定主键和非主键属性的关系 关注逻辑层面上的实体和关

9、系，不考虑可用性问题 需物化为表后，方可在DW创建、使用,反正则化处理,处理方法 增加冗余列 避免查询时进行表连接操作 增加派生列 避免查询时连接和使用聚合函数 重新组表 提高性能和效率 处理策略 对订单，增加“市场活动ID” 对产品实例，增加“订单ID” 对话单、帐单，除原有的“产品实例ID”，增加“客户ID” 对话单，增加“帐务周期ID、时段ID、开始时间”等 对客户/用户/帐户，分为当前信息表和历史信息表 对话单、帐单，采用按“业务本地网”分表的方式 对客户，分为“社会属性ID、自然属性ID、消费属性ID” 其它,汇总数据层,存放数据 资料汇总、清单汇总、关联汇总、宽表等 用途 提高性能

10、，防止大量的细节数据访问 数据沉淀，粒度较粗的数据可以保存更长时间 承上启下，连接数据驱动的3NF细节数据和需求驱动的Star-Schema数据 原则 将客户基础资料变更的时间粒度增粗 对清单/帐单类数据在客户/用户/帐户级别上汇总 对经常使用的关联操作，提前进行关联汇总，以表的形式存放 单条记录包括用户基本信息、产品选择和使用量、费用信息，方便业务人员使用,应用集市层,以多维模型、宽表、3NF等方式存放高度汇总数据 直接支持前端分析应用 应用集市设立的原则： 按相同处理功能：如KPI集市、报表集市等 按业务分析主题：如市场竞争集市、市场营销集市等 按特定分析目的：如数据挖掘集市、收入保障集市

11、等 其它,雪花模式,是对星型模式的扩展（维度） 日期、地区等多层次的维度均可类似扩展,优点：在每个维中最小的数据冗余；增加建模的灵活性（维层次结构可以增加，无需改变事实表）；对复杂的维是非常有用的 缺点：复杂的查询，包含很多连接；性能可能会较差,星型模式,优点：强调容易使用和性能；消除或降低雪花模型的缺点 不足：数据准备慢，随业务变化的能力差,一种多维的数据关系，由一个事实表和一组维表组成。 每个维表表达一个维度，所有维度字段组成事实表的复合主键。 事实表的非主属性称为事实，都是汇总出来的数值型数据。维大都是文字、时间等类型的数据,平衡星型和雪花的方法,对仅牵涉到简单的单层维度的事实表，采用星

12、型模式 对牵涉到多层维度但纬度深度仅在一个方向增加的事实表，采用星型模式；在纬度深度超过3层的情况下，采用雪花模式 对牵涉到多层维度且纬度深度在多个方向增加的事实表，采用星型和雪花混合模式,应用集市层建模,多维模型,议程,概述 功能架构 数据架构 ETL架构 集成架构 安全架构 平台架构 实施方法论,ETL架构与流程,根据业务和数据情况，采用不同的数据整合路线,细节数据层,汇总数据层,应用集市层,临时区,T1,F1,S1,T2,D1,F2,S2,业务,数据,D2,“急用先行”ETL,DW正常ETL,数据建模,DFD顶层图,数据抽取策略,数据清理过程,数据分析和业务逻辑理解,通过ETL过程进行数

13、据整合,错误数据反馈回业务系统,业务系统数据问题整改,分析数据源 理解业务规则,格式处理 、统一编码 字段取舍和上下文处理 数据校验和稽核,对问题数据导出： a、数据重复 b、属性值错误 c、数据不一致,数据质量的管控,数据整合原则,“基础资料（三户、产品实例等）”的统一 确定主系统、数据流向和逻辑关系 以统一客户资料为准 对计费帐务、综合结算、10000号、IN等系统的基础资料进行整合 系统冗余数据的处理：以主系统为主，其它系统做为补充，按照数据流向和逻辑关系进行整合，确保数据的一致性和完整性 “产品、商品”等关键业务编码的统一 以综合受理为准 对各系统的业务编码域标准编码之间进行映射 “产品实例到达数、计费时长”等统计指标的统一 统一统计指标的含义、单位、周期、统计方法等 建立不同主题域之间的关联关系 建立不同域之间的关联关系，如客户域与产品域、事件域、帐务域、资源域、市场营销域等之间的关联关系 业务系统的中间汇总结果会纳入综合数据仓库平台，用于快速支持分析应用的开发和进行数据稽核。,ETL开发,创建Repository 创建Proje