《湖南联通经营分析系统讲稿ppt培训课件》由会员分享，可在线阅读，更多相关《湖南联通经营分析系统讲稿ppt培训课件（67页珍藏版）》请在金锄头文库上搜索。
1、1,联 通,统一经营信息服务平台,2,交流内容介绍,东方国信简介 系统建设背景 系统的建设方案 数据仓库的建设 信息服务平台组成 数据挖掘 交流与探讨,3,一、公司介绍-基本情况,北京中关村科技园区高新技术企业信息产业部软件企业认定证书主要客户群：电信运营商,人员结构： 博士研究生： 4% 硕士研究生：16%本 科 生： 70% 其 他 人 员：10%,技术状况 CRM/Work Flow Call Center/ IVR /ACD /CTI OS:UNIX/Windows DB:ORACLE/SYBASE/INFORMIX/SQL Server C+/DELPHI/JAVA/J2EE,客户市
2、场,客户关系管理 经营分析与决策支持 计 费 帐 务 系 统 呼 叫 中 心 综 合 语 音 平 台,合作伙伴 SAS/COGNOS SAP/SPSS IBM/MICROSOFT,售前支持 市场开拓 产品营销,产品开发 产品测试 质量管理,服务体系 工程实施 客户保障,辅助部门,4,东方国信-市场情况,客户关系管理 经营分析与决策支持 呼叫中心系统 综合帐务系统 综合语音平台,长春办事处 西安办事处 内蒙办事处 上海办事处 办事处 广州办事处 办事处,反应迅速，沟通及时,5,东方国信-质量保证,软件设计及质量保证： 严格、详细的需求调研 采用标准化软件设计方案 详细的文档要求 版本控制 软件测
3、试（综合性/模块性） 阶段性评定,6,东方国信-服务体系,公司的生存：产品-客户-服务 工程实施 前期现场勘测，取得客户的现场情况 工程界面的细分 多工程组的并行实施，核心技术人员综合支持 工程文件的交换与认定 现场培训 售后服务 培训计划 支持电话/现场服务承诺 产品升级与更新,双赢,硬件-主机产品,硬件-外设产品,硬件-网络产品,软件-数据库,软件-中间件,软件-统计分析,东方国信客户服务中心,客户关系管理系统,综合计费帐务系统,客户服务中心系统,综合语音平台系统,客户,经营分析与决策支持,7,联通公司面临的挑战 联通对统一经营信息的基本需求 统一经营信息服务平台建设的必要性,二、系统建设
4、背景,8,WTO,国外电信巨头,行业背景挑战,市场,9,三、系统建设方案,硬件组网方案图 主要服务器列表 系统实际的物理主机 系统外购软件物理承载 服务器处理性能指标 主机性能分析的一些知识 ODS/ETL服务器性能分析 DW/OLAP/WEB服务器性能分析 系统存贮容量要求 ODS存储容量要求 数据仓库存储容量估算 整个数据仓库的容量,10,硬件组网方案图,11,主要服务器列表,按照完整的经营分析系统的建设，从逻辑上讲应用服务应包括： ETL服务 ODS服务 DW服务 报表服务 OLAP服务 WEB服务 元数据信息服务 数据挖掘服务 元数据信息和数据挖掘服务功能可以考虑在二期建设完成，其它服
5、务功能在一期开始建设。,12,系统实际的物理主机,13,系统外购软件物理承载,系统外购软件物理承载分布 DW/ODS/ETL服务器承载软件 数据库软件：如Oracle 9i、SybaseASE+Sybase IQ ETL软件：如CA Advantage Data Transformer、Informatica PowerMart 元数据管理软件：如CA Advantage Repository OLAP/WEB/报表服务器承载软件 OLAP软件：如Cognos PowerPlay Enterprise Server WEB/报表软件：Cognos Impromptu Web Report,14
6、,服务器处理性能指标,服务器处理性能指标 服务器处理能力应以未来3-5年考虑， 到2003年底，全部业务的用户数估计达到250万， 以此计算ETL/ODS/DW服务器的TPMC值接近4万， 采用类似IBM M85或HP rp7410档次的小型机，比较符合未来发展的需要； 从功能上分析，报表/OLAP/WEB服务的处理能力应大于或等于ETL/ODS/DW服务器的TPMC值， 所以系统采用两台小型机来完成全部服务功能。,15,主机性能分析的一些知识,TPMC 衡量服务器处理处理能力（每秒钟处理事务的能力） 配置的操作系统 处理的数据 估算应用的事务要求，来反推 主机的要求 主机TPMC值是通过实验
7、手段取得的； 特定配置的主机硬件 特定配置的操作系统 特定配置的数据库系统 其配置中任何一项的变化都可能会对TPMC值有很大的影响 TPC-H 针对决策支持系统中的即席查询，应当采用TPCH（每小时处理的性能）作为衡量主机处理能力的指标。这种指标处理是面向大量的即席查询和并发的数据修改操作。这种处理用户往往不知道要查询什么数据，不能对预见的数据进行优化工作。 TPC-R 它也是以每小时处理能力为计量单位的。这种指标是在用户知道要查询什么数据，并可以对可相应的数据表进行优化。,16,ODS/DW/ETL服务器性能分析,以详细话单汇总和分析为例来分析主机的性能。 估算条件：( 可以根据实际情况进行
8、修改) 总用户数按250万计算 每天每用户按5个话单 分析过程： 每分钟处理： （用户数）250万*5/24/60 8681 峰值处理： 8681*2 = 17362 需执行约8个SQL语句，则估算一个话单汇总处理业务相当的TPC-C值为： 8*0.45/4 = 0.9 TPC-C 话单汇总和分析，的TPC-C 值要求满足： 17362 * 0.9 15626 假设其他经营分析的TPC-C总和与话单分析的TPC-C相等。 15626*2=31252 考虑25%的冗余（系统其它开销）： 主机性能=31252*1.25 =39065 支持到2003年底的主机性能的TPC-C值约为39065,ODS
9、/ETL服务器完成的功能：1.从源数据到ODS地抽取、清洁、转换和装载2.从ODS到DW地抽取、清洁、转换和装载3.在ODS中保存接近当前业务的数据,根据TPC-C的标准： tpmC值是根据标准模型中New-Order事务的处理数目来计算的 一个New-Order事务由平均4-5个SQL语句处理完成 整个测试的执行过程中，New-Order处理占45%。,17,报表/OLAP/WEB服务器性能分析,DW/OLAP/WEB服务器主要完成的功能： 1数据仓库的数据存储 2对数据进行OLAP分析 3提供用户的连接 4提供WEB展现功能 从功能上分析，该服务器既有OLAP处理，又有OLTP的处理。是两
10、种应用的结合，因此，在性能的分析上，我们要进行了综合考虑。OLAP分析的时长是与数据量有一定的关系的，也就是数据量的增加，相应的分析时长也会增加。OLAP数据模型的生成要对数据库进行OLTP处理，所以该服务器的性能应大于或等于ODS/ETL服务器的TPC-C值。,18,系统存储容量要求,系统存储容量系统目前建设的存储容量应先考虑到2003年底，到2003年底，联通全部业务的用户数估计达到250万，以此计算ODS/DW数据库的存储容量为 2.837 TB系统使用两台小型机采用双机群集方式运行，充分利用公司现有营帐的EMC 8430，相应扩展其存储容量。,19,ODS存储容量的估算,估算条件：用户
11、数(万)：250万存储时间（月）：6月调整因子：0.25注：该用户数为联通全部业务（GSM,CDMA,193,165,固定网等）以GSM为准折合的用户数。,20,数据仓库存储容量估算,二、数据仓库存储容量估算： 计算公式：(XY)Z*(Z*ZB+XYB)*T*WZ*S*SE,21,整个数据仓库的容量,三、整个数据仓库的容量：ODS容量+数据仓库容量(G)= 656.21+1314=1970.21G,系统的存储容量(G)=整个数据仓库容量*（1+系统因子系数）*RAID5因子数= 2.837 T,系统的物理磁盘存储容量：,22,系统总体处理流程,数据格式检查,数 据,系统管理,数据装载至收集层,
12、收集层数据抽取、转换,数据抽取、清洁、转换,数据仓库数据装载,标准报表数据文件/报表生成,数据仓库接口,OLTP 查询,OLAP,统计报表,综合型EIS报表,总部标准数据文件/报表传输,总部统一经营信息服务子系统,生产系统数据,ERP系统,OA系统,数据采集,数据加载,数据分析,信息展现,23,外购软件分布,CA Advantage Repository Exchange for DB ( Oracle,DB2,Informix. ),CA Advantage Repository Exchange for Application( SQL,PowerBuilder,C+.),CA Advan
13、tage Repository Data Shopper Option,CA Advantage Repository Engine for Distributed System,元数据管理,CA Advantage Data Transformer,ETL工具,Oracle9i Database Enterprise Edition,数据仓库存储工具,SybaseASE+Sybase IQ,Informatica,24,外购软件分布,Impromptu Web Report,PowerPlay Enterprise Server For Unix 6.6,Impromptu Administ
14、rator 6.0 Impromptu User 6.0 Transformation Server for Unix 6.6 PowerPlay User 6.6,前端分析展现工具,25,ETL工具的比较,26,前端工具软件介绍,数据仓库前端展现工具的比较： 主要是3个厂家的产品：Business Object, Brio, Cognos PowerPlay。,27,应用软件功能介绍1,28,应用软件功能介绍2,29,应用软件功能介绍3,30,备份策略,元数据全部数据文件备份缓冲区层数据 不备份ODS层数据 不备份仓库层的数据 维表 ：表空间整体备份（文件）事实表：按月备份（磁带/文件）Cu
15、be数据 将Cube文件备份日志数据将日志文件备份（一般只用于查看）,31,培训内容介绍-应用培训,32,原厂商培训,33,工程实施计划进度表,34,工程实施计划细分,第一阶段：系统定货阶段（包括与相关公司的配合） 合同签定起，立即启动定货程序 第二阶段：需求分析阶段（包括应用需求、流程调查） 组建工程小组（东方国信10人，局方不少于2人） 由工程小组（2人）、项目开发小组（5人）、行业专家（3人）、用户代表（不少于3人）等进行需求的细化 形成需求分析书，做为工程初验时要实现的目标 第三阶段：系统设计阶段 工程小组开始实施（5人），项目开发小组（8人），行业专家（3人），用户代表（不少于2人）
16、，共同实施工程。 第四阶段：工程实施阶段 工程小组开始实施（12人），项目开发小组（4人），行业专家（2人），用户代表（不少于2人），共同实施工程。 由测试小组（东方国信4人，局方不少于2人）进行系统测试 第五阶段：调试试运行阶段（包括试运行和系统调整） 工程小组开始实施（12人），项目开发小组（4人），行业专家（1人），用户代表（不少于3人），对工程的试运行进行观察与维护。 第六阶段：系统维护人员培训阶段（包括正式运行、维护） 东方国信培训讲师（4人）对局方操作人员、维护人员进行统一培训。,35,四、企业数据仓库的建立,数据仓库的建立过程数据采集 数据仓库装载生成产品的信息模型数据仓库信息模型 操作数据存储（ODS）信息模型 系统管理信息模型,36,数据仓库特点,管理大量数据 管理多介质 索引/监视数据 多种技术的接口 设计者对数据存放位置的控制 数据的并行存储/管理 元数据管理 语言接口 数据的高效装入 高效索引的利用 数据压缩 复合键码 变长数据 加锁管理 单独索引处理 快速恢复 其他的技术特征,
