《数据仓库系统总体设计说明书文档》由会员分享，可在线阅读，更多相关《数据仓库系统总体设计说明书文档（11页珍藏版）》请在金锄头文库上搜索。
1、 .wd.数据仓库系统总体设计摘要：本文档为XX通信公司网上通信记录查询平台设计说明书，为XX通信公司网上通信记录查询平台详细设计的之要依据。本文档的主要阅读对象为XX通信公司网上通信记录查询平台的详细设计人员。经过需求分析调查，确定了数据仓库系统总体定位和系统功能需求。现根据需求分析规定和局具体情况，确定数据仓库整体方案，以指导数据仓库系统研究、开发、实现。关键字：指标；主题；数据仓库；联机分析；数据挖掘；决策支持1 概述1.1 背景本软件全称为XX通信公司网上通信记录查询平台。1.2 术语定义DW：数据仓库DC：数据中心OLTP：在线事务处理OLAP：在线分析处理BI：商业智能DSS：决策
2、支持系统SOA：面向服务的架构EA：企业架构ETL：数据抽取、转换、加载Statistical Parameter：指标Subject：主题DataMart：数据集市MetaData：元数据OLTPOn-LineTransactionProcessing：联机事务处理DSS：决策支持系统AS：应用服务器WebServer ：Web服务器1.3参考资料数据仓库课程课件 林友芳概要设计说明书模板 林友芳实用软件工程 清华大学出版社2 系统设计从充分发挥系统作为 “数据库，信息库，思想库，智囊库的作用，向用户提供“快、精、准的通讯记录查询服务的需要出发，采用当今数据库领域成熟稳定的数据仓库、决策分析
3、等技术，在高效的网络平台上建设提供一个“决策数据管理与分析中心的 根本解决方案。系统采用多层体系构造，建设一个良好开放性的数据仓库系统环境，适应不断增加和变化的业务需求。多层体系构造通过引入中间层组件，扩大了传统的客户/服务器和两层计算模式。多层构造可由以下三类分层来定义：前端的客户层，负责提供可移植的表达逻辑；中间的应用层，允许用户通过将其与实际应用隔离而共享和控制业务逻辑；后端的数据管理与服务层，提供对专门服务例如数据库服务器的访问。构造化、层次化、模块化。采用面向对象技术，使系统高度构造化、模块化、层次化，整个系统由接口定义良好的多个模块组成，每个模块都有详细的功能说明和设计文稿，每个模
4、块完成相对独立的功能，模块之间的接口定义标准，使模块功能的变化相对独立，不影响整个系统的功能和构造，便于系统升级，维护。具有良好的平台移植性。选用支持多种操作平台的数据库服务器、应用服务器、WEB服务器等服务器软件系统，选用具有良好平台移植性的B/S和C/S模式下的开发语言开发应用程序和应用中间件，提高应用系统的平台移植性。以最简单的方式实现复杂的功能。为提高系统的稳定性和可读性，可维护性，尽量采用简洁易懂的方式实现系统功能，不追求复杂、深奥的算法。2.1层次构造整个系统在逻辑上分为三层：原始数据层，中间逻辑层业务逻辑层、WEB服务层、安全服务层，应用层。原始数据层：以统一标准的方式存储数据；
5、中间逻辑层：解析应用层的业务逻辑，使应用层和原始数据相互独立，提高应用层系统程序的可扩展性、可移植性；应用层：面向最终用户，提供友好、简洁、方便的用户界面，具有良好的业务无关性。2.2系统用例模型图根据系统功能需求，用例模型图绘制如图。系统用例图2.3网络拓扑构造我们根据以以下出的几点，确定硬件系统构造：系统已经拥有比拟完备的内部网络系统。公司数据仓库系统的数据、信息既能够在系统的网络内最大限度的实现数据共享，又能将可以对公众发布的信息分不同的级别向外界发布。尽可能在网络设计上考虑防止黑客攻击、病毒传播等破坏数据的手段和方式。尽可能利用现有网络系统，包括系统专有网，公共Internet网，政府
6、办公局域网等。我们设计了一个在物理上可以随时隔离或连接、由两大局部组成的网络系统构造，如以以下图所示：说明：出于网络安全的原因，将整个网络分为内部网络和外部网络两局部。内部网络与外部网络的系统机构 根本一样。外部网络 根本上用在对外发布，不包括保密信息。外部网络需要的发布数据从内部网络中通过ETL工具获得，存放在外部网络的数据仓库中。外部网络经过防火墙、路由器与Internet相连。为保证数据安全，只在外部网络从内部网络抽取数据时，两者才是连通的且要经过防火墙，其余时间两个网络物理隔离。工作站分别为各个处室的个人PC机，也可以是单独的工作站，功能为向ETL服务器提供仓库所需数据及通过浏览器访问
7、数据仓库数据信息。ETL工具定期从各个处室的数据库系统抽取数据，且ETL服务器兼中间数据库服务器，抽取的数据暂时保存在ETL服务器上，在导入数据仓库之前容许修改。考虑到数据仓库系统决策分析时需要大量数据信息，所以要求交换机容量应为1000M。OLAP服务器和应用服务器结合比拟严密，在实际的应用中共享一台设备。入侵检测系统是一台单独的设备，放在路由之后，起到防止非法入侵的作用。安全隐患扫描系统可以运行在一台高性能的PC机上，提供及时的安全扫描，及早发现问题。2.4 网络层次构造整个数据仓库系统由内而外分为四层：系统内核层：包括数据仓库服务系统及应用系统。系统安全层：使用网络安全产品，与局现有网络
8、系统兼容，保护内部数据安全，网上信息传送安全、防止黑客破坏或恶意入侵。公共网络层：基于TCP/IP的城域网和广域网省局目前开通的帧中继网，使用现在已经建成的公共网络将数据、信息、知识发布出去。外部应用层：各种数据仓库系统的客户应用系统，通过外部应用系统用户可以获得系统提供的向外发布的各种信息。2.5 处理流程指标数据抽取子系统通过读取ETL中间数据库中的抽取模型和清洗模型，把各个处室的数据暂存到中间数据库。指标数据加载子系统读取中间数据库中的转换模型与加载模型，把中间数据库的数据加载到数据仓库中。3开发及运行环境数据仓库系统是一个跨平台、综合的大型应用系统。综合用户习惯与系统效率等方面的考虑，
9、整个数据仓库系统的各子系统将分别运行在不同的操作平台下，这些子系统密切合作，形成一个严密结合、高效的整体。3.1硬件环境基于高速网络环境。服务器采用高档小型机。客户端为高性能客户端。3.2操作系统服务系统运行于UNIX操作系统。UNIX以其较小的内核、较高的运行效率著名，获得了服务器上主流操作系统的地位。全球著名的硬件产商都有与自身服务器严密结合的UNIX操作系统如IBM的AIX和SUN公司的Solaries，HP的HP_UX，能充分发挥系统的最大性能。客户端系统运行在Windows操作系统下。全世界90的PC用的是Windows操作系统，广阔用户已经习惯了Windows操作系统的界面、风格。
10、局几乎所有PC都是运行在Windows系统下的，数据仓库系统的客户端系统包括系统管理、ETL工具客户端等运行在Windows系统下能满足用户需要，缩短系统投入使用的培训时间。3.3开发语言JAVA语言最先由网景公司利用在WEB上，是最好的跨平台开发语言，是当前B/S模式的首选开发语言；C语言最先在UNIX系统下使用，是一种执行效率非常高的高级开发语言，C+的出现使C语言包含了面向对象概念，C+语言也得到了日益广泛的应用，是C/S模式的首选开发语言。3.4数据库系统数据库系统采用Oracle9i，Oracle9i是Oracle公司对数据仓库支持最好的数据库系统，它的复合索引，物化视图等技术可以使
11、数据的查询效率有很大提高。3.5 系统运行环境本系统运行环境需求如图。Optional Data storeOperational dataOperational dataData WarehouseOperational dataOperational dataData MartData MartData Mart系统查询界面系统运行环境逻辑构造图3.5.1 数据仓库服务器环境要求服务器型号：HP DL380CPU：英特尔至强E55204核，2.26GHz，8M三级高速缓存内存：6G操作系统：UNIX3.5.2数据仓库管理服务器服务器型号：HP DL360CPU：英特尔至强E55044核，2
12、.00GHz，4M三级高速缓存内存：4G操作系统：UNIX3.5.3 WEB服务器环境要求服务器型号：HP DL580CPU：英特尔至强E73704核，2.40GHz，8M三级高速缓存内存：8G操作系统：UNIX4 系统各个功能模块ERD4.1查询一段时间内的短信与通讯记录查询一段时间内短信与通讯记录ER图如图4.2查询套餐或其他业务的扣费纪录查询套餐或其他业务的扣费记录ER图如图。4.3查询账户余额，充值记录查询用户账户余额，充值记录ER图如图4.4查询办理过的业务类型用户查询自己办理过的业务类型ER图如图。4.5查询用户一年内短信与通话月情况表用户查询自己一年内短信与通话月情况表ER图如图
13、。5 各个数据层表构造设计5.1业务数据层业务层的数据又称操作型数据，它是最原始的数据，是其他层次上数据的源数据。业务数据层的数据通常是很细节的数据，它们是经过日复一日累积起来的，而且访问频率很高，是面向应用的数据。本系统中在这一层上主要包括的数据有：短信记录、通话记录、扣费记录、充值记录以及业务办理记录。这些数据未经集成，是最原始的数据。逻辑上，这些数据都是以二维表的形式存储，它们的表构造分别如下。表字段名中文字段名数据类型是否主键可否为空User_name用户名Char(20)是否Phone_number手机号码Number否Send_time发送时间Date否Message_type信息
14、类型Char(10)否Receive_number对方号码Number否Basic_fee 根本话费Float否表-1 短信记录表字段名中文字段名数据类型是否主键可否为空User_name用户名Char(20)是否Phone_number手机号码Number否Start_time通话起始时间Date否Call_location通话地点Char(20)否Longtrip_type长途类型Char(10)否Call_type通话类型Char(10)否Call_time通话时长Number否Receive_number对方号码Number否Basic_fee 根本通话费Float否Longtrip_fee长途费Float否表-2 通话记录表字段名中文字段名数据类型是否主键可否为空User_name用户名Char(20)是否Phone_number手机号码Number否Chargeback_Date时间Date否Package套餐及功能费Char(20)否Fee_circle费用周期Number否Fee费用Float否表-3 扣费记录表字段名中文字段名数据类型是否主键可否为
