数据中心介绍

《数据中心介绍》由会员分享，可在线阅读，更多相关《数据中心介绍（74页珍藏版）》请在金锄头文库上搜索。

1、,中软国际有限公司 地址：北京海淀区学院南路55号C座三层 电话：010-82861666 传真：010-82862809,数据中心介绍,2006年2月10日,2,第一部分：数据中心原理概述1.1数据中心业界定义1.2数据中心建设目标1.3数据中心体系结构1.4数据中心部署结构 第二部分：数据中心建设流程2.1数据中心体系：数据集市与主题数据库建设；加工体系；元数据；数据模型；数据中心服务体系2.2展现应用体系：展现模型；应用定制；应用权限管理；资源管理器；展现工具第三部分：数据中心案例介绍,讲解大纲,第一部分 数据中心原理概述,4,1.1数据中心业界定义,数据中心，即数据仓库，是一个面向主题

2、的、集成的、相对稳定的、反映历史变化的数据集合，用于实现企业的数据集成和数据共享，支持管理决策。,5,1.2数据中心建设目标,数据中心的建设目的是为了处理系统现有数据信息（该数据信息可以是未经过整理的，业务逻辑隐含其中的），根据用户业务的需求，依据一定原则规划数据，建立模型、应用，从而将数据信息以用户需要的角度和方式展现出来。同时支持用户对数据的深层挖掘与统计分析。,由此可见数据中心的建设过程，即是将无序数据以业务为导向进行组织，根据用户需求进行建模的过程。在该过程中，用户不用进行开发工作，取而代之的是灵活、快速的建模、定制与分配过程。数据引擎和前端展现工具将根据这些配置信息自动完成的数据的抽

3、取、整合与展现。,6,1.3数据中心体系结构,数据中心体系包括如下部分： 数据中心部分：提供数据内容，支撑展现应用，数据模型面对客户的最大需求 展现应用部分：提供数据展现方式，展现应用面对客户的特定需求 权限管理部分：同时支撑数据中心的建设与使用过程,7,1.3.1数据中心部分,8,1.3.1.1元数据管理,元数据：指“关于数据的数据 ”，是用于定义数据中心主 题数据的规范和标准，主要包括： 数据的业务关系定义 数据的业务指标定义 对应主数据（标准代码数据）定义 元数据和主数据Web检索服务,9,1.3.1.2数据加工体系,数据加工体系：主要完 成数据从源数据源到目 标数据源的数据加工 内置E

4、TL功能 也支持其他数据加工应用程序的注册和任务调度：存储过程、Java应用程序、其他应用程序等 主要包括：部署工具、加工引擎、控制台三个部分 支持多种异构数据源：DB2、Oracle、SQLServer、Sybase等 支持任务调度、排斥任务处理、任务运行监控等,10,1.3.1.3数据集市构建,数据集市：指企业基础业务事实数据在数据中心的集合，它描述了企业所有最细粒度的基础业务数据，是数据中心主题数据建设的“数据源”。 利用数据加工体系将企业应用系统中的基础业务事实数据整和到数据中心，完成数据集市的搭建。,11,1.3.1.4主题数据构建,主题数据：将数据集市中的基础业务事实数据是按照一定

5、的主题域进行组织和聚合，形成主题数据。 主题的组织和聚合：按照业务类型、财务科目、经营情况和企业资产等进行主题组织，按照时间、区域、机构隶属关系、产品结构、总量等进行主题数据的聚合。 如果主题数据采用关系型数据库来构建，其构建过程可用数据加工体系来完成；如果采用OLAP服务器来构建可用OLAP自身的数据加工完成,12,1.3.1.5主题数据管理,主题数据管理：主要用于描述数据中心存储的主题数据 “是什么”。这里主要体现在数据模型定义。 基于元数据来描述 数据模型定义的规则：BKR体系.一个主题 一个关键K表 + 多个集合关联K表2 .主题K表组关联关系、层次关系定义. K表定义：维度定义、粒度

6、定义、维度与粒度层次关系定义、指标定义,13,1.3.1.6数据服务体系,数据服务体系：用于完成数据中心的数据服务，它包 括以下几个部分 数据查询引擎：是数据中心对外提供数据服务的核心，支持对关系型数据库（DB2、Orale、SQLServer、Sybase等）查询，也支持OLAP服务器数据查询。 数据查询权限管理：给外部应用系统（如展现系统）分配数据查询范围，可按主题、粒度和指标进行限定。 Web数据服务：对外应用接口，基于Web Service和XML，可以同时支持多个展现应用系统，也可借助远程数据交换支持远程数据中心的数据交换 数据访问监控：对数据的访问情况进行登记、备案。,14,1.3

7、.2展现应用部分,15,1.3.2.1展现数据管理,展现数据管理：主要是展现模型定义，我们可以把展现模型定义的数据看作是展现系统的“后台虚拟数据库” 。 展现模型定义：基于元数据来描述，包括主题定义、维度定义、粒度定义、维度与粒度层次关系、指标定义。,16,1.3.2.2展现服务体系,展现服务体系：用于完成展现系统对展现应用的数据服务，它包括以下几个部分 展现查询引擎：对展现工具提供基于Web Service和XML的Web数据查询服务。 展现模型的权限分配：将展现模型按部门、按主题、按粒度、按指标进行数据查询权限分配。,17,1.3.2.4展现工具,展现工具：让用户如何更直观、便捷的查询和分

8、析数据。它主要包括以下工具： BI工具：商业智能分析工具，主要用于数据分析。 电子地图工具：利用地图导航和渲染，以专题地图的形式实现数据的查询和分析。 报表工具：实现企业常规的业务报表。 查询工具：提供用户按照元数据进行数据查询组织，完成数据的查询。 WEB工具：提供纯WEB方式的表格、图形分析工具,18,BI工具,BI工具： 支持多维钻取、展开、旋转、切片、各种数学模型的图形化分析等 支持同比、环比、累计分析 支持数据过滤(维度、粒度、指标范围)、排序 支持交叉表、直方图、面积图、离散图、曲线图、雷达图等 支持基本统计分析、进度分析、预警分析、方差分析、多元回归分析、聚类分析、相关分析、雷达

9、图分析等 支持ABC分析、TopN分析、分组统计、预定义分组钻取。 提供智能化的自动分析报告素材（数据表、图、文字报告） 支持数据导出： Excel、Word、HTML、TXT,19,电子地图工具,电子地图工具：地图+数据表+图表 支持地图导航方式的数据查询 支持地图渲染的数据分析 支持基于地图和数据表的数据钻取 支持导航、钻取路径的自定义 支持数据地图渲染的数据范围划分和对应渲染颜色定义 支持条件查询 支持常规图形：直方图、曲线图、饼图 支持图形切换 提供分析报告素材（数据表、图、文字报告）,20,报表工具,报表工具：能完成中国式的复杂报表 基于Java开发的Web报表工具 支持行式表、交叉

10、表 支持多数据源 支持混合分组、固定与变动组合；不完全划分分组； 支持跨行组运算； 支持行列对称、列向变动 便捷、直观的报表设计器、EXCEL式的绘制方案 强大的打印控制功能，支持套打,21,查询工具,查询工具： 支持基于元数据的查询：定制显示列、定制查询条件（普通查询条件定制、高级查询条件定制） 支持相关查询 支持多维钻取、展开等 支持同比、环比、累计分析 支持数据过滤(维度、粒度、指标范围)、排序 支持交叉表、直方图、面积图、离散图、曲线图等 支持ABC分析、TopN分析、分组统计分析 提供分析报告素材（数据表、图、文字报告） 支持数据导出： Excel、Word、HTML、TXT,22,

11、WEB工具,WEB工具： 支持数据的表格与图形展示 支持向下钻取、向上钻取 支持同比、环比、累计分析 支持数据按粒度过滤、指标排序 支持交叉表、饼图、柱状图、趋势图等 支持模型跳转,23,1.3.2.5展现应用定制,展现应用定制：用于开发商或企业业务人员基于展现模型进行应用定制，定制采用向导方式。包括： 选择应用展现的工具：BI工具、电子地图工具、报表工具 定制应用展现的数据：要看什么数据，定制显示列，定制数据查询条件 各工具功能定制：如BI工具的功能菜单定制、预定义分组定制、文字报告格式定制、首页格式定制等；电子地图工具的首页地图定制、地图渲染的数据范围划分和颜色设置、地图导航路径和钻取路径

12、定制等,24,1.3.2.6应用资源管理,应用资源管理：主要是用于 应用的分类管理：包括分析应用分类、分析报告分类、其他应用分类。 URL资源管理：主要是对应用入口URL资源的注册，便于与R1结合 查询权限分配：用于定制人员将其定制的应用分配该相关人员使用。,25,1.3.3权限管理部分,数据中心的权限管理可分为两种类型,与数据中心自身系统部署相关：我们称之为用户应用操作权限管理，与R1结合，限定什么人可以使用数据中心提供的什么功能。,数据中心部分：元数据管理、数据加工、数据模型、服务体系的操作权限。 展现应用部分：展现模型、应用定制、应用权限管理、分析报告定制、应用资源管理的操作权限,26,

13、1.3.3权限管理部分,数据中心的权限管理可分为两种类型,与数据中心建设和使用相关：决定了什么人可以使用、查看数据中心提供的什么内容,数据中心部分： 服务体系中，我们可以分配哪些节点可以使用哪些数据模型，以及可以使用数据模型的哪些部分。 展现应用部分： 展现模型注册中，我们可以分配展现模型可以给哪些部门使用 应用注册中，我们可以定制应用展现的数据内容 应用权限管理中，我们可以将应用分配给用户并定制应用工具的使用功能,27,1.4.数据中心部署结构,数据中心部署结构图,28,1.4.数据中心部署结构,数据中心部署说明,数据中心部分与展现应用部分可以部署在同一台服务器上，也可以部署在在不同的服务器

14、上，数据中心服务器可以服务于多台展现应用服务器。数据中心通过Web Service方式向展现应用提供服务。 在数据中心部分，数据中心系统库，源数据、BKR模型表、OLAP都可以分别部署在不同的数据库服务器上。我们可以在加工体系中对其进行资源注册，不同的数据模型可以从不同的资源中获取数据信息。 元数据管理的数据信息在数据中心部分进行维护，而展现应用部分也需要使用到元数据信息，如果数据中心与展现应用部署在不同服务器上，数据中心服务器将通过同步机制将元数据信息导入至展现应用部署的服务器。,29,2数据中心建设流程图,数据中心体系建设可分为数据中心建设和展现应用建设两部分，权限管理贯彻建设始中,30,

15、2.1构建主题数据,我们以关系型数据库中构建BKR模型数据为例描述主题数据的建设,31,2.1构建主题数据,我们假设在国家烟草专卖局的系统中已经存在了一个业务数据库，该数据库中记录有各个烟厂的每天的生产情况数据。这就是我们所说的源数据。我们这里只需要展现烟厂的产量、出厂量、库存量，并且可以按省份至烟厂进行数据挖掘，可以按年、月、日层层展开数据。因此我们可以从源数据中提取出B表，该表包含数据内容：日期、烟厂、产量、出厂量、库存量。该表数据内容可以通过加工体系每天从源数据中提取出来。B表的数据无法支撑数据引擎进行所需的数据分析过程，因此我们需要在其基础上加工成K表。,32,2.1构建主题数据,核心

16、K表应包括如下字段：年、月、日、省、烟厂、日产量、日出厂量、日库存量，这些数据都可以通过编写加工程序从B表中获得，当然在加工过程中我们会用到烟厂与省份的关联表，这里我们假设原有系统中存在该关联表。理论上建立了核心K表数据引擎已经可以满足我们的建设条件了，但这时数据引擎的效率将会很低，因为当我们需要查看年数据量的时候，引擎需要累加该表相同年的数据指标才能获得最后结果；我们可以通过在核心K表的基础上建立其他K表来提高效率，例如我们可以再建立一张包含年、省、烟厂、年产量、年出厂量、年库存量的K表和一张包含年、月、省、烟厂、月产量、月出厂量、月库存量的K表来提高查询年、月数据时的引擎处理效率；在地区纬度上的处理同样也可以如此进行。,33,2.1构建主题数据,提示： 至于最终要建立多少张K表并没有强制要求，视需要而定；同样以何种方式加工这些K表数据也应根据实际情况而定，我们可以通过建立视图的方式，也可以建立实际的表通过加工过程获得，或者直接在数据模型中写SQL语句。当感觉数据引擎的处理效率低时，可以尝试调整K表结构和数量。,