鼎天决策支持系统dtDSS白皮书

《鼎天决策支持系统dtDSS白皮书》由会员分享，可在线阅读，更多相关《鼎天决策支持系统dtDSS白皮书（7页珍藏版）》请在金锄头文库上搜索。

1、鼎天决策支持系统 dtDSS决策支持系统(DSS )在政府决策支持方面有很大帮助。随着电子政务系统的发展以 及中国信息化程度的不断提高，在政府决策支持方面需要不断吸纳新的信息处理技术，提 高决策科学性和规范性，以达到提高政府办公效率、促进经济发展的目的。鼎天决策支持 系统( dtDSS) ,采用了数据仓库，联机分析处理和数据挖掘等新技术，为党政行业客户在 宏观经济方面提供决策支持。1. 系统概述1.1 DSS 概述自70年代提出决策支持系统(DSS)以来,DSS已经得到了很大发展。它是在管理信息 系统(MIS)基础上发展起来的。MIS是利用数据库技术实现各级管理者的管理业务,在计算 机上进行各

2、种事务处理工作。 DSS 则是要为各级管理者提供辅助决策的能力。1980 年 Sprague 提出了决策支持系统三部件结构,即对话部件、数据部件(数据库 DB 和数据库管理系统DBMS)、模型部件(模型库MB和模型库管理系统MBMS)。该结构明确了 DSS的组成，也间接地反映了 DSS的关键技术，即模型库管理系统、部件接口、系统综合集 成。它为DSS的发展起到了很大的推动作用。1981年Bonczak等提出了 DSS三系统结构，即语言系统(LS)、问题处理系统(PPS)、 知识系统(KS)。该结构在问题处理系统和知识系统上具有特色，并在一定范围内有其 影响,但它与人工智能的专家系统(ES)容易

3、混淆。决策支持系统主要是以模型库系统为主体，通过定量分析进行辅助决策。其模型库中 的模型已经由数学模型扩大到数据处理模型、图形模型等多种形式 ，可以概括为广义模 型。决策支持系统的本质是将多个广义模型有机组合起来 ， 对数据库中的数据进行处理而 形成决策问题大模型。决策支持系统的辅助决策能力从运筹学、管理科学的单模型辅助决 策发展到多模型综合决策，使辅助决策能力上了一个新台阶。80年代末90年代初，决策支持系统与专家系统结合起来，形成了智能决策支持系统(I DSS)。专家系统是定性分析辅助决策，它和以定量分析辅助决策的决策支持系统结合，进一 步提高了辅助决策能力。智能决策支持系统是决策支持系统

4、发展的一个新阶段。鼎天决策支持系统(dtDSS)白皮书1.2 数据仓库和 OLAP 的决策支持技术数据仓库和OLAP是90年代初提出的概念，到90年代中期已经形成潮流。在美国，数 据仓库已成为紧次于 Internet 之后的又一技术热点。数据仓库是市场激烈竞争的产物, 它 的目标是达到有效的决策支持。大型企业几乎都建立或计划建立自己的数据仓库,数据库 厂商也纷纷推出自己的数据仓库软件。目前,已建立和使用的数据仓库应用系统都取得了 明显的经济效益,在市场竞争中显示了强劲的活力。数据仓库将大量用于事务处理的传统数据库数据进行清理、抽取和转换 ,并按决策主 题的需要进行重新组织。数据仓库的逻辑结构可

5、分为近期基本数据层、历史数据层和综合 数据层(其中综合数据是为决策服务的)。数据仓库的物理结构一般采用星型结构的关系数 据库。星型结构由事实表和维表组成 , 多个维表之间形成多维数据结构。星型结构的数据 体现了空间的多维立方体。这种高度集中的数据为各种不同决策需求提供了有用的分析基 础。联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的。当 时,Codd认为联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要,SQL对大 数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进 行大量计算才能得到结果，而查询的结果并不能满足

6、决策者提出的需求。因此Codd提出了 多维数据库和多维分析的概念，即OLAP。随着数据仓库的发展,OLAP也得到了迅猛的发展。数据仓库侧重于存储和管理面向决 策主题的数据;而 OLAP 则侧重于数据仓库中的数据分析,并将其转换成辅助决策信息。 OL AP 的一个重要特点是多维数据分析,这与数据仓库的多维数据组织正好形成相互结合、相 互补充的关系。 OLAP 技术中比较典型的应用是对多维数据的切片和切块、钻取、旋转等 , 它便于使用者从不同角度提取有关数据。 OLAP 技术还能够利用分析过程对数据进行深入 分析和加工。例如,关键指标数据常常用代数方程进行处理,更复杂的分析则需要建立模型 进行计算

7、。以数据仓库和 OLAP 相结合建立的辅助决策系统是决策支持系统的新形式。 Business Object(BO)推出的智能决策支持系统工具BO 4.0是以OLAP技术为主体的、集查询和报表 为一体的决策支持系统开发工具。该工具的一个重要特点是提出了 语义层和语义动态 对象的概念。语义层是将数据库中的列(字段)按决策主题重组为面向用户的对象,对象可 以是数据库中的表、列、连接(多字段组合)以及对多字段进行运算的表达式。语义动态对 象是对已经定义的语义层对象进行任意组合后形成决策需要的新表,并将表中的数据以可 视化的方式在屏幕上显示或以报表的形式打印出来。OLAP 技术是对由语义动态对象建立的、

8、以动态微立方结构形式存储的表进行向下钻 取、向上钻取、跨越钻取、切片和切块等操作。 BO 4.0 的网络版使用户能够在网上通过 浏览器查看或下载BO报表。dtDSS 包括三个主体。第一个主体是模型库系统和数据库系统的结合 ,它是决策支持的 基础,为决策问题提供定量分析(模型计算)的辅助决策信息。第二个主体是数据仓库、 OLAP,它从数据仓库中提取综合数据和信息,这些数据和信息反映了大量数据的内在本 质。第三个主体是专家系统和数据开采的结合。数据开采从数据库和数据仓库中挖掘知识, 并将其放入专家系统的知识库中,由进行知识推理的专家系统达到定性分析辅助决策。综合体系结构的三个主体既可以相互补充又可

9、以相互结合。它可以根据实际问题的规 模和复杂程度决定是采用单个主体辅助决策 ,还是采用两个或是三个主体的相互结合辅助 决策。利用第一个主体的辅助决策系统就是传统意义下的决策支持系统。利用第一个主体 和第三个主体相结合的辅助决策系统就是智能决策支持系统。利用第二个主体的辅助决策 系统就是新的决策支持系统。在OLAP中利用模型库的有关模型，可以提高OLAP的数据 分析能力。将三个主体结合起来,即利用问题综合和交互系统部件集成三个主体,这样形 成的综合决策支持系统是一种更高形式的辅助决策系统 ,其辅助决策能力将上一个新台 阶。由于这种形式的决策支持系统包含了众多的关键技术,研制过程中将要克服很多困难

10、, 这也是我们今后努力的方向。2. 决策支持系统体系结构决策支持系统体系结构如下图所示：数据提取： a) 对于建立在本身具有 ODBC 和 JDBC 接口的数据库管理系统(如: MS SQL Server, Oracle, DB2, Sybase 等)之上的各个数据库，可以通过 ODBC 或 JDBC 接口提取出来，在经过数据清理与整合之后，再通过 ODBC 或 JDBC 接口导入建立 在 DM3 平台上的数据仓库。目前 DM3 (国产安全关系数据库)已经具备 ODBC 和JDBC接口。b)对于不具备ODBC和JDBC接口的数据库(如：直接以一般的文本 文件集合构成的数据库)，则通过基于 XM

11、L 的中间件提取数据和导入数据仓库。 为此，需要针对这些数据库各自的特性，开发将其中的数据发布成 XML 格式的工 具；如有现成的第三方工具，亦可考虑采用。目前 DM3 正在参照国际上成熟的技 术，实现以关系型数据库存储和发布 XML 数据。数据清理与集成：数据仓库中的数据是用于决策支持，因此必须力求数据的正确性。从各个数据库中提取过来的数据有可能是“脏“的，可能包含了重复的记录，数据不 完整或者数据记录之间不一致。因此需要有数据清理和集成工具来消去重复；为 不完整的数据添补丢失的字段值；解决数据之间的所有矛盾之处，如字段的同名鼎天决策支持系统（dtDSS）白皮书异义、异名同义、量纲不统一、字

12、段长度不一致等等。数据清理与集成是数据仓 库建设中最关键、最复杂的一步。数据的异常往往极其烦琐，有的是由无意的录 入错误所引起，有的则是因为数据格式不统一，表达习惯不同等等造成的。数据 的异常与特定情况紧密相关，因此很难有完全通用的工具。但是这些工具本质上 并不存在很大的技术障碍，主要是工作量庞杂。 DM3 可以开发自己的数据清理与 集成工具，或者可能直接利用政务系统综合数据支撑平台。数据加载与刷新：经过数据提取、数据清理与集成之后，数据就加载到数据仓库之中。在 加载过程中可能需要同时进行一些额外的处理：检查数据完整性约束，排序，汇 总以及建立索引等等。数据刷新就是将各个数据来源（各司局数据库

13、）中发生的 更新传播到数据仓库。刷新有两个关键问题： 何时刷新和怎么刷新。数据加载 和刷新通常都是采取批处理的方式来完成。数据加载基本上都可以利用 DM3 的现 有功能实现。最简单的数据刷新就是重新进行数据加载。另一方面， DM3 可以采 用成熟技术开发增量式刷新工具。数据集市：根据具体需要，可以在各司局建立局部的数据仓库，即数据集 市。整个数据仓库则建立在所有数据集市之上。探索建立决策模型，提高决策支持系统的易用性。与决策者紧密配合，不断了解决策需求，决策流程以及决策思维习惯等等相 关信息，探索建立相应的决策模型。在决策模型的基础上，不仅构建通用的数据分析平台，而且在了解决策者的 个性化要求

14、之后，预先定制一体化的决策支持个性系统，方便决策者的使用，提 高决策效率。研究与开发高效方便的数据分析工具，充分发掘数据仓库中的有用信息，为 优化决策提供支持。数据查询与报表工具：决策支持查询类似传统的 SQL 查询，不同之处在于， 决策支持查询通常要汇总大量的、较低层数据，包含较复杂的计算过程。为了满 足对这一类查询的快速响应，需要优化数据仓库的物理数据组织，建立能够高效 支持复杂连接操作的索引。此外，还可以采取实化视图机制，根据用户的查询模 式预先计算大量的查询，当后续相同的查询或类似的查询到来之时，不用再次从 头计算，而是利用先前的结果进行快速响应。目前 DM3 已经具备智能报表工具系

15、统。正在研究开发实化视图机制，使智能报表工具系统以后能够利用实化视图来 快速响应决策支持查询。OLAP 服务器：联机分析处理工具将数据仓库中的数据组织成多维数据立方的形式，支持 复杂的多维分析，符合人们日常多角度、多侧面看问题的分析习惯。典型的 OLAP 操作包括：上钻（rollup,也就是增加数据的抽象汇总程度，减少细节），下钻（drill-down也就是增加数据的具体程度，获取更多的细节），切片和切块鼎天决策支持系统(dtDSS)白皮书(slice-and-dice,也就是选取数据立方中的某些单元投影出来)，以及旋转(pivot, 也就是改变多维数据视图的显示角度)。简而言之，多维数据立方

16、就 是传统二维报表的多维化。目前已经基于 DM3 构建了关系型 OLAP 服务器原型系 统(ROLAP服务器)，包括数据立方构造和浏览工具。ROLAP服务器通过星型模 式或雪花模式以关系数据库的二维表来模拟多维数据模型。多维数据立方就是事 实表的实化视图。数据立方浏览工具整合了上述上钻、下钻、切片和切块以及旋 转操作，用户只需用鼠标点击就能查看数据立方中任意单元中度量汇总值。投标 方正在研究开发利用数据立方索引加快数据立方浏览，进一步完善用户界面，和 实现编程接口。数据挖掘工具：数据挖掘，又称数据库中的知识发现，就是在大量数据中发现潜在可 用的模式。主流数据挖掘技术包括：关联(association)，分类(classification)，聚类 (clustering)和回归(regression)。一个关联规则的例子就是“ 90%的客户在购买面包和 黄油的同时也会购买牛奶”。其直观的意义就