《数据库与数据仓库精编版》由会员分享，可在线阅读，更多相关《数据库与数据仓库精编版（11页珍藏版）》请在金锄头文库上搜索。
1、精品资料推荐第六章 数据库与数据仓库第一节 数据库技术数据处理是指从某些已知的数据出发，推导加工出一些新的数据。在数据处理中，通常计算比较简单，而数据管理比较复杂。数据管理是指数据的收集、整理、组织、存储、维护、检索、传送等操作。这部分操作是数据处理业务的基本环节，而且也是任何数据处理业务中必不可少的共有部分。数据处理的目的是从大量的数据中，按照应用的需要，根据数据自身的规律及其相互联系，通过分析、归纳、推理等科学方法，利用计算机技术，提取有效的信息资源，为进一步分析、管理、决策提供依据。一、数据管理技术及其发展数据管理技术经历了人工管理、文件系统和数据库系统三个阶段。（一）人工管理阶段该阶段
2、处在20世纪50年代中期以前，当时计算机主要用于科学计算，其他工作还没有展开。当时的硬件状况是，外存只有纸带、卡片、磁带，没有磁盘等直接存取的存储设备。软件状况是，没有操作系统，没有管理数据的软件。数据处理的方式基本上是批处理。这时期的数据管理呈以下特点：1、数据不保存。2、数据由应用程序管理。3、数据不共享。4、数据不具独立性。（二）文件系统阶段20世纪50年代后期到60年代中期，随着数据量的增加，数据的存储、检索和维护等成为迫切需要解决的问题，数据结构和数据管理技术迅速发展起来。此时，计算机硬件方面有了磁盘、磁鼓等直接存取的外部存储设备；而软件中出现了操作系统和高级语言。操作系统中有了专门
3、进行数据管理的软件，称为文件系统。处理方式上不仅有了批处理，而且能够联机实时处理。在文件管理阶段，文件系统为应用程序和数据之间提供了一个公共接口，使应用程序采用统一的存取方法来操作数据，应用程序和数据之间不再是直接的对应关系。这一时期的数据管理的特点是：1、数据可以长期保存。数据以“文件”的形式可以长期保存在外部存储设备中。2、数据由文件系统管理。文件系统把数据组织成相互独立的数据文件，利用按文件名访问、按记录进行存取的管理技术，可以对文件进行修改、插入和删除的操作。3、数据具有一定的独立性。程序与数据之间具有“设备独立性”，即程序只需用文件名就可以访问数据，不必关心数据的物理位置，由文件系统
4、提供存取方式。（三）数据库系统阶段20世纪60年代以来，计算机用于管理的规模越来越大，应用越来越广泛，数据量急剧增大，对数据共享的要求越来越迫切；同时，大容量磁盘已经出现，联机实时处理业务增多；软件价格在系统中的比重日益上升，硬件价格大幅下降，编制和维护应用软件所需成本相对增加。在这种情况下，为了解决多用户、多应用共享数据的需求，使数据为尽可能多的应用程序服务，数据库技术应运而生，出现了统一管理数据的专门软件系统数据库管理系统(DBMS，DataBase Management System)。数据库技术的出现主要是为了克服文件管理系统在管理数据上的诸多缺陷，满足人们对数据管理的需求。与文件系统
5、相比，应用程序不再直接访问数据文件，而是通过数据库管理系统来访问数据；数据文件也不再被应用程序管理，而由数据库管理系统统一管理。数据库阶段的数据管理特点是：1、数据结构化。数据结构化是数据库与文件系统的根本区别。在文件系统中，相互独立的文件的内部(即记录的结构)是有结构的，但从整个系统来说，数据在整体上是没有结构的。即记录内部有了结构，但记录间没有联系。在数据库系统中实现了整体数据的结构化，数据不再是针对某个应用，而是面向全组织，在整体上服从一定的结构形式。同时在数据库系统中存取数据的方式也很灵活，可以存取数据库中某个数据项、一组数据项、一个记录或一组记录，而在文件系统中数据存取的最小单位是记
6、录。2、较高的数据独立性。用户能以简单的逻辑结构操作数据而无需考虑数据的物理结构。数据库的结构分成用户的局部逻辑结构、数据库的整体逻辑结构和物理结构三级。用户(应用程序或终端用户)的数据和外存中的数据之间转换由数据库管理系统实现。3、数据共享。在数据库系统中，数据不再仅仅服务于某个程序或用户，而成为若干程序或用户的共享资源，由数据库管理系统统一管理与控制。在数据库中，由DBMS完成诸如打开、关闭、读、写等文件的低级操作，应用程序不必关心数据存储和其他实现的细节，可以在更高的抽象级别上访问数据。文件结构由DBMS修改，从而减少应用程序的维护工作量，提高数据的独立性。4、方便的用户接口。用户可以使
7、用查询语句或终端命令操作数据库，也可以用程序方式(如用Delphi、VC、VB、Java等高级语言和数据库语言联合编制的程序)操作数据库。5、较强的数据控制能力。并发控制能力，对程序的并发操作加以控制，防止数据库被破坏；恢复能力，系统有能力在数据库被破坏或数据不可靠时，把数据库恢复到最近某个正确的状态；完整性能力，保证数据库中数据完整；安全性能力，保证数据库中数据安全。（四）数据库发展新技术 数据库技术发展之快、应用之广是计算机科学其他领域的技术无可比拟的。随着数据库应用领域的不断扩大和信息量的急剧增长，占主导地位的关系数据库系统已不能满足新的应用领域的需求，如CAD(计算机辅助设计)/CAM
8、(计算机辅助制造)、CIMS(计算机集成制造系统)、G1S(地理信息系统)、MIS(管理信息系统)、KBS(知识库系统)等，都需要数据库新技术的支持。这些新应用领域的特点是：存储和处理的对象复杂，对象间的联系具有复杂的语义信息；需要复杂的数据类型支持；需要常驻内存的对象管理以及支持对大量对象的存取和计算。这些需求是传统关系数据库系统难以满足的。 自20世纪60年代中期以来，数据库技术与具他领域的技术相结合，出现了数据库的许多新的分支，如：与网络技术相结合出现了网络数据库；与分布处理技术相结合出现了分布式数据库；与面向对象技术相结合出现了面向对象数据库；与人工智能技术相结合出现了知识库；与并行处
9、理技术相结合出现了并行数据库；与多媒体技术相结合出现了多媒体数据库。1、分布式数据库技术 分布式数据库系统(Distributed DataBase System，DDBS)是在集中式数据库基础上发展起来的，分布式数据库系统是地理上分布在计算机网络的不同节点，逻辑上属于同一系统的数据库系统，分布式数据库系统不仅能支持局部应用，存取本地节点或另一个节点的数据，而且能支持全局应用，同时存取两个或两个以上节点的数据。 2、面向对象数据库技术面向对象数据库系统(Object-Oriented DataBase System，OODBS)是将面向对象的模型、方法和机制，与先进的数据库技术有机地结合而形成
10、的新型数据库系统。它从关系模型中脱离出来，强调在数据库框架中发展类型、数据抽象、继承和持久性。它的基本设计思想是：一方面把面向对象语言向数据库方向扩展，使应用程序能够存取并处理对象；另一方面扩展数据库系统，使其具有面向对象的特征，提供一种综合的语义数据建模概念集，以便对现实世界中复杂应用的实体和联系建模。因此，面向对象数据库系统首先是一个数据库系统，具备数据库系统的基本功能，其次是一个面向对象的系统，针对面向对象程序设计语言的永久性对象存储管理而设计的，充分支持面向对象的概念和机制。 3、多媒体数据库 多媒体数据库系统(Multi-media Database System，MDBS)是数据库
11、技术与多媒体技术相结合的产物。在许多数据库应用领域中，都涉及到大量的文字、图形、图像、声音等多媒体数据，这些与传统的数字、字符等格式化数据有很大的不同，都是一些结构复杂的对象。这主要体现为如下几点： （1）数据量大。格式化数据的数据量小，而多媒体数据量一般都很大，1分钟视频和音频数据就需要几十兆空间。 （2）结构复杂。传统的数据以记录为单位，一个记录由若干个字段组成，结构简单，而多媒体数据种类繁多、结构复杂，大多是非结构化数据，来源于不同的媒体且具有不同的形式和格式。（3）数据传输的连续性。多媒体数据，如声音或视频数据的传输必须是连续的、稳定的，不能间断，否则出现失真而影响效果。多媒体数据的这
12、些特点，使系统不能像格式化数据一样去管理和处理多媒体数据，也不能简单地通过扩充传统数据库来满足多媒体应用的需求，因此，多媒体数据库需要有特殊的数据结构、存储技术、查询和处理方式。 4、数据仓库 随着数据库应用规模、范围和深度的不断扩大，般的事务处理已不能满足应用的需要，企业界需要在大量信息数据基础上的决策支持(Decision Support，DS)。数据仓库(Data Warehousing，DW)技术的兴起满足了这一需求。数据仓库技术是目前数据处理中发展十分迅速的一个分支。所谓“数据仓库”，就是一种长期数据存储，这些数据来自于多个异种数据源。通过数据仓库提供的联机分析处理(OLAP)工具，
13、实现各种粒度的多维数据分析，以便向管理决策提供支持。数据仓库系统允许将各种应用系统集成在一起，为统一的历史数据分析提供坚实的平台，对信息处理进行支持。数据仓库可以提供对企业数据的方便访问和强大的分析工具，从企业数据中获得有价值的信息，发掘企业的竞争优势，提高企业的运营效率，指导企、业决策。数据仓库作为决策支持系统(Decision Support System，DSS)的有效解决方案，涉及3方面的技术内容：数据仓库技术、联机分析处理(On-Line Analysis Processing，OLAP)技术和数据挖掘(Data Mining，DM)技术。二、数据库系统的组成数据库系统是由支持数据库
14、运行的硬件、数据库、数据库管理系统、应用软件、数据库管理员和用户组成。如图6-1所示。图6-1 数据库系统(一)数据库数据库是长期存储在计算机存贮介质上，有一定组织形式、可共享的数据集合。针对应用的所需要进行收集并抽取大量数据，经过加工处理后保存在数据库中。数据库中的数据按一定的数据模型组织、描述和存储，具有较小的冗余度、较高的数据独立性和易扩展性，并为各种用户共享。数据库中的数据由数据库管理系统进行统一管理和控制，用户对数据库进行的各种操作都是通过数据库管理系统实现的。(二)支持数据库运行的硬件硬件是数据库赖以存在的物理设备，包括CPU、存储器和其他外部设备等。数据库系统要求要有较大的内存，
15、用以存放系统程序、应用程序和开辟用户工作区及系统缓冲区；而对外部存储器更有特殊要求，一般应配备高速度、大容量的直接存取存储设备(磁盘、光盘等)。(三)数据库管理系统数据库管理系统(DBMS)是介于用户和操作系统之间的一层数据管理软件，属于系统软件。它由计算机软件生产厂家按商品软件出版。如ORACLE公司的Oracle系统、SYBASE公司的Sybase系统、Microsoft公司的SQL Server系统以及MySQL等。数据库管理系统为数据库的建立、运行和维护提供了统一的管理和控制。用户通过数据库管理系统定义数据和操纵数据，由它保证数据的安全性、完整性、并发使用及发生故障后的系统恢复。数据库
16、管理系统是数据库系统的核心，其功能的强弱是衡量数据库系统性能优劣的主要指标。(四)应用程序一个数据库应用可分为客户端应用程序和服务端应用程序两类。服务端应用程序运行在数据库服务器上，是真正存储和操纵数据的，它接受用户程序的请求，对数据进行不同的操作。客户端应用程序运行在客户端计算机上，实现用户的业务逻辑，通过客户端应用程序界面，用户可以发出不同的请求给服务器端，由服务端程序完成各种各样的操作。一般情况下，客户端和服务器端的程序通过标准SQL语言通信。数据库应用程序主要完成用户的业务逻辑，被安装在用户的计算机上。应用程序和数据库管理系统一起完成用户的业务处理。在这个应用中，数据库管理系统负责数据的管理，提供数据共享功能，因
