第三章物流数据库技术

《第三章物流数据库技术》由会员分享，可在线阅读，更多相关《第三章物流数据库技术（75页珍藏版）》请在金锄头文库上搜索。

1、物流信息技术第三章 物流数据库技术第三章 物流数据库技术 【学习目标】1熟练掌握数据库的定义、特点、模型和组成2掌握常用的数据库产品的技术特点3掌握SQL的概念和数据库管理技术4了解数据挖掘的概念、工具和应用熟练掌握信息 和物流信息的概念、特点及作用1物流信息技术第三章 物流数据库技术内容概要 数据库技术作为物流信息技术的管理核心，在物流领域得到广泛的应用。本章介绍当前流行的关系数据库管理系统，内容包括数据库的定义、特点和作用，常用的关系数据库管理系统和管理技术，数据挖掘的概念，数据挖掘的工具和应用。2物流信息技术第三章 物流数据库技术第三章 物流数据库技术第一节 数据库基础知识第二节 常用的

2、数据库产品 第三节 数据库管理技术 第四节 数据仓库与数据挖掘 第五节 数据库技术在物流系统中的应用3物流信息技术第三章 物流数据库技术第一节 数据库基础知识 一、一、数据库的定义与特点数据库的定义与特点二、二、数据库管理技术的发展数据库管理技术的发展三、三、数据模型数据模型四、四、数据库系统的组成数据库系统的组成返回4物流信息技术第三章 物流数据库技术 一、数据库的定义与特点一、数据库的定义与特点 （一）（一）数据库的定义数据库的定义 （二）（二）数据数据库库的特点的特点 （三）（三）数据数据库库的分的分类类 返回5物流信息技术第三章 物流数据库技术 一、数据库的定义与特点一、数据库的定义与

3、特点（一）数据库的定义（一）数据库的定义 数据库（数据库（Data Base，简称简称 DB）是是存放在计算机存储设备中的、以一种合理存放在计算机存储设备中的、以一种合理的方法组织起来的、与公司或组织的业务的方法组织起来的、与公司或组织的业务活动和组织结构相对应的各种相关数据的活动和组织结构相对应的各种相关数据的集合，该集合中的数据可以为公司或组织集合，该集合中的数据可以为公司或组织的各级经过授权的人员或应用程序以不同的各级经过授权的人员或应用程序以不同的权限所共享。的权限所共享。返回6物流信息技术第三章 物流数据库技术 （二）数据库的特点二）数据库的特点1冗余度最少。以一定的数据模型组织数据

4、，数据尽可能不重复。2资源共享。以最优方式为某个特定组织的多种应用程序或用户服务（应用程序或用户对数据资源共享）。3数据独立。其数据结构独立于使用它的应用程序。4管控统一。对数据的定义、操纵和控制由数据库管理系统统一进行管理和控制。返回7物流信息技术第三章 物流数据库技术 ( (三）数据库的分类三）数据库的分类 按数据库的数据结构模型分类: 层次型数据库 网状型数据库 面向对象型数据库 关系型数据库。返回8物流信息技术第三章 物流数据库技术 二、数据库管理技术的发展二、数据库管理技术的发展 数数据据库库管管理理技技术术是是指指数数据据进进行行分分类类、组组织织、编编码码、存存储储、检检索索和和

5、维维护护的的技技术术。数数据据库库管管理理技技术术的的发发展展是是和和计计算算机机技技术术及及其其应应用用的的发发展展联联系系在在一一起起的的，经经历历了了由由低低级级向向高高级级的的发发展展过过程程。概括来说可以分为四个阶段：概括来说可以分为四个阶段： 人工管理阶段人工管理阶段 文件系统阶段文件系统阶段 数据库系统阶段数据库系统阶段 高级数据库技术阶段。高级数据库技术阶段。 返回9物流信息技术第三章 物流数据库技术 三、三、数据模型数据模型 模型是对现实世界事物的抽象模仿和模拟，在数据库技术中，使用数据模型（Relational Model）对现实世界数据特征进行描述。数据模型可分为两类或两

6、个基层次。 概念数据模型概念数据模型 结构数据模型结构数据模型 返回10物流信息技术第三章 物流数据库技术 （一）概念数据模型（一）概念数据模型 概念数据模型只描述信息的特性和强调语义，而不涉及信息在计算机中的表示，是现实世界到信息世界的第一层抽象。主要概念有:l实体（Entity）：客观存在并可互相区分的事物。实体可以是人、物、某些概念、事物与事物之间的联系。例如：一个职工、一个学生、学生的一次选课、部门的一次定货。l属性（Attribute）：实体具有的某一特性。一个实体可由若干个属性来刻画。例如：供应商实体可有供应商号、姓名、地址、电话号、帐号等属性组成。（001、宝洁公司、广州市经济开

7、发区、020-8855766、022-334-556-998）这些属性值组合起来表征了一个供应商。 11物流信息技术第三章 物流数据库技术l实体型（Entity set）：具有相同属性的实体具有共同的特征和性质。用实体名及其属性名集合来抽象和刻画同类实体，称为实体型。例如供应商（供应商号、姓名、地址、电话号、帐号）l实体集：同型实体的集合称为实体集。例如，全体供应商就是一个实体集。12物流信息技术第三章 物流数据库技术l联系：现实世界的事物之间是有联系的，这种联系必然要在信息世界中反映。一般实体之间的联系有三种：一对一联系（如一个部门有一个经理，而每个经理只在一个部门工作），一对多联系（如一个

8、部门有若干职工，而一个职工只在一个部门工作），多对多联系（如一个项目有多个职工参加而一个职工可以参加多个项目工作）。l通常用实体联系图（E-R图）把现实世界中数据的属性和联系描述出来。 实体联系图的符号用法如下：实体型用矩型表示，联系用菱型表示，属性用椭圆表示。13物流信息技术第三章 物流数据库技术 例：某工厂的库存管理E-R图,表示一个供应商可供应多种零件，每个项目可由不同的供应商供应零件，每种零件可由不同的供应商供应。供应商、零件和项目都是现实世界的实体，供应是它们之间的联系。pn供应商项目供应零件m姓名地址电话号帐号项目号开工日期零件号名称规格单价返回14物流信息技术第三章 物流数据库技

9、术 （二）结构数据模型二）结构数据模型 结构数据模型直接描述数据库中数据的逻辑结构,这一类模型设计到计算机系统，又称为基本数据模型。它是用于机器世界的第二层抽象，通常包括一组严格定义的形式化语言，用来定义和操作数据库中的数据，最常用的有： 层次模型网状模型关系模型 面向对象模型返回15物流信息技术第三章 物流数据库技术 1层次模型（Hierarchical Model）。这 一模型的主要特征是用树型结构表示实体类型以及实体间的联系，有且只有一个结点没有父结点，该结点为根结点；根结点以外的其他结点有且只有一个父结点。 最典型的层次模型系统是IBM公司1969年推出的IMS(Information

10、 Management System)商用数据库系统的数据模型 。例：每种零件有若干个项目需要，且每种零件有若干个供应商供应。联系类型“供应”单独作为一个记录类型。零件工程项目供应供应商返回16物流信息技术第三章 物流数据库技术2网状模型（Network Model）。这一模型用网状结构表示实体类型及实体之间的联系，用于设计网状数据库。网状模型与层次模型不同的是，在网状模型中允许一个以上的结点可以没有父结点，一个子结点可以有多个父结点。例：客户订货的网状数据模型。客户和产品都是没有父结点，订单明细有两个父结点。客户客户代号公司名称城市电话城市订单订单订货运货费产品产品单价产品订单代号日期城市代

11、号名称订单明细订单代号产品日期数量返回17物流信息技术第三章 物流数据库技术 3关系模型（Relation Model）。 这一模型用表结构来表示实体类型以及实体间的联系。采用关系模型的数据库由一系列的“二维表”组成，每个表保存着企业或组织业务活动中所涉及的一个特定实体（或者两个实体之间的某种联系）的所有实例的各种属性值数据。18物流信息技术第三章 物流数据库技术 例： 表明各个客户向本公司订购产品的状况的“订单”就是一个实体，为了记录这一实体所有实例的订单代号、客户代号、订购日期和运货费等属性值数据，就可以在公司数据库中规定一个描述公司所有订单内容的“订单”表。订单代号 客户代号 订购日期运

12、货费D001K00103/12/03300D002K00203/12/lO50D003K00104/04/05100D004K00204/04/2080D005K00303/12/20100D006K00303/06/0930D007K00403/07/08200D008K00503/10/08100返回19物流信息技术第三章 物流数据库技术（三）面向对象模型（三）面向对象模型（ObjectObjectOriented ModelOriented Model） 随着数据库技术的发展，出现了许多如CAD、图象处理等新的应用领域，例如，存储和检索保险索赔案件中的照片、手写的证词等。这就要求数据库系

13、统不仅能处理简单的数据类型，还要处理包括图形、图像、声音、动画等多种音频、视频信息，传统的关系数据模型难以满足这些需求，因而产生了面向对象的数据模型。在面向对象的数据模型中，最重要的概念是对象（Object）和类（Class）。例：例：书工具书教科书20物流信息技术第三章 物流数据库技术一个面向对象的数据库模式是由若干个类层次一个面向对象的数据库模式是由若干个类层次组成的。如上例包含了三个类：书类、工具书组成的。如上例包含了三个类：书类、工具书类和教科书类。其中，书是超类，而工具书类类和教科书类。其中，书是超类，而工具书类和教科书类是它的子类。子类可以继承其超类和教科书类是它的子类。子类可以继

14、承其超类的所有的属性、方法和消息。的所有的属性、方法和消息。 对象是对现实世界中的实体在问题空间的抽象。对象是对现实世界中的实体在问题空间的抽象。一个对象由属性集、方法集和消息集组成。其一个对象由属性集、方法集和消息集组成。其中，属性用于描述对象的状态、组成和特性，中，属性用于描述对象的状态、组成和特性，而方法用于描述对象的行为特征，消息是用来而方法用于描述对象的行为特征，消息是用来请求对象执行某一操作或回答某些信息的要求，请求对象执行某一操作或回答某些信息的要求，它是对象向外提供的界面。它是对象向外提供的界面。类：共享同一属性集和方法集的所有对象的集类：共享同一属性集和方法集的所有对象的集合

15、称为类。每个对象称为它所在类的一个实例。合称为类。每个对象称为它所在类的一个实例。类的属性值域可以是基本数据类型，也可以是类的属性值域可以是基本数据类型，也可以是类。一个类可以组成一个类层次类。一个类可以组成一个类层次 返回21物流信息技术第三章 物流数据库技术四、数据库系统的组成四、数据库系统的组成 数据库数据库管理员数据库应用开发工具数据库管理系统操作系统最终用户n最终用户1最终用户2数据库应用系统图3-5 数据库系统组成返回22物流信息技术第三章 物流数据库技术第二节 常用的数据库产品 一、一、OracleOracle数据库数据库二、二、SybaseSybase数据库数据库三、三、MS

16、SQL ServerMS SQL Server数据库数据库四、四、MS AccessMS Access数据库与数据库与FoxProFoxPro数据库数据库返回23物流信息技术第三章 物流数据库技术 一、一、OracleOracle数据库数据库（一）（一）OracleOracle数据库的技术特点数据库的技术特点 支持企业联机事务处理支持企业联机事务处理 支持企业分布式处理支持企业分布式处理 支持企业数据仓库支持企业数据仓库 与与WebWeb技术结合技术结合（二）（二）OracleOracle产品结构及组成产品结构及组成OracleOracle系统是由以系统是由以RDBMSRDBMS为核心的一批软

17、件产品为核心的一批软件产品构成构成 24物流信息技术第三章 物流数据库技术SQL*PLUSORACLE*FORMSORACLE*REPORTSQL*GRAPHICSQL*CALC用户编制的程序程序接口（SQL执行程序）ORACLE内核（RDBMS）操作系统数据字典DD数据库DB返回25物流信息技术第三章 物流数据库技术二、二、SybaseSybase数据库数据库（一）（一）SybaseSybase数据库的技术特点数据库的技术特点lSybaseSybase数据库管理系统的技术特点数据库管理系统的技术特点 完全的客户机/服务器体系结构 采用单进程多线索技术 支持存储过程 虚服务器体系结构与对称多处

18、理器技术结合 DBA在线调整监控数据库系统的性能 提供日志与数据库的镜象 支持计算机簇族环境下的快速故障切换 通过存储和触发器由服务器制约数据的完整性 多种安全机制对表、视图、存储过程、命令进行授权 分布式事务处理采用2PC（TWO PHASE COMMIT）技术 26物流信息技术第三章 物流数据库技术lSybase的客户/服务体系 在Sybase客户/服务器体系结构中，网络环境上的软件被明确地划分为三个部分: 客户软件-Sybase SQL Toolset 服务器软件-Sybase SQL Server 接口软件-Sybase Client/Server Interface（二）二）Syba

19、seSybase数据库的产品组成数据库的产品组成l SQL Server 10（ 数据库管理系统的核心）l Replication Server（实现数据库分布的服务器）l Backup Server（网络环境下的快速备份服务器）l OMINI SQL Gateway（异构数据库库关）l Navigation Server（网络上可扩充的并行处理能力服 务器）l Control Server（数据库管理员服务器）返回27物流信息技术第三章 物流数据库技术 三、三、MS SQL ServerMS SQL Server数据库数据库 （一）（一）MS SQL ServerMS SQL Server数

20、据库的技术特点数据库的技术特点l可看作是可看作是Windows NTWindows NT（WindowsWindows）的自然扩展的自然扩展l容易安装和维护容易安装和维护 l使用Windows NT的服务提供新的或扩展的数据库功能 （二）（二）MS SQL ServerMS SQL Server数据库的产品组成数据库的产品组成lSQL Server(SQL Server(核心数据引擎，是惟一实际修改数据的核心数据引擎，是惟一实际修改数据的SQL ServerSQL Server部件部件 ) ) lSQL Server Agent(SQL服务器代理 ,提供SQL Server的调度服务 ) lS

21、QL Mail(可以从特定服务器专用的账号读取、删除和发送电子邮件 ) lDistributed Transaction Coordinator(分布式事务协调器 )l系统数据库 (安装SQL Server软件时，它自动建立四个系统数据库-Master、Model、Tempdb和Msdb ) 返回28物流信息技术第三章 物流数据库技术 四、四、MS AccessMS Access数据库数据库与与FoxProFoxPro数据库数据库 （一）（一）MS Access MS Access 数据库简介数据库简介 （二）（二）FoxProFoxPro数据库简介数据库简介返回29物流信息技术第三章 物流数

22、据库技术 （一）MS Access 数据库简介1.Access的特点 l是一个中、小型关系数据库管理系统。l是一个完全面向对象，采用事件驱动机制的最新关系数据库管理系统。l是一个同时面向数据库最终用户和数据库开发人员的关系数据库管理系统。l是一个典型的开放式数据库管理系统。l支持多媒体的应用与开发。l既可以在单用户环境下工作也可以在多用户环境下工作，并且具有完善的安全管理机制。l内置了大量的函数。l提供了许多宏操作。l提供了联机帮助功能。 30物流信息技术第三章 物流数据库技术3Access的数据库对象。 Access提供了七种数据库对象:表、查询、窗体、报表、数据访问页、宏和模块。（1）表（

23、Table）对象。表是有结构的数据的集合，是数据库应用系统的数据仓库。（2）查询（Query）对象。查询是根据用户给定条件在指定的表中筛选记录或者进一步对筛选出来的记录做某种操作的数据库对象。查询可以进一步分为选择查询和动作查询两种。用户可以使用选择查询从指定的表中获取满足给定条件的记录，也可以使用动作查询从指定的表中筛选记录以生成一个新表或者对指定的表进行记录的更新、添加或删除操作。（3）窗体（Form）对象。窗体对象允许用户采用可视化的直观操作设计数据输入、输出界面的结构和布局。31物流信息技术第三章 物流数据库技术 （4）报表（Report）对象。报表对象允许用户不用编程仅通过可视化的直

24、观操作就可以设计报表打印格式。（5）数据访问页（Page）对象。数据访问页可以将数据库中的记录发布到Internet或Intranet，并使用浏览器进行记录的维护和操作。（6）宏（Macro）对象。宏对象是一个或多个宏操作的集合，其中的每一个宏操作执行特定的单一功能。用户可以将这些宏操作组织起来形成宏对象以执行特定的任务。 （7）模块（Module）对象。模块对象是将Visual Basic for Application（简称宏语言VBA）编写的过程和声明作为一个整体进行保存的过程的集合。 返回32物流信息技术第三章 物流数据库技术 （二）（二）FoxPro数据库简介数据库简介 Visual

25、 FoxPro的特点。的特点。（1）有有多多种种可可视视化化工工具具，面面向向对对象象的的编编程程，重重复复使使用用各各种种类类。表表的的字字段段和和控控件件直直接接结结合合的的设设置置。解解决决了了2000年年问问题题，增增强强了了Internet技技术术，WWW数数据据库库的的设设计计，ActiveX和和向向导导设设计计，生生成成器器以以及及控控件件等等集集成成化化工工具具。引引入入了了识识别别gif和和jpeg格式图像的能力。格式图像的能力。 （2）它它支支持持与与其其它它应应用用程程序序共共享享数数据据、交交换换数数据据，支支持持与与大大多多数数后后台台数数据据库库的的客客户户机机/服

26、服务务器器应应用用程程序序的的连连接接，使使32位位的的ODBC（开开放放数数据据库库连连接接）驱驱动动程程序序能能够够集集成成来来自自各各个个系系统统的的数数据。据。 返回33物流信息技术第三章 物流数据库技术 一、SQL语言简介 二、数据管理技术 第三节 数据库管理技术返回34物流信息技术第三章 物流数据库技术 一、一、SQLSQL语言简介语言简介（一）（一）SQLSQL语言的概念语言的概念1SQL语言的概念。SQL是Structured Query Language （结构化查询语言）的缩写。SQL是专为数据库而建立的操作命令集，是一种功能弃权的数据库语言。2SQL语言的几个基本概念。（

27、1）基本表。基本表是本身独立存在的表。在SQL中一个关系就对应一个表，一个表可以带若干索引。（3）数据库。数据库是若干个基本表的集合。35物流信息技术第三章 物流数据库技术（2）视图。视图是从一个或几个基本表导出的表，它本身不独立存储在数据库中。数据库中只存放视图的定义而不存放视图的数据，这些数据仍存放在导出视图的基本表中，因此，视图是一个虚表。（3）数据库。数据库是若干个基本表的集合。 36物流信息技术第三章 物流数据库技术 （二）（二）SQL语言的功能语言的功能 SQL语语言言是是高高度度化化的的非非过过程程语语言言。SQL语语言言简简洁洁易易学学，语语言言的的主主要要功功能能由由表表3-

28、2中中的的8个动词表达。个动词表达。 SQL功能 动 词 数据查询 SELECT 数据定义 CREATE、DROP 数据更新 INSERT、UPDATE、DELETE 数据控制 GRANT、REVOTE 37物流信息技术第三章 物流数据库技术SQL数据定义功能包括：定义数据库、定义基本表、定义视图、定义索引。这些功能均由相应的命令实现。SQL中用SELECT实现查询，查询是SQL语言的核心，它可以从一个表或多个表中找出满足条件的元组。数据库的选 择 、 投 影 、 连 接 操 作 均 可 以 由SELECT实现。SQL中用INSERT、UPDATE、DELETE实现数据的更新。返回38物流信息

29、技术第三章 物流数据库技术二、数据管理技术二、数据管理技术（一）（一）安全性管理安全性管理（二）（二）数据库备份数据库备份（三）（三）数据库恢复数据库恢复（四）（四）数据复制数据复制返回39物流信息技术第三章 物流数据库技术（一）安全性管理（一）安全性管理 l用户登录系统的管理:通过认证来实现。认证是指当用户访问数据库系统时，系统对该用户的账号和口令的确认过程。 =用户使用数据库对象的管理:通过许可来实现。许可用来指定授权用户可以使用的数据库对象和这些授权用户可以对这些数据库对象执行的操作。 返回40物流信息技术第三章 物流数据库技术（二）数据库备份（二）数据库备份备份是指制作数据库结构和数据

30、的拷贝，以便在数据库遭到破坏时能够修复数据库。1完全数据库备份。如果数据库是一个只读数据库，那么完全数据库备份就足以防止数据的丢失。 2增量备份。对于一个经常修改的数据库，为了最大程度地减少恢复时间，可以执行数据库增量备份。只有在执行了完全数据库备份之后，才能执行增量备份。3事务日志备份。可以通过备份数据库事务曰志来记录数据库的任何变化。当执行完全数据库备份时，一般应备份事务日志。 返回41物流信息技术第三章 物流数据库技术（三）数据库恢复（三）数据库恢复 数据库恢复是指将数据库备份加载到系统中的过程。在恢复数据库时，必须了解执行备份时使用的备份方法类型和备份是否存在。从不同的备份中恢复数据库

31、。1从完全数据库备份中恢复。当从完全数据库备份中恢复数据库时，SQL Server系统重新创建数据库以及数据库相关的全部文件，然后把这些文件放到原来的位置上。2从增量备份中恢复。当从增量备份中恢复数据库时，SQL Server系统只恢复从最近一次完全数据库备份以后数据库的变化部分，并且将数据库返回到执行增量备份时的状态。 42物流信息技术第三章 物流数据库技术3从事务日志备份中恢复。当从事务日志备份中恢复数据库时，SQL Server系统恢复记录在事务日志中的数据库变化。使用事务日志备份来恢复，可以将数据库恢复到某个指定时刻的状态。4从文件或者文件组备份中恢复。为了减少恢复巨大的数据库所需的时

32、间，可以从文件备份或者文件组备份中恢复数据库。 返回43物流信息技术第三章 物流数据库技术（四）数据复制（四）数据复制 复制是一种实现数据分布的方法，即把一个系统中的数据通过网络分布到另外一个或多个地理位置不同的系统中，以满足可伸缩组织的需要，减轻主服务器的工作负荷，提高数据的使用效率。数据复制的过程类似于报纸杂志的出版过程，即把信息从信息源迅速送到信息接收处。 返回44物流信息技术第三章 物流数据库技术第五节 数据库技术在物流系统中的应用 一、一、物流数据库系统的特点物流数据库系统的特点二、二、基于基于WEB数据库的物流信息系统简介数据库的物流信息系统简介返回45物流信息技术第三章 物流数据

33、库技术第四节 数据仓库与数据挖掘一、数据仓库一、数据仓库（一）数据仓库的定义（一）数据仓库的定义l为了提高效率，将分析数据从事务处理环境（如为了提高效率，将分析数据从事务处理环境（如OLTPOLTP系统）中提取出来，并重新组织、转换，将其系统）中提取出来，并重新组织、转换，将其移动到单独的数据库中。该数据库就是数据仓库，移动到单独的数据库中。该数据库就是数据仓库，一个数据仓库通常包含了一个企业希望查询的、用一个数据仓库通常包含了一个企业希望查询的、用于决策分析的所有数据。于决策分析的所有数据。l一般地，数据仓库（一般地，数据仓库（Data WarehouseData Warehouse）是指面

34、向）是指面向主题的、集成的、不可更新的、随时间变化的数据主题的、集成的、不可更新的、随时间变化的数据集合，用于支持企业的决策分析过程。集合，用于支持企业的决策分析过程。46物流信息技术第三章 物流数据库技术（二）数据仓库的特点1 1面向主题性面向主题性面向主题性表示了数据仓库中数据组织的基本原则，面向主题性表示了数据仓库中数据组织的基本原则，数据仓库中的所有数据都是围绕着某一主题组织展数据仓库中的所有数据都是围绕着某一主题组织展开的。开的。2 2数据集成性数据集成性数据仓库的集成性是指根据决策分析的要求，将分数据仓库的集成性是指根据决策分析的要求，将分散于各处的源数据进行抽取、筛选、清理、综合

35、等散于各处的源数据进行抽取、筛选、清理、综合等工作，使数据仓库中的数据具有集成性。工作，使数据仓库中的数据具有集成性。47物流信息技术第三章 物流数据库技术（二）数据仓库的特点3 3数据的时变性数据的时变性数据仓库的时变性，就是数据应该随着时间的推移数据仓库的时变性，就是数据应该随着时间的推移而发生变化。尽管数据仓库中的数据并不像业务数而发生变化。尽管数据仓库中的数据并不像业务数据库那样要反映业务处理的实时状况，但是数据也据库那样要反映业务处理的实时状况，但是数据也不能长期不变不能长期不变。4 4数据的非易失性数据的非易失性数据仓库的数据反映的是历史数据的内容，而不是数据仓库的数据反映的是历史

36、数据的内容，而不是处理联机数据。数据一旦进入数据仓库以后，就会处理联机数据。数据一旦进入数据仓库以后，就会保持一个相当长的时间。保持一个相当长的时间。48物流信息技术第三章 物流数据库技术（二）数据仓库的特点5 5数据的集合性数据的集合性数据仓库的集合性意味着数据仓库中必须围绕主题数据仓库的集合性意味着数据仓库中必须围绕主题全面收集有关数据，以某种数据集合的形式存储起全面收集有关数据，以某种数据集合的形式存储起来来。6 6支持决策作用支持决策作用数据仓库组织的根本目的在于对决策的支持。企业数据仓库组织的根本目的在于对决策的支持。企业各级管理人员可以利用数据仓库进行各种管理决策各级管理人员可以利

37、用数据仓库进行各种管理决策的分析，利用自己所特有的、敏锐的商业洞察力和的分析，利用自己所特有的、敏锐的商业洞察力和业务知识从貌似平淡的数据中发现众多的商机业务知识从貌似平淡的数据中发现众多的商机。49物流信息技术第三章 物流数据库技术（三）数据集市l数据集市是数据仓库的一个部门的子集。数据集市的功数据集市是数据仓库的一个部门的子集。数据集市的功能结构与数据仓库的功能结构极为相似，只是数据集市的能结构与数据仓库的功能结构极为相似，只是数据集市的设立目的在于为某一部门或某一领域的用户提供服务，它设立目的在于为某一部门或某一领域的用户提供服务，它聚焦在选定的主题，是部门范围的；而数据仓库的目的在聚焦

38、在选定的主题，是部门范围的；而数据仓库的目的在于为企业的全体用户提供服务，它收集了整个企业的主题于为企业的全体用户提供服务，它收集了整个企业的主题信息，是企业范围的。信息，是企业范围的。l通常一个企业的数据集市可以由两种途径来创建。第一通常一个企业的数据集市可以由两种途径来创建。第一种途径是直接从种途径是直接从OLTPOLTP系统中将数据捕获到需要使用该数据系统中将数据捕获到需要使用该数据的数据集市中；第二种途径是将的数据集市中；第二种途径是将OLTPOLTP系统中的数据捕获到系统中的数据捕获到中央数据仓库中，再将数据仓库中的数据填充到数据集市中央数据仓库中，再将数据仓库中的数据填充到数据集市

39、中。中。50物流信息技术第三章 物流数据库技术二、数据挖掘（一）数据挖掘的概念（一）数据挖掘的概念l数据挖掘（数据挖掘（Data MiningData Mining，简称，简称DMDM）就是从大量的、不）就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这些数据可以是结构化的，如关系数据和知识的过程。这些数据可以是结构化的，如关系数据库中的数据，也可以是半结构化的，如文本，图形，图库中的数据，也可以是半结构化的，如文本，图形

40、，图像数据，甚至是分布在网络上的异构型数据。像数据，甚至是分布在网络上的异构型数据。l发现了的知识可以被用于信息管理、查询优化、决策发现了的知识可以被用于信息管理、查询优化、决策支持、过程控制等，还可以进行数据自身的维护。数据支持、过程控制等，还可以进行数据自身的维护。数据挖掘借助了多年来数理统计技术和人工智能以及知识工挖掘借助了多年来数理统计技术和人工智能以及知识工程等领域的研究成果构建自己的理论体系，是一个交叉程等领域的研究成果构建自己的理论体系，是一个交叉学科领域，可以集成数据库、人工智能、数理统计、可学科领域，可以集成数据库、人工智能、数理统计、可视化、并行计算等技术。视化、并行计算等

41、技术。51物流信息技术第三章 物流数据库技术（二）数据挖掘工具常用数据挖掘工具大致分为六类：常用数据挖掘工具大致分为六类：1. 1. 基于规则和决策树的工具。大部分数据采掘基于规则和决策树的工具。大部分数据采掘工具采用规则发现和决策树分类技术来发现数据工具采用规则发现和决策树分类技术来发现数据模式和规则，其核心是某种归纳算法。它通常先模式和规则，其核心是某种归纳算法。它通常先对数据库中的数据进行挖掘，生成规则和决策树，对数据库中的数据进行挖掘，生成规则和决策树，然后对新数据进行分析和预测。然后对新数据进行分析和预测。2. 2. 基于神经元网络的工具。基于神经元网络的基于神经元网络的工具。基于神

42、经元网络的工具由于具有对非线性数据的快速建模能力，因工具由于具有对非线性数据的快速建模能力，因此越来越流行。挖掘过程基本上是将数据簇聚，此越来越流行。挖掘过程基本上是将数据簇聚，然后分类计算权值。然后分类计算权值。52物流信息技术第三章 物流数据库技术（二）数据挖掘工具3. 3. 数据可视化方法。这类工具大大扩展了传统数据可视化方法。这类工具大大扩展了传统商业图形的能力，支持多维数据的可视化，同时商业图形的能力，支持多维数据的可视化，同时提供了多方向同时进行数据分析的图形方法。提供了多方向同时进行数据分析的图形方法。4. 4. 模糊发现方法。应用模糊逻辑进行数据查询模糊发现方法。应用模糊逻辑进

43、行数据查询排序。排序。 5. 5. 统计方法。这些工具没有使用人工智能技术，统计方法。这些工具没有使用人工智能技术，因此更适于分析现有信息，而不是从原始数据中因此更适于分析现有信息，而不是从原始数据中发现数据模式和规则。发现数据模式和规则。 6. 6. 综合多方法。许多工具采用了多种挖掘方法，综合多方法。许多工具采用了多种挖掘方法，一般规模较大。一般规模较大。53物流信息技术第三章 物流数据库技术（三）数据挖掘的应用l数据挖掘技术在数据仓库中的应用，正好弥补了数据仓库数据挖掘技术在数据仓库中的应用，正好弥补了数据仓库只能提供大量数据，而无法进行深度信息分析的缺陷。而且，只能提供大量数据，而无法

44、进行深度信息分析的缺陷。而且，数据挖掘工具的可视化技术为用户对数据仓库的操作提供了数据挖掘工具的可视化技术为用户对数据仓库的操作提供了良好的导航。数据挖掘技术已经成为数据仓库应用的强大支良好的导航。数据挖掘技术已经成为数据仓库应用的强大支柱柱。l目前，在很多重要的领域，数据挖掘都发挥积极促进的作目前，在很多重要的领域，数据挖掘都发挥积极促进的作用。尤其是在如银行、电信、保险、交通、零售（如超级市用。尤其是在如银行、电信、保险、交通、零售（如超级市场）等商业应用领域，数据挖掘技术应用较为成熟场）等商业应用领域，数据挖掘技术应用较为成熟。l开展数据挖掘应从以下三方面加以考虑，一是用数据挖掘开展数据

45、挖掘应从以下三方面加以考虑，一是用数据挖掘解决什么样的商业问题，二是为进行数据挖掘所做的数据预解决什么样的商业问题，二是为进行数据挖掘所做的数据预处理，三是数据挖掘工具的各种分析算法。处理，三是数据挖掘工具的各种分析算法。54物流信息技术第三章 物流数据库技术三、物流管理中的数据挖掘技术l信息化物流网络体系的应用使数据库的规模不断扩大，信息化物流网络体系的应用使数据库的规模不断扩大，产生巨大的数据流，使企业很难对这些数据进行准确、产生巨大的数据流，使企业很难对这些数据进行准确、高效的收集和及时决策。数据挖掘技术能够帮助决策者高效的收集和及时决策。数据挖掘技术能够帮助决策者快速、准确地做出决策，

46、实现对物流过程的控制，提高快速、准确地做出决策，实现对物流过程的控制，提高企业的运作效率，降低整个过程的物流成本，增加收益。企业的运作效率，降低整个过程的物流成本，增加收益。l如何合理安排货品的存储、压缩货品的存储成本正成如何合理安排货品的存储、压缩货品的存储成本正成为现代物流管理者不断思考的问题，对于货品的存放问为现代物流管理者不断思考的问题，对于货品的存放问题，哪些货品放在一起可以提高拣货效率？哪些货品放题，哪些货品放在一起可以提高拣货效率？哪些货品放在一起却达不到这样的效果呢？实际上，物流企业可以在一起却达不到这样的效果呢？实际上，物流企业可以采取数据挖掘技术中的购物篮分析来帮助解决这方

47、面的采取数据挖掘技术中的购物篮分析来帮助解决这方面的问题。问题。55物流信息技术第三章 物流数据库技术三、物流管理中的数据挖掘技术l沃尔玛公司就是一个成功应用数据挖掘技术的大公司，沃尔玛公司就是一个成功应用数据挖掘技术的大公司，它在数据仓库的基础上，应用数据挖掘技术，出人意料它在数据仓库的基础上，应用数据挖掘技术，出人意料地产生了地产生了“尿布与啤酒尿布与啤酒”的传奇故事。的传奇故事。l沃尔玛公司拥有世界上最大的数据仓库系统。利用数沃尔玛公司拥有世界上最大的数据仓库系统。利用数据仓库，沃尔玛公司对商品进行购物篮分析，即分析哪据仓库，沃尔玛公司对商品进行购物篮分析，即分析哪些商品顾客最有希望一起

48、购买。沃尔玛公司的数据仓库些商品顾客最有希望一起购买。沃尔玛公司的数据仓库里集中了各个商店详细的原始交易数据。在这些原始交里集中了各个商店详细的原始交易数据。在这些原始交易数据的基础上，沃尔玛公司利用自动数据挖掘工具对易数据的基础上，沃尔玛公司利用自动数据挖掘工具对这些数据进行分析和挖掘。这些数据进行分析和挖掘。56物流信息技术第三章 物流数据库技术三、物流管理中的数据挖掘技术l一个意外的发现就是：跟尿布一起购买最多的商品竟一个意外的发现就是：跟尿布一起购买最多的商品竟是啤酒！按常规思维，尿布与啤酒风马牛不相及，若不是啤酒！按常规思维，尿布与啤酒风马牛不相及，若不是借助于数据仓库系统和数据挖掘

49、技术，商家决不可能是借助于数据仓库系统和数据挖掘技术，商家决不可能发现隐藏在背后的事实：原来美国的太太们常叮嘱她们发现隐藏在背后的事实：原来美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了两瓶啤酒。既然尿布与啤酒一起购买的机会最手带回了两瓶啤酒。既然尿布与啤酒一起购买的机会最多，沃尔玛公司就在它的一个个商店里将它们并排摆放多，沃尔玛公司就在它的一个个商店里将它们并排摆放在一起，结果是尿布与啤酒的销售量双双增长。由于这在一起，结果是尿布与啤酒的销售量双双增长。由于这个故事的传奇和出人意料，所以它一直被业界和商界所个故事

50、的传奇和出人意料，所以它一直被业界和商界所传诵。传诵。57物流信息技术第三章 物流数据库技术一、物流数据库系统的特点一、物流数据库系统的特点（一）（一）物流数据库要求具有良好的兼容性物流数据库要求具有良好的兼容性（二）（二）物流数据库多采用分布式结构数据库物流数据库多采用分布式结构数据库（三）（三）物流数据库多采用基于网络环境下的物流数据库多采用基于网络环境下的WEBWEB数据库数据库返回58物流信息技术第三章 物流数据库技术（一）物流数据库要求具有良好的兼容性（一）物流数据库要求具有良好的兼容性 时间与空间上的异构多数据源，决定了物时间与空间上的异构多数据源，决定了物流系统数据库是一种异构型

51、的数据库流系统数据库是一种异构型的数据库 。l同构型数据库系统，主要是指各物理数据库具有同类的数据模型。它又可以细分为两类，即同构同质型和同构异质型。l异构型数据库系统的特征是各个场地的数据模型不同。它主要涉及的问题有模式集成、体系结构、事务模型及并发控制、字典管理等。许多大中型物流企业选用Oracle，而小型企业大都选用MS SQL返回59物流信息技术第三章 物流数据库技术（二）物流数据库多采用分布式结构数据库（二）物流数据库多采用分布式结构数据库分布式数据库的主要特点包括：分布式数据库的主要特点包括：1 1分布透明性。分布式数据库在逻辑上像一个集中式数据库分布透明性。分布式数据库在逻辑上像

52、一个集中式数据库系统，实际上数据存储在处于不同地点的计算机网络的各系统，实际上数据存储在处于不同地点的计算机网络的各个结点上。个结点上。2 2局部自治与集中控制相结合。网络上每个结点的数据库系局部自治与集中控制相结合。网络上每个结点的数据库系统都具有独立处理本地事务的能力统都具有独立处理本地事务的能力( (大量的大量的) )，而且这些地，而且这些地理上分布的数据库又是共享资源，有一定的协调机制来控理上分布的数据库又是共享资源，有一定的协调机制来控制各局部制各局部DBMSDBMS的工作以实现资源共享和全局应用。的工作以实现资源共享和全局应用。3可靠性和可用性。分布式系统比集中式系统有更高的可靠性

53、，在个别结点或个别通信链路发生故障的情况下可以继续工作。 4效率和灵活性。分布式系统分散了工作负荷，缓解了单机容量的压力。数据可以存储在邻近的常用结点，如果本结点的数据子集包含了要查询的全部内容，显然比集中式数据库在全集上查找节省时间 返回60物流信息技术第三章 物流数据库技术（三）物流数据库多采用基于网络环境下的（三）物流数据库多采用基于网络环境下的WEBWEB数据库数据库1Web数据库访问技术数据库访问技术2ASP简介3ASP访问数据库步骤返回61物流信息技术第三章 物流数据库技术1Web数据库访问技术数据库访问技术基于基于Web的数据库应用，就是将数据库和的数据库应用，就是将数据库和We

54、b技技术相结合，按照术相结合，按照BrowserServer结构建立通结构建立通过浏览器访问数据库的服务系统。目前建立与过浏览器访问数据库的服务系统。目前建立与Web数据库交互连接的方法主要有如下几种：数据库交互连接的方法主要有如下几种：（1）公共网关接口）公共网关接口CGI （2）Internet数据库连接器IDC （3）先进数据库连接器ADC （4）JAVAJDBC语言编程 （5）动态服务器页面ASP 返回62物流信息技术第三章 物流数据库技术2ASP简介（1）ASP访问数据库的原理。 ASP是服务器端的脚本执行环境，可用来产生和执行动态的高性能的Web服务器程序。 （2）ASP页面的结构

55、。 ASP文件通常由4部分构成：标准的HTML标记；ASP语法命令；服务器端的include语句；脚本语言：ASP自带JScript和VBScript两种脚本语言等。（3）ASP的运行环境。目前ASP可运行在3种环境下：Windows NT Server 4.0运行IIS 3.0(Internet Information Server)以上；Windows NT Workstation 4.0运行Peer Web Server 3.0以上；Windows 9598运行PWS(Personal Web Server)。63物流信息技术第三章 物流数据库技术（4）ASP的内建对象。ASP提供了6个

56、供用户直接调用的内建对象。lApplication对象：负责管理所有会话信息，可用来在指定的应用程序的所有用户之间共享信息。l Session对象：存储特定用户的会话信息，只被该用户访问，当用户在不同Web页面跳转时，Session中的变量在用户整个会话过程中一直保存。Session对象需cookie支持。lRequest对象：从用户端取得信息传递给服务器，是ASP读取用户输入的主要方法。Response对象：服务器将输出内容发送到用户端。 64物流信息技术第三章 物流数据库技术lResponse对象：服务器将输出内容发送到用户端。lServer对象：提供对服务器有关方法和属性的访问。lObi

57、ect Context对象：IIS 4.0新增的对象，用来进行事务处理。（5）ASP的主要内置组件。lAd Rotator组件：用来按指定计划在同一页上自动轮换显示广告，用于WWW上日益重要的广告服务。lBrowser Capabilities组件：确定访问Web站点的用户浏览器的功能数据，包括类型、性能、版本等。65物流信息技术第三章 物流数据库技术lDatabase Access组件：提供ADO(ActiveX Data Objects)来访问支持ODBC的数据库。lFile Access组件：提供对服务器端文件的读写功能。lContent Linking组件：生成Web页内容列表，并将各

58、页顺序连接，用于制作导航条。（6）Database Access组件ADO lConnection对象：建立与后台数据库的连接。lCommand对象：执行SQL指令，访问数据库。lParameters对象和Parameters集合：为Command对象提供数据和参数。lRecordSet对象：存放访问数据库后的数据信息，是最经常使用的对象。66物流信息技术第三章 物流数据库技术lField对象和Field集合：提供对RecordSet中当前记录的各个字段进行访问的功能。lProperty对象和Properties集合：提供有关信息，供Connection、Command、RecordSet、F

59、ield对象使用。lError对象和Errors集合：提供访问数据库时的错误信息。返回67物流信息技术第三章 物流数据库技术3ASP访问数据库步骤（1）定义数据源 （2）使用ADO组件查询Web数据库返回68物流信息技术第三章 物流数据库技术（1）定义数据源。 在Web服务器上打开“控制面板”，选中“ODBC”，在“系统DSN”下选“添加”，选定你希望的数据库种类、名称、位置等。例如定义“SQL Server”，数据源为“HT，数据库名称为“HTDATA，脚本语言采用Jscript。返回69物流信息技术第三章 物流数据库技术（2）使用ADO组件查询Web数据库。 调用Server.Create

60、Object方法取得“ADODB.Connection”的实例，再使用Open方法开数据库：conn=Server.CreateObject(“ADODBConnection”)connOpen(“HT”)指定要执行的SQL命令。 例：在数据表Signaltab中查询代码中含有“X”的记录，命令如下：sqlStr=“select*from signaltab where code like X”rs=conn.Execute(sqlStr)70物流信息技术第三章 物流数据库技术使用RecordSet属性和方法，并显示结果 。lrs=Server.CreateObject(“ADODB.Reco

61、rdSet”)lrs.Open(sqlStr,conn,1,A)l注：A=1读取l A=3新增、修改、删除l在RecordSet组件中，常用的属性和方法有：lRs.Fields.Count：RecordSet对象的字段数。lrs(i).Name：第i个字段的名称，i为0至rs.Fields.Count-1lrs(i)：第i个字段的数据，i为0至rs.Fields.Count-llrs(“字段名”)：指定字段的数据。71物流信息技术第三章 物流数据库技术lrs.Record.Count：游标中的数据记录总数。lrs.EOF：是否最后一条记录。lrs.MoveFirst：指向第一条记录。lrs.M

62、oveLast：指向最后一条记录。lrs.MovePrev：指向上条记录。lrsMoveNext：指向下条记录。lrs.GetRows：将数据放入数组中。lrs.Properties.Count：ADO的ResultSet或Connection的属性个数。lrs.Properties(item).Name：ADO的ResultSet或Connection的名称。lrs.Properties：ADO的ResultSet或Connection的值。lrs.close()：关闭连接。72物流信息技术第三章 物流数据库技术关闭数据库。Conn.close()返回73物流信息技术第三章 物流数据库技术 二、基于二、基于WEB数据库的物流信息系统简介数据库的物流信息系统简介 基于Web的物流信息系统由客户端的WWW浏览器及服务器端的WWW服务程序、数据库服务器、数据库等部分构成，如图所示。远程客户端WWW浏览器桌面数据库物流中心数据库物流中心Internet服务器物流中心数据库服务器Internet74物流信息技术第三章 物流数据库技术l物流中心系统采用以下两种模式来实现异地分布数据集中统一管理： 主体使用基于数据库系统的ClientServer模式。 客户访问部分是基于数据库系统的BrowseServer模式。返回75