第五章 数据库技术讲解

《第五章 数据库技术讲解》由会员分享，可在线阅读，更多相关《第五章 数据库技术讲解（48页珍藏版）》请在金锄头文库上搜索。

1、1,5.1 数据库系统概论 5.2 关系模型 5.3 数据仓库技术 本章小结,第五章 数据库技术,2,5.1 数据库系统概论,什么是数据库: 数据库（Database）是一个数据的集合，可以按照数据的逻辑结构对其进行组织和存取。 数据库是由截然不同的两个部分组成： 数据本身；数据的逻辑结构,3,数据组织,技 术 界 面,物理组织,比特,字节,字,字符,字段,记录,文件,数据库,数据仓库,存储介质,技术术语,数据的层次,4,人工管理阶段 文件系统阶段 数据库系统阶段,随着计算机硬件和软件的发展，以及管理应用的需要，数据管理经历了如下发展阶段。,5.1 数据库系统概论,5,背景: 20世纪50年代

2、中期前,计算机发展水平低 主要特点：数据是程序的组成部分，修改数据必须修改程序。处理时数据随程序一道送入内存，用完后全部撤出，不能保留。程序和数据的关系如下：,5.1 数据库系统概论 人工管理阶段,6,背景: 20世纪50年代后期到60年代中期，计算机硬件方面出现直接存取设备磁盘，软件方面出现了操作系统 主要特点：数据管理方面，数据被组织到文件内存储在磁带、磁盘上，可以反复使用和保存。程序与数据的关系如下：,5.1 数据库系统概论 文件系统阶段,应用程序1,应用程序2,应用程序n,数据组1,数据组2,数据组n,文件 管理系统,7,背景:20世纪60年代后期以来，计算机硬件方面出现大容量磁盘，软

3、件方面出现数据库管理系统 主要特点：面向全组织的复杂数据结构。数据冗余度小，易于扩充。程序与数据的关系如下：,5.1 数据库系统概论 数据库阶段,8,面向全组织的复杂的数据结构 ，数据冗余度小，易扩充,5.1 数据库系统概论 特点1,9,实现数据共享 减少数据的冗余度 数据的一致性和完整性好 数据和程序之间的独立性好 有较高的数据安全性 并发控制性好,5.1 数据库系统概论 特点2,10,数据库（Database）：以一定组织方式存储的相关数据的有序集合。 数据库管理系统：用户与数据库之间的一层数据管理软件，提供访问数据库的方法，数据库的建立、数据的组织、查询、操纵、控制等功能。,5.1 数据

4、库系统概论 构成,11,数据库管理系统组成： DBMS引擎：接收查询请求 数据定义子系统：定义文件结构 数据操作子系统：信息处理 应用程序生成子系统：开发工具 数据管理子系统：备份恢复等,5.1 数据库系统概论 功能,12,5.1 数据库系统概论,数据库模型: 层次模型：一种数据从顶而下或倒挂树的结构进行组织 网状模型：层次模型的扩展一个属记录可以有多个首记录 关系模型：以表格的形式行列的形式组织数据 面向对象模型：将数据与数据处理过程综合在一起的数据库模型,13,5.1 数据库系统概论-层次数据库模型,项目1,员工1,部门3,部门2,部门1,员工2,员工4,员工3,员工5,员工7,14,5.

5、1 数据库系统概论-网状模型,项目A,项目B,部门1,部门2,部门3,15,实体关系模型，Entity Relationship Diagram 是描述数据属性及其关系的图型方法 实体：人、地点、物体、事件、概念等(通用类) 实体属性：描述实体的数据项，姓名、地址等特性 关系：有关若干实体的活动（Process），订购等,5.1 数据库系统概论 E-R模型,16,5.1 数据库系统概论 E-R模型示例1,17,5.1 数据库系统概论 E-R模型示例2,18,5.1 数据库系统概论 E-R模型示例3,返回,19,学生登记表，Students,记录,关系模型的数据结构是个二维表,5.2 关系模型

6、数据结构,20,结构化查询语言 （Structured Query Language，SQL） 是一种功能强大的数据库语言，用于完成数据库的操作任务。如数据更新、检索。,5.2 关系模型 数据操作,21,SELECT * FROM students WHERE Department=计算机 S_no S_name S_gender Department Age Place 95001 李勇 男 计算机 20 江苏 95004 张立 男 计算机 19 北京 95700 杨晓冬 男 计算机 21 山西 UPDATE students SET Age=20 WHERE S_no =95004 INS

7、ERT INTO students VALUES(95060, 王英,女 ,物理, 19,浙江),5.2 关系模型 数据操作示例,22,5.3 数据仓库技术 产生背景1,数据库系统作为数据管理手段，主要用于事务处理 尽管数据库在事务处理方面的应用获得了巨大的成功，但它对分析处理 的支持一直不能令人满意 OLTP面对的是操作人员和低层管理人员，OLAP 面对的是决策人员和高层管理人员，因而数据的特点和处理明显不同 事务处理与分析处理具有极不相同的性质，直接使用事务处理环境来支持OLAP是极困难的,23,5.3 数据仓库技术 联机分析处理,数据仓库仅是进行分析决策的基础，还必须由强有力的工具进行分

8、析和决策才能体现其在管理和决策方面的价值。 OLAP(On-Line Analytical Processing )是一门软件技术，专门设计用于支持复杂分析操作、侧重对决策人员和高层管理人员的决策支持，可以应分析人员要求快速、灵活地进行大数据量的复杂查询处理，并以直观的形式提供查询结果。 定义：用来传送和存储数据仓库信息的程序的集合。通过对信息的多种可能的分析和观察形式进行快速、稳定一致和交互性的存取，使管理决策人员获取潜在信息。 OLAP能满足管理者从多方面多维分析业务数据（产品、时间、地理、销售人员等）,24,OLTP,OLAP,5.3 数据仓库技术 产生背景2,25,OLTP数据 OLA

9、P数据 原始数据 导出数据 细节数据 综合性或提炼性数据 当前数据 历史数据 可更新 不可更新，但周期性刷新 一次处理的数据量小 一次处理的数据量大 面向应用，事务驱动 面向分析，分析驱动 面向操作人员，支持日常操作 面向决策人员， 支持管理需要,OLAP与OLTP数据比较,5.3 数据仓库技术 产生背景3,26,数据仓库：是一个用于更好地支持企业或组织的决策分析处理、面向主题的、集成的、不可更新的、随时间不断变化的数据的集合 主题：是一个抽象的概念，在逻辑意义上它是对应企业中某一宏观分析领域所涉及的分析对象 面向主题的数据组织方式：是在较高层次上对分析对象所涉及的企业的各项数据，以及数据之间

10、的联系,5.3 数据仓库技术 数据仓库定义,27,外部数据,经营数据,经营数据,外部数据,加 载 管 理 器,查 询 管 理 器,仓库管理器,抽取 装载,引导 搜索,整理 转换 备份,数据,信息,分析决策,事实数据 维度数据,集合数据,元数据,数据仓库概念图,5.3 数据仓库技术 数据仓库概念,28,元 数 据,早期细节级,当前细节级,轻度综合级,高度综合级,源数据经过综合后首先进入当前细节级供OLAP用的数据,当前细节级 数据进行的综合进入轻度综合级部门级应用,轻度综合级数据进一步综合进入高度综合级,全局级应用,老化的数据进入早期细节级通常是备用的、批量存储过期的数据,关于数据的数据,5.3

11、 数据仓库技术 数据组织,29,数据集市是相当于部门级数据仓库的、小型的、面向部门或工作组的数据仓库 不同的数据集市可以按业务来组织，也可以按照数据仓库的主题或数据的地理分布来组织 数据集市中一般包含有关某一特定业务领域的数据，如人力资源、财务、销售、市场等 不同的数据集市可以分布在不同的物理平台上，也可以逻辑的分布于统一物理平台上,5.3 数据仓库技术 数据集市1,30,5.3 数据仓库技术 数据集市2,31,与数据仓库密切相关的是商务智能或商业智能。 Business Intelligent，BI 商务智能技术将商业活动数据转化为有用信息， 进而提炼知识，支持商业活动分析决策。 商务智能主

12、要有： 数据挖掘技术： 根据数据的相似性找出数据相关性的技术。 在线分析技术： 对历史数据动态分类和统计而产生信息。,5.3 数据仓库技术 商务智能1,32,商务智能的主要作用有三个方面： 规律探索：在以往事实数据中获取知识，如： 找出不同客户群对产品喜好的变化规律。 机会发现：对数据做扫描式分析和预测，如： 发现目前不起眼但将看好的某类产品或服务。 问题识别：使企业及时采取对策避免损失， 识别客户或交易风险、成本上升的征兆。,5.3 数据仓库技术 商务智能2,33,对客户消费行为的分析。,金卡大都由年收入15万以上的已婚者所持有,Microsoft Analysis Server,5.3 数

13、据仓库技术 商务智能3,34,找出客户流失的规律（或关键影响因素）。 从小客户中找出有潜在增值价值的客户。 从交易记录中找出利润高需求大的款式。 发现某大客户的透资过于严重和不正常。 预测某服务的需求趋势。 特别注意：针对某客户的分析涉及个人隐私。,5.3 数据仓库技术 商务智能4,35,5.3 数据仓库技术 数据挖掘,数据挖掘技术(Data Mining) 数据挖掘(Data Mining)是从数据集中识别出有效的、新颖的、潜在有价值的以及最终可理解模式的高级处理过程。也就是说，从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识

14、的过程。,36,5.3 数据仓库技术 数据挖掘,数据挖掘理论基础 数理统计 多元统计 趋势预测 运筹学 数学规划 人工智能与专家系统,37,5.3 数据仓库技术 数据挖掘,数据挖掘的步骤 （1）数据准备 数据集成：从OLTP数据库中提取并集成数据解决数据语义二义性问题，清除脏数据 数据选择和预分析：缩小数据范围，提高数据挖掘质量 （2）挖掘:利用前述的方法分析数据仓库中的数据 （3）表述：将挖掘数据得到的信息以用户易于理解的方式反馈给用户。充分利用可视化工具。 （4）评价递归执行以上三步骤，直到用户满意,38,5.3 数据仓库技术 数据挖掘,39,5.3 数据仓库技术 数据挖掘,数据挖掘的应用

15、 （1）DM应用于金融业保险业 对客户进行信用等级评价 对金融市场预测和分析 信用卡模式、用户分析 确定不同行业、不同年龄、处于不同社会层次的人的保险金 险种关联分析 预测新险种的客户群 ,40,5.3 数据仓库技术 数据挖掘,（2）DM应用于商业 顾客购买习惯分析（尿布与啤酒） 销售商品构成分析（市场定位、商品定价） 商品销售预测、零售店选择等等 （3）DM应用于通信服务业 用户细分 网络规划的用户预测 资费分析、新业务发展预测 客户信用分析及反欺诈等等,41,5.3 数据仓库技术 数据挖掘,（4）应用于制造业 企业故障诊断 供应链管理及供应链优化 新产品开发预测等等 （5）应用于医疗卫生 用于病例、病人行为特征分析 安排治疗方案、判断药方的有效性等等 （6）应用于司法、公安部门 犯罪行为分析、案例分析、犯罪监控 预防犯罪分析,42,驾照中有个人的