《数据结构域算法设计-第九章 关系系统及其查询优化 课件》由会员分享，可在线阅读，更多相关《数据结构域算法设计-第九章 关系系统及其查询优化 课件（87页珍藏版）》请在金锄头文库上搜索。
1、第九章 关系查询处理及其查询优化9.1 关系数据库系统的查询处理 9.2 关系数据库系统的查询优化 9.3 代数优化9.4 物理优化 9.5 小 结 关系查询处理及其查询优化（续）o 本章目的： n RDBMS的查询处理步骤 n 查询优化的概念 n 基本方法和技术 o 查询优化分类 ： n 代数优化 n 物理优化9.1 关系数据库系统的查询处理9.1.1 查询处理步骤9.1.2 实现查询操作的算法示例 9.1.1 查询处理步骤RDBMS查询处理阶段 ： 1. 查询分析2. 查询检查3. 查询优化 4. 查询执行 查询处理步骤（续）查询处理步骤1. 查询分析o 对查询语句进行扫描、词法分析和语法
2、分析 o 从查询语句中识别出语言符号 o 进行语法检查和语法分析 2. 查询检查 o 根据数据字典对合法的查询语句进行语义检查 o 根据数据字典中的用户权限和完整性约束定义对用 户的存取权限进行检查 o 检查通过后把SQL查询语句转换成等价的关系代数 表达式 o RDBMS一般都用查询树(语法分析树)来表示扩展的 关系代数表达式 o 把数据库对象的外部名称转换为内部表示 3. 查询优化o 查询优化：选择一个高效执行的查询处理策略 o 查询优化分类 ：n代数优化：指关系代数表达式的优化n物理优化：指存取路径和底层操作算法的选择o 查询优化方法选择的依据：n基于规则(rule based)n基于代
3、价(cost based)n基于语义(semantic based)4. 查询执行 o 依据优化器得到的执行策略生成查询计划o 代码生成器(code generator)生成执行查询 计划的代码 9.1 关系数据库系统的查询处理9.1.1 查询处理步骤9.1.2 实现查询操作的算法示例 9.1.2 实现查询操作的算法示例 一、 选择操作的实现 二、 连接操作的实现 一、 选择操作的实现 例1: Select * from student where ；考 虑的几种情况：C1：无条件；C2：Sno200215121；C3：Sage20；C4：SdeptCS AND Sage20； 选择操作的实现
4、（续）o 选择操作典型实现方法：n1. 简单的全表扫描方法 对查询的基本表顺序扫描，逐一检查每个元组是否满足选择条件，把满足条件的元组作为结果输出 适合小表，不适合大表n2. 索引(或散列)扫描方法 适合选择条件中的属性上有索引(例如B+树索引或Hash索引) 通过索引先找到满足条件的元组主码或元组指针，再通过元组指针直接在查询的基本表中找到元组选择操作的实现（续）o例1-C2 以C2为例，Sno200215121，并且Sno上有 索引(或Sno是散列码)n使用索引(或散列)得到Sno为200215121元组的指 针n通过元组指针在student表中检索到该学生o例1-C3 以C3为例，Sag
5、e20，并且Sage上有B+树索引n使用B+树索引找到Sage20的索引项，以此为入口点 在B+树的顺序集上得到Sage20的所有元组指针n通过这些元组指针到student表中检索到所有年龄大 于20的学生。选择操作的实现（续）o例1-C4 以C4为例，SdeptCSAND Sage20，如果Sdept和 Sage上都有索引：n算法一：分别用上面两种方法分别找到SdeptCS的一组 元组指针和Sage20的另一组元组指针求这2组指针的交集到student表中检索得到计算机系年龄大于20的学生n算法二：找到SdeptCS的一组元组指针，通过这些元组指针到student表中检索对得到的元组检查另一
6、些选择条件(如Sage20)是否满足把满足条件的元组作为结果输出。二、 连接操作的实现 o 连接操作是查询处理中最耗时的操作之一 o 本节只讨论等值连接(或自然连接)最常用的实现算法 例2 SELECT * FROM Student，SC WHERE Student.Sno=SC.Sno； 连接操作的实现（续）1. 嵌套循环方法(nested loop) 2. 排序-合并方法(sort-merge join 或merge join)3. 索引连接(index join)方法 4. Hash Join方法 连接操作的实现（续）v嵌套循环方法(nested loop)n 对外层循环(Student
7、)的每一个元组(s)，检索内层循环(SC)中的每一个元组(sc)n 检查这两个元组在连接属性(sno)上是否相等n 如果满足连接条件，则串接后作为结果输出，直到外层循环表中的元组处理完为止 连接操作的实现（续）2. 排序-合并方法(sort-merge join 或merge join) n 适合连接的诸表已经排好序的情况 n 排序合并连接方法的步骤：如果连接的表没有排好序，先对Student表和SC表按连接属性Sno排序 取Student表中第一个Sno，依次扫描SC表中具有相同Sno的元组 连接操作的实现（续）200215121200215122200215123200215124.200
8、215121 1 92200215121 2 85200215121 3 88200215122 2 90200215122 3 80.排序-合并连接方法示意图连接操作的实现（续）n 排序合并连接方法的步骤（续）：当扫描到Sno不相同的第一个SC元组时，返回Student表扫描它的下一个元组，再扫描SC表中具有相同Sno的元组，把它们连接起来 重复上述步骤直到Student 表扫描完连接操作的实现（续）o Student表和SC表都只要扫描一遍o 如果2个表原来无序，执行时间要加上对两个表的排序时间o 对于2个大表，先排序后使用sort-merge join方法执行连接，总的时间一般仍会大大减
9、少 连接操作的实现（续）3. 索引连接(index join)方法o 步骤： 在SC表上建立属性Sno的索引，如果原来没有该索 引 对Student中每一个元组，由Sno值通过SC的索引 查找相应的SC元组 把这些SC元组和Student元组连接起来 循环执行，直到Student表中的元组处理完为止连接操作的实现（续）4. Hash Join方法 o把连接属性作为hash码，用同一个hash函数把R和S中的元组散列到 同一个hash文件中o步骤：n划分阶段(partitioning phase)：对包含较少元组的表(比如R)进行一遍处理把它的元组按hash函数分散到hash表的桶中n试探阶段(
10、probing phase)：也称为连接阶段(join phase) 对另一个表(S)进行一遍处理把S的元组散列到适当的hash桶中把元组与桶中所有来自R并与之相匹配的元组连接起来连接操作的实现（续）o 上面hash join算法前提：假设两个表中较 小的表在第一阶段后可以完全放入内存的 hash桶中 o 以上的算法思想可以推广到更加一般的多个 表的连接算法上 第九章 关系查询处理及其查询优化9.1 关系数据库系统的查询处理 9.2 关系数据库系统的查询优化 9.3 代数优化 9.4 物理优化 9.5 小结 9.2 关系数据库系统的查询优化o 查询优化在关系数据库系统中有着非常重要 的地位 o
11、 关系查询优化是影响RDBMS性能的关键因素 o 由于关系表达式的语义级别很高，使关系系 统可以从关系表达式中分析查询语义，提供 了执行查询优化的可能性 9.2 关系数据库系统的查询优化9.2.1 查询优化概述9.2.2 一个实例 9.2.1 查询优化概述o 关系系统的查询优化o 非关系系统查询优化概述（续）o 查询优化的优点不仅在于用户不必考虑如何最好地表达查询以获得较好的效率，而且在于系统可以比用户程序的“优化”做得更好 (1) 优化器可以从数据字典中获取许多统计信息，而用户程序则难以获得这些信息(2)如果数据库的物理统计信息改变了，系统可以自动对查询重新优化以选择相适应的执行计划。在非关
12、系系统中必须重写程序，而重写程序在实际应用中往往是不太可能的。查询优化概述（续）(3)优化器可以考虑数百种不同的执行计划，程序员一般只能考虑有限的几种可能性。(4)优化器中包括了很多复杂的优化技术，这些优化技术往往只有最好的程序员才能掌握。系统的自动优化相当于使得所有人都拥有这些优化技术查询优化概述（续）o RDBMS通过某种代价模型计算出各种查询执行策略的执行代 价，然后选取代价最小的执行方案n集中式数据库执行开销主要包括：磁盘存取块数(I/O代价)处理机时间(CPU代价)查询的内存开销 I/O代价是最主要的 n分布式数据库总代价=I/O代价+CPU代价+内存代价通信代价 查询优化概述（续）
13、o 查询优化的总目标：n 选择有效的策略n 求得给定关系表达式的值n 使得查询代价最小(实际上是较小) 9.2 关系数据库系统的查询优化9.2.1 查询优化概述9.2.2 一个实例 9.2.2 一个实例例3 求选修了2号课程的学生姓名。用SQL表达：SELECT Student.SnameFROM Student，SCWHERE Student.Sno=SC.Sno AND SC.Cno=2； n假定学生-课程数据库中有1000个学生记录，10000个 选课记录n其中选修2号课程的选课记录为50个 一个实例（续）o 系统可以用多种等价的关系代数表达式来完成这一查询Q1=Sname(Studen
14、t.Sno=SC.SnoSc.Cno=2(StudentSC)Q2=Sname(Sc.Cno=2 (Student SC)Q3=Sname(Student Sc.Cno=2(SC)一个实例（续）o一、第一种情况Q1=Sname(Student.Sno=SC.SnoSc.Cno=2 StudentSC)1. 计算广义笛卡尔积 o把Student和SC的每个元组连接起来的做法：n在内存中尽可能多地装入某个表(如Student表)的若干块，留出一 块存放另一个表(如SC表)的元组。n把SC中的每个元组和Student中每个元组连接，连接后的元组装满 一块后就写到中间文件上n从SC中读入一块和内存中的
15、Student元组连接，直到SC表处理完。n再读入若干块Student元组，读入一块SC元组n重复上述处理过程，直到把Student表处理完一个实例（续）o 设一个块能装10个Student元组或100个SC元组，在内存中存放5块Student元组和1块SC元组，则读取总块数为 =100+20100=2100块o 其中，读Student表100块。读SC表20遍，每遍100块。若每 秒读写20块，则总计要花105s o 连接后的元组数为103104=107。设每块能装10个元组，则 写出这些块要用106/20=5104s一个实例（续）2. 作选择操作 n 依次读入连接后的元组，按照选择条件选取
16、满足要求的记录 n 假定内存处理时间忽略。读取中间文件花费的时间(同写中间文件一样)需5104s n 满足条件的元组假设仅50个，均可放在内存 一个实例（续）3. 作投影操作 n 把第2步的结果在Sname上作投影输出，得到最终结果 n 第一种情况下执行查询的总时间105+25104105sn 所有内存处理时间均忽略不计 一个实例（续）二、 第二种情况 Q2=Sname(Sc.Cno=2 (Student SC)1. 计算自然连接 执行自然连接，读取Student和SC表的策略不变，总的 读取块数仍为2100块花费105 s 自然连接的结果比第一种情况大大减少，为104个 写出这些元组时间为104/10/20=
