《3-1存储与文件结构概要》由会员分享，可在线阅读，更多相关《3-1存储与文件结构概要（67页珍藏版）》请在金锄头文库上搜索。
1、存储与文件结构,高效地利用辅助存储器来存放数据，并使得数据能够被快速存取。 负责管理的数据包括目标数据、元数据、索引、和日志等。这些数据保存在磁盘上。 研究内容： 1. 计算机系统如何存储和管理非常大量的数据？ 2. 采用何种表示方式和数据结构以对于数据处理提供最佳、最有效的支持？,1,存储与文件结构,物理存储介质 加速对辅助存储器的访问 缓冲区管理 磁盘故障 数据存储组织,2,物理存储介质,特性 数据存取速度 每单位数据的成本 可靠性 电源故障或系统崩溃时的数据丢失 介质故障 介质分类 易失介质（volatile storage） 电源关时数据丢失 非易失介质（non-volatile st
2、orage） 电源关时数据持久保留，包括二级和三级存储,3,物理存储介质,高速缓冲存储器 主存储器 快闪存储器 磁盘存储器 光盘存储器 磁带存储,4,物理存储介质,高速缓冲存储器（Cache） 一种集成电路（“芯片”），或者是处理器芯片的一部分，能存放数据或机器指令。 最快最昂贵的存储介质，一般很小。高速缓存中的数据（包括指令）是主存储器中特定位置的数据的副本。 由操作系统管理，DBMS中不考虑它的管理。 主存储器（Main memory） 用于存放可被处理的数据的存储介质，是计算机的活动中心。 快速访问（获得任何一个字节所花费的时间都是相同的，通常10 - 8 -10-7秒），但一般不能存放
3、整个数据库 如果发生电源故障或系统崩溃，主存储器中的数据会丢失,5,物理存储介质,快闪存储器（Flash memory） EEPROM：电可擦可编程只读存储器 在嵌入其它设备的计算机系统中，作为磁盘的替代物。 电源故障时数据会保存 读速度：0.1ms; 写速度：10ms,6,物理存储介质,磁盘存储器（Magnetic-disk storage） 用于长期联机数据存储 一般存放整个数据库 数据必须从磁盘移入主存才能访问 直接存取（direct-access） 按任意顺序存取数据 如果发生电源故障或系统崩溃，数据不会丢失,7,物理存储介质,光盘存储（Optical storage） 数据通过光学方
4、法存储在光盘上，并且可以被激光器读取。 磁光结合的存储设备，使用光学方法读取以磁方法编码的数据，并且允许对旧数据的覆盖。 CD-ROM：只读，提供预先记录的数据 WORM：一次写，多次读，用于数据归档,8,物理存储介质,磁带存储（Tape storage） 用于数据的备份和归档 顺序访问（sequential-access） 速度慢 容量大（数十至数百个GB ） 价格低,9,存储层次,10,存储层次,基本存储（primary storage） 快速但易失 cache, main memory 辅助存储（secondary storage） 非易失，相对快速 联机存储（on-line stora
5、ge） flash memory, magnetic disks 三级存储（tertiary storage） 非易失，速度慢相对快速 脱机存储（off-line storage） magnetic tape, optical storage,11,存储层次,数据库系统中，改变了的数据必须写到非易失的磁盘上，才能认为改变的数据已成为数据库的一部分。 事务的持久性是如何实现的？,12,磁盘结构,磁盘块：在磁盘与主存之间所传输数据的逻辑单元，由一个或多个扇区所组成。,13,磁盘结构,磁盘控制器： 控制一个或多个磁盘的小处理器，功能如下, 定位磁头到一个特定的半径位置。 选择一个准备读写的盘面，从位
6、于该盘面的磁头下的磁道上选择一个扇区。并识别何时该扇区正开始移动到磁头下面。 将从该扇区读取的二进制位传送到主存储，或将从主存要写入的二进制位传送到该扇区。 为所写扇区附加校验和，并在读取扇区时检查它。 进行坏扇区的重映射。,14,Disk Subsystem,Multiple disks connected to a computer system through a controller Controllers functionality (checksum, bad sector remapping) often carried out by individual disks; redu
7、ces load on controller Disk interface standards families ATA (AT adaptor) range of standards SATA (Serial ATA) SCSI (Small Computer System Interconnect) range of standards Several variants of each standard (different speeds and capabilities),15,磁盘性能估计,容量：磁盘所能容纳的字节数。 例1999年中等大小的磁盘配置：4个盘片，8个盘面每个盘面213=
8、8192个磁道，每个磁道平均28 =256个扇区，每个扇区29 = 512个字节。 整个磁盘的容量：23 * 213 * 28 * 29 = 233字节，即8GB 一个磁道存放256*512字节，或128 KB。 如果一个块的容量是212，即4096字节，则一个块使用8个扇区，一个磁道上有256/8 = 32个块。 例子： 1TB的硬盘,16,磁盘性能估计,访问时间 从发出请求到数据开始传输之间的时间 寻道时间（Seek time） 磁盘臂定位时间，即磁盘臂移动到正确的磁道所需时间 与移动距离成正比，平均寻道时间是最坏时间的1/3（4-10ms） 旋转等待时间（Rotational laten
9、cy ） 寻道结束后，等待被存取的扇区出现在读写头下面的时间 平均旋转等待时间是磁盘旋转一周时间的1/2（2-5ms） 数据传输率 从磁盘获得数据或向磁盘存储数据的速率（4-8MB/秒） 平均故障时间（Mean Time To Failure） 预期系统无故障连续运行的时间 （30,000-800,000小时，即3.4-91年）,17,磁盘块存取的优化,在主存储器中对块进行缓冲以减少块的读写次数 按柱面组织数据 使用多个磁盘 磁盘镜像 磁盘臂调度- 电梯算法 利用非易失性RAM作为写缓冲 预读和双缓冲 日志磁盘,18,RAID,廉价磁盘冗余阵列（RAID） Redundant Arrays o
10、f Inexpensive Disks 是一种利用大量廉价磁盘进行磁盘组织的技术 价格上，大量廉价的磁盘比少量昂贵的大磁盘合算得多 性能上，使用大量磁盘可以提高数据的并行存取 可靠性上，冗余数据可以存放在多个磁盘上，因此一个磁盘的故障不会导致数据丢失 过去RAID是大而昂贵的磁盘的替代方法；今天，使用RAID是因为它的高可靠性和高数据传输率；因此 “I” 代表independent，而非inexpensive,19,RAID,通过冗余提高可靠性 N个磁盘组成的集合中某个磁盘发生故障的概率比特定的单个磁盘发生故障的概率高很多 假定单个磁盘的MTTF是100,000小时 (约为11年)，则由100
11、个磁盘组成的阵列的MTTF是1000小时(约为41天) 冗余（Redundancy） 存储额外的信息，以便当磁盘故障时能从中重建 镜像(Mirroring or shadowing) 一个逻辑磁盘由两个物理磁盘组成，写操作在每个磁盘上执行 如果其中一个发生故障，数据可以从另一个磁盘读出 只有第一个磁盘的故障尚未恢复，第二个磁盘也发生故障，这时才会发生数据丢失 假定一个磁盘的MTTF是100,000小时，修复时间是10小时，则镜像磁盘系统的MTTF是100,0002/（2*10）=500*106小时，约为57000年,20,RAID,通过并行提高性能 负载平衡多个小的存取操作（即页面存取），以提
12、高这种存取操作的吞吐量 并行执行大的存取操作，以减少大的存取操作的响应时间 通过在多个磁盘上对数据进行拆分来提高传输率 比特级拆分（Bit-level striping） 将每个字节按比特分开，存储到多个磁盘上 例如，对于一个由8个磁盘组成的阵列，将每个字节的第i个比特位写到第i个磁盘上；它的存取速度是单个磁盘的8倍 对于由4个磁盘组成的阵列，将每个字节的第i个比特位和第i+4个比特位写到第i个磁盘上 块级拆分（Block-level striping） 对于由n个磁盘构成的阵列，文件的第i块存放在第(i mod n) + 1个磁盘上,21,RAID,RAID级别 镜像提供高可靠性，拆分提供高
13、数据传输率，通过利用与奇偶校验相结合的磁盘拆分想法，可以实现以较低成本提供冗余的方案 不同的RAID级别，具有不同的代价、性能和可靠性,C,P,代表数据的第二个拷贝,表示纠错位,22,RAID,RAID 0 块级拆分且没有任何冗余（如镜像或奇偶校验位）的磁盘阵列 用于高性能访问并且数据丢失不十分重要的应用场合,23,RAID,RAID 1 带块级拆分的磁盘镜像 提供最佳写性能 一般用于类似于数据库系统中日志文件存储的应用场合,24,RAID,RAID 2 按比特级拆分，具有内存风格的纠错码 纠错码（ECC：Error-Correcting-Codes） 内存中每个字节都有一个奇偶校验位与之相连
14、，它记录这个字节中为1的比特位的总数是偶数（=0）还是奇数（=1），如果字节中有一位被破坏，则字节的ECC与存储的ECC就不会相匹配；通过ECC可以检测到所有的1位错误；通过更多的附加位，当数据遭到破坏时，还可以重建数据,25,RAID,RAID 3 磁盘控制器能够检测一个扇区是否被正确的读出 如果一个扇区被破坏，我们先能准确地知道是哪个扇区坏了，然后对扇区的每一位，通过计算其他磁盘上对应扇区的对应位的奇偶值来推断该位是1还是0。如果其余位的奇偶值等于存储的奇偶值，则丢失的位是0，反之为1 RAID 3效果与RAID 2一样，但只有一个磁盘的额外开销 使用N道数据拆分的RAID 3对一个字节的
15、读写散布在多个磁盘中，因此读写一个块的传输率是使用N道数据拆分的RAID 1的N倍 每个磁盘参与每个I/O请求，每秒RAID 3支持的I/O数较少,26,RAID,RAID 4 块级拆分，在一个独立的磁盘上为其他N个磁盘上对应的块保留一个奇偶校验块 读取一个块只访问一个磁盘 每个存取操作的传输率低，但可以并行地执行多个读操作，从而产生较高的总的I/O率 读取大量数据的操作有很高的传输率，因为所有磁盘可以并行地读,27,RAID,RAID 5 将数据和奇偶校验位都分布到所有的N+1个磁盘上；对每个块，一个磁盘存储奇偶校验位，其余磁盘存储数据 例如由5个磁盘组成的阵列，第n块的奇偶校验位存储在第(
16、n mod 5)+1上，其余4个磁盘的第n块存储了对应这个块的实际数据 奇偶校验块不能和这个块对应的数据存储在同一个磁盘上 所有磁盘都参与对读请求的服务，而RAID 4中奇偶校验磁盘不参与读操作 RAID 5包容了RAID 4，同时在相同成本下，提供了更好的读写性能,28,RAID,RAID 6 类似于RAID 5，存储了额外的冗余信息 不采用奇偶校验位的方法，使用类似Reed-Solomon码的编码 对每4位数据存储2位冗余信息 可以容忍两个磁盘发生故障,29,高性能 可靠性差,最佳写性能 开销大,高数据传输率 大数据量,高的总I/O率 适合随机读 大数据量,高可靠性,30,RAID,RAID级别 RAID 0级：块级拆分，无冗余 RAID 1级：带块级拆分的磁盘镜像 RAID 2级：内存风格的纠错码组织结构 RAID 3级：位交叉的奇偶校验组织结构 RAID 4级：块交叉的奇偶校验组织结构 RAID 5级：块交叉的分布奇偶校验位的组织结构 RAID 6级：P+Q冗余方案,31,RAID,选择RAID级别应该考虑以下的因素： 所需的额外磁盘存储带来的开销 在I/O操作数量方面的
