《UIT存储基础培训课件》由会员分享，可在线阅读，更多相关《UIT存储基础培训课件（46页珍藏版）》请在金锄头文库上搜索。
1、United Information Technology Co., Ltd.UIT存储基础存储基础技术中心郭镭技术中心郭镭United Information Technology Co., Ltd.第二章第二章 操作系统与存储操作系统与存储块设备文件系统卷管理技术数据库与存储United Information Technology Co., Ltd.操作系统与存储操作系统与存储United Information Technology Co., Ltd.设备分类设备分类 - 字符设备与块设备字符设备与块设备字符设备（Characterdevices）指那些无须缓冲直接读写的设备。字符设备
2、以字节为单位进行读写，数据缓冲系统对它们的访问不提供缓冲。裸设备，也叫裸分区（原始分区），是一种没有经过格式化，不通过文件系统来读取的特殊字符设备块设备(Blockdevices)只能以块为单位进行读写，典型的块大小为512或1024字节。块设备允许随机访问，每次读写的数据量都是数据块长度的整数倍。块设备和字符设备的区别在概念上主要是字符设备跳过了缓冲区，块设备则要经过缓冲区。硬盘是既可以做块设备用，也可以做字符设备用。United Information Technology Co., Ltd.块设备和块块设备和块I/OSector块设备传输数据的最小单位Block文件系统的最小存储单位Se
3、gment内存交换单位或一部分Page磁盘缓存单位PageBlockSectorBlockI/OUnited Information Technology Co., Ltd.Sector硬件设备存放数据的连续区域单位.一个sector的大小是512字节sector是磁盘设备和操作系统之间最小传输单位，多个sector可同时传输。如果磁盘设备支持的sector大小是512的整数倍且大于512字节，那么操作系统的底层block驱动程序帮我们自动转化。United Information Technology Co., Ltd.sector是操作系统和块硬件设备之间传送数据的单位，那么block是文
4、件系统管理数据的单位比如操作系统的虚拟文件系统VFS需要从硬件设备上读取一个block，实际上是从硬件设备读取了一个或多个sector.对于文件管理来说，每个文件对应的多个block可能是不连续的block最终要映射到sector上，所以一般block的大小是sector大小的整数倍不同的文件系统，可以使用的block的大小可以不同块块 BlockUnited Information Technology Co., Ltd.块设备操作的基本概念块设备操作的基本概念对block设备的操作涉及到的内核组件ThegenericblocklayerThegenericblocklayer隐藏硬件细节，
5、提供block设备的抽象视图。提供通用的数据结构描述disks和diskpartitions.I/OschedulerI/Oscheduler(I/O调度器)根据内核制定的策略对未决的(pending)I/O数据传送请求进行排序和调度。提高I/O调度器的效率也是影响整个系统对块设备上数据管理效率的一个方面。blockdevice最后，blockdevice设备驱动程序，完成和硬件的具体交互。United Information Technology Co., Ltd.为什么需要为什么需要I/O调度？调度？磁盘寻道在计算机系统中是最慢的操作没有合适的I/O调度器，对系统性能影响非常大I/O调度可
6、以安排磁头在一个方向上移动，减少seek次数像电梯（操作系统中一般称这样的算法为电梯算法)在全局范围内获得高吞吐量blockI/OrequestI/OSchedulerRequestqueuemaintenanceRequestdispatchI/OScheduler的工作SortrequestqueuesMergerequestqueuesDispatchI/Orequests提高读取磁盘的效率United Information Technology Co., Ltd.逻辑卷管理逻辑卷管理传统分区缺点：磁盘的划分通过分区来实现，在系统安装之前用户必须正确选择每个分区的大小分区大小是固定不变
7、的，同时也就限制文件系统和文件的大小分配给分区的磁盘空间必须是连续，这个特点限制了分区不能跨越多个物理卷LVM逻辑卷管理优点：可分配非连续空间，可以跨越多个硬盘可以动态增大逻辑卷的大小方便存储管理操作，包括文件系统的备份、分区的删除、新分区的建立和文件系统的恢复等新的硬盘很容易动态地添加到系统DriversVG操作系统物理存储LogicalVolumeManager(LVM)LVLV数据库文件系统VGLV文件系统United Information Technology Co., Ltd.卷组卷组VG ：Volume Grouphdisk0hdisk0hdisk1hdisk1hdisk2hdi
8、sk2rootvgrootvgdatavgdatavg一个卷组VG可以拥有多个硬盘，但至少拥有一个硬盘(hdisk)一个硬盘(hdisk)只能属于一个VG，不能同时属于多个不同VG用户可以创建多个不同VG，rootvg是操作系统所在的VGUnited Information Technology Co., Ltd.物理卷物理卷PV和和PP存储管理器中，一个硬盘就是一个PV一个PV要划分为大小相等的PP同一个VG中的不同PV的PP大小要一样，默认的PP大小为4MPV必须加入一个VG中，系统才能使用其存储空间hdisk(hdisk(硬盘硬盘硬盘硬盘) )PVPVPPPPPhysicalVolume
9、(物理卷)PhysicalPartition(物理分区)United Information Technology Co., Ltd.逻辑卷逻辑卷LV1 12 23 34 45 59 96 67 78 81010 111112121 12 23 34 45 59 96 67 78 81010 11111212PVPVPVPVLVLV逻辑卷逻辑卷逻辑卷逻辑卷(LogicalVolume)映射关系映射关系映射关系映射关系1 12 23 34 45 56 67 78 8 n n存储管理一个很重要的特点就是引入了“逻辑卷”这个概念，几乎所有的存储管理都围绕“逻辑卷”展开逻辑卷LV有多个逻辑上连续的逻辑
10、分区LP组成，逻辑分区与物理分区存在映射关系，他们大小一样VGVGLogicalPartition 逻辑分区创建了逻辑卷后，可以在上面创建文件系统，还可以直接是裸设备，用于数据库软件的数据存取等逻辑卷空间不足，只要卷组中还有足够的PP数量，那么逻辑卷空间都可以动态增大LVLV逻辑卷的意义逻辑卷的意义逻辑卷的意义逻辑卷的意义United Information Technology Co., Ltd.逻辑卷逻辑卷LV与文件系统与文件系统hd4hd4LVLVhd1hd1limhailimhaihomehome(root)(root)LVLVhd2hd2binbinusrusrlpplpplibli
11、bhd9varhd9varspoolspoolvarvaretcetcmntmnt逻辑卷管理器：扮演的角色就是管理好逻辑卷与物理卷之间的映射关系，保证所有的上层存储操作命令都正确地把数据写入相应的物理设备中文件系统：是数据存储方式。它扮演的角色就是以清晰层次结构的文件和目录，去管理好用户数据存取，保证用户写入的数据以可靠的存储方式存放，且无差错地响应用户请求的数据不同文件系统的数据存在硬盘的不同逻辑卷中United Information Technology Co., Ltd.逻辑卷管理器逻辑卷管理器rootvgPVPV文件系统文件系统LVhd1hd6hd8lv00paging00Mount
12、Mount表表jfspagespacejfslogjfspagespacePPhomelimhai类型varlimhaioracleoracleApp-dataMount点datatvg逻辑卷逻辑卷LV与文件系统与文件系统 结构图结构图United Information Technology Co., Ltd.逻辑卷策略逻辑卷策略 - 镜像镜像mirrorPP1PP1PP2PP2PP1PP1PP2PP2PP1PP1PP2PP2LP1LP1LP2LP2. . .hdisk0hdisk0hdisk1hdisk1hdisk2hdisk2LV00LV00镜像mirror，类似于RAID1，可以实现逻
13、辑卷中逻辑分区的镜像，在独立的不同硬盘中保存两个或三个副本，从而保证硬盘出错时数据不受损坏而且是可用的镜像的调度策略Parallel(并行)：每个副本的写请求是同时进行的，当更新时间最长的副本完成后，控制就返回给程序。执行效率很高，但当副本更新时若有硬盘错误发生，数据的完整性有可能遭到破坏。读操作时候，读最相近的副本，所以响应速率快Sequential(串行)：当数据写到逻辑分区时，只有所有的副本都更新后控制才返回给程序，而且副本是一个个轮留更新。执行速率比并行镜像慢，但是数据完整性较好。读操作时候，总是先读主副本United Information Technology Co., Ltd.逻
14、辑卷策略逻辑卷策略 -条带化条带化striping1 12 23 34 45 56 67 78 89 91010 111112121313 141415151616 171718181 14 47 71010 131316162 25 58 81111 141417173 36 69 91212 151518181 1、没有做条带化的数据块流：、没有做条带化的数据块流：、没有做条带化的数据块流：、没有做条带化的数据块流：2 2、做了条带化的数据块流：、做了条带化的数据块流：、做了条带化的数据块流：、做了条带化的数据块流：PVPVPVPV做条带化类似于RAID0条带化把数据块均匀地分布在不同硬盘
15、上访问逻辑卷上的连续数据时多个硬盘驱动器并行操作，提高了I/O的吞吐量United Information Technology Co., Ltd.物理卷内分配策略物理卷内分配策略外部边缘外部边缘外部边缘外部边缘外部中间外部中间外部中间外部中间中心中心中心中心内部中间内部中间内部中间内部中间内部边缘内部边缘内部边缘内部边缘硬盘的平面图硬盘的平面图硬盘的平面图硬盘的平面图通常访问最频繁的LV分配在中心，访问不频繁的LV分配在边缘访问速度访问速度访问速度访问速度慢慢慢慢慢慢慢慢快快快快United Information Technology Co., Ltd.文件系统文件系统 File Syst
16、em 概念：文件和对文件进行操纵和管理的软件集合。三个层次一、管理的对象及属性（1）文件（2）目录（3）物理存贮空间的管理二、管理的文件操作：（1）逻辑文件系统：受命write-write（2）基本I/O管理：write（3）基本文件系统：向driver发令（4）I/O控制层：driver三、管理的文件系统接口（1）命令接口：（2）程序接口：United Information Technology Co., Ltd.文件系统层次模型文件系统层次模型United Information Technology Co., Ltd.File System Driver体系结构（本地）体系结构（本地）United Information Technology Co., Ltd.File System Driver体系结构（远程）体系结构（远程）United Information Technology Co., Ltd.存储分配方法（文件物理组织）存储分配方法（文件物理组织） 连续分配（磁带，磁盘都可采用）每个顺序文件分配一组相邻盘块。特点：简单（1）顺序访问容易且速度快，因磁头移动距离小，（
