《从SAN和NAS的融合看存储系统的发展》由会员分享，可在线阅读，更多相关《从SAN和NAS的融合看存储系统的发展（43页珍藏版）》请在金锄头文库上搜索。
1、对存储系统发挥特殊作用的 文件系统 2006年5月 - 北京 存储系统当前是信息系统建设的核心 在直连存储系统的时代，应用系统以计算 机为中心，存储只是外设，数据是存储孤岛 在存储网络时代，数据成为信息系统的核 心，应用系统充分挖掘数据的价值，服务器 成为存储系统的外设 文件级在存储系统中的位置 应用系统 操作系统 文件系统 RAID控制 磁盘读写 文件级传输 块级传输 文件级传输：应用系统 的I/O逻辑请求，它是文 件系统的输入。是应用 系统要求存储做什么的 逻辑请求。 文件系统决定数据（包 括META数据）在磁盘 上的存放格式和位置， 这种格式和位置又决定 磁头的移动方式。 块级传输：应用
2、系统的 I/O物理请求，它是文件 系统的输出。是怎么对 存储操作的数据块请求 。 RAID控制使文件系 统看到一个大逻辑盘。 它不管磁盘格式。 从应用系统的I/O调用看存储模式 文件系统对存储系统的效率有举足轻重的作用 应用系统 操作系统 文件系统 RAID控制 磁盘读写 NAS FC SAN SAN和NAS存储模型的比较 应用服务器 以太网交换机 NAS FC 交换机 SAN 应用服务器 文件系统 RAIDRAID 文件系统 RAID 文件系统 RAID 应用服务器 文件系统 应用服务器 误区之一：带宽决定一切 人们经常高估带宽的作用。他们一看到网络变慢，就想到是带宽不 够了，其实往往是其他
3、原因。我个人还从来没有看到因为带宽不够 需要从2-Gbps生到4-Gbps的情况。 Quite often people are not exceeding their bandwidths. They see a network slowdown and think they are exceeding their pipeline, but often it is something else. Im not yet personally seeing anyplace where the need to exceed 2-Gbps is a reason to push for 4-Gb
4、ps. 随着4-Gbps产品价格下落，对大映像文件存取所用的SAN会是最好 的选择。但对于象数据库这样的应用所用的SAN来说，增添的性能 是多余的。 With the price of 4-Gbps products expected to fall, it will be the best alternative for installing new SANs, or for existing SANs where large imaging or R&D files are stored and accessed. But for existing SANs used for such a
5、pplications as databases, the extra performance may not be necessary. - 摘自“IBM Latest Vendor To Throw Hat Into 4Gbps Ring” CRN 5-9-05 文件系统(1) 什麽是文件系统?计算机的文件系统是任何信息管理系统的基本元 素。它是处理过的信息最终被放置的地方。关键应用系统的客户依靠 文件系统得到快速、不间断的可靠的数据访问 。 VERITAS 指数据(包括文件和metadata)在存储介质上的组织管理模式,以便能快 速可靠地存取数据。文件系统是最初的存储“虚拟者”。每个操作
6、 系统都有自己的文件系统。例如 操作系统所支持的文件系统 MS-DOS, Windows 95 FAT16 Windows 95,98,MeFAT16,FAT32 Windows NT,2000,XPNTFS,FAT16,FAT32 LinuxExt2,FAT32,FAT16 文件系统(2) 不同的文件系统有不同的格式。例如 文件系统最长文件名 最大卷大小 最大文件大小 FAT1682GB*2GB FAT322552TB4GB NTFS25516TB16TB Ext22554TB2GB 不同的FS有不同的存储效率 WAFL Writes to nearest available free bl
7、ock Berkeley Fast File System/Veritas Fast File System/NTFS Writes to pre-allocated locations (data and metadata) . . 文件系统对I/O效率的影响 文件系统决定了磁头如何读写磁盘 磁头是毫秒级操作，最大限度地减 少磁头臂的平均移动次数，是提高 读写效率的关键 WAFL 大目录处理 对谁有用? 大邮件目录 新闻 大目录环境每秒创建数 Directory SizeSunOSNetApp 2.0NetApp 2.1 100030113122 50002268123 1000016401
8、22 200001214122 Copy-on-Write技术 (1) 数据卷 Snapshot卷 需要建立快照卷 Copy-on-Write技术 (2) Data Volume Snapshot Volume 必须进行数据拷贝 Copy-on-Write技术 (3) Data Volume Snapshot Volume NetApp 的 Snapshot 快照技术 (1) ABC Active File System File: NETAPP.DAT Disk blocks NetApp 的 Snapshot 快照技术 (2) Snapshot.0 File: NETAPP.DAT ABC
9、 Active File System File: NETAPP.DAT Disk blocks Snapshot 仅仅记录这三个 数据块的指针, 没有数据拷贝 NetApp 的 Snapshot 快照技术 (3) Snapshot.0 File: NETAPP.DAT C WAFL把修改后的数据块写 到新位置 (C) 现在数据块 (C) 既没有被更 新,也没有被释放 ABC Active File System File: NETAPP.DAT Disk blocks 顾客 修改数据 块 C 新数据 NetApp 的 Snapshot 快照技术 (4) 当前文件系统 NETAPP.DAT 现
10、在由数据块 A, B 和 C组成. NETAPP.DAT 的Snapshot.0由数据块 A, B 和 C 组成. 可以同时保留多个文件系统版本, 用于系统快速恢复 C Snapshot.0 File: NETAPP.DAT ABC Active File System File: NETAPP.DAT Disk blocks 不同“快照”方式的比较 把模块“C”改为“Z” 其它File Systems (例如, NTFS, UFS) 存在 Snapshot 每个 write I/O 变为: Read old value Write old value Write new value 300%
11、 I/O penalty 把模块“C” 改为“Z” Write Anywhere File Layout 一个 write I/O 保持为一个 I/O 当前文件 系统 Snapshot 当前文件 系统 Snapshot 当前文件 系统 Snapshot CABCDABZDZABCD 存储系统中的缓存作用 v磁盘写操作涉及磁头臂的机械运动，可以用带电池的 缓存来减短应用的中断时间 v缓存可以把单个写操作，积累成批量写操作，从而提 高磁盘阵列的写效率 v写缓存可以放在文件系统级或卷管理级 基于文件系统的缓存 进程中断时间最短, 客户响应时间加快, 可预见 NVRAM: 保证快速写操作 保证所写数据
12、与磁盘的一致性, 缩短中断时间 基于文件系统和基于卷的缓存 UNIX NVRAMNetApp NVRAM Disk DriverNVRAM Semantic Layer Write alloc Layer File System NFS Disk Driver NVRAMSemantic Layer Write alloc Layer File System NFS FC SAN解决数据共享的传统方法 NAS gateway方法 缺点： 两个管理界面 效率不匹配（NAS gateway可能是瓶颈 ） 资源不能完全共享 硬件资源浪费(Cache) 适用情况：绝大部分数据是结构化的，少 量是非结构
13、化的 CFS：在群集范围内的所有存储设备上的每个存储块可 以被并发读写。它不适用顾客，只适用服务器。 CFS 通过分布锁管理器(DLM)来实现数据共享。如：ADIC 的StorNext，IBM的 DFS：它协调所有的服务器实现数据共享。它对顾客和 服务器采用2层结构的文件系统。在顾客层，它实现跨 越所有机器的统一命名空间和单个文件系统的表达方 式。它的服务器层承担所有的I/O操作，从数据存储的 观点看，服务器层相当于存储层，有时就简称为存储 结点。在DFS结构中，每个物理服务器管理自己的存储 资源，不同的物理服务器彼此并不直接共享存储资源 。如：NetApp的SpinFS（现在的Data ON
14、TAP NG ) 群集文件系统与分布式文件系统 群集文件系统CFS示例 群集服务器 客户端 FC交换机 Metadata控制器 SAN卷 每个群集服务器看到的是相同的SAN卷 用控制器统一管理群集服务器对SAN卷中文件的共享 可以支持从主机到存储的多路径合并 可以支持异构平台的互操作 DFS示例 GX 1GX 2GX 3GX 4 FC通路 灵活卷 GigE 顾客网络 Linux 计算网格 GX Cluster GigE 群集网 络 (可以构架为冗余) 10/100/1000 管理网络 FC失效恢 复路径 汇聚 FC 或 ATA 磁盘架 InfiniBand 系统失效恢 复连接 关键技术整体命名
15、空间(global namespace) 简单 所有参加计算的节点,可以看到所有数据 简化mount点的管理 在顾客端无需改动 透明 扩展 灵活卷的移动 失效接管 扩展性 将命名空间用于PB数量级数据 可管理性 整体命名空间举例 Proj_ABC Eng Syn Sim Docs SW HW Proj_XYZ GX 1GX 2GX 3GX 4 整体命名空间 Eng Proj_ABC Proj_XYZ HWSW Docs Sim Syn Fibre Channel 存储的 灵活卷 GigE 顾客网络 对位于SW目录上 文件的NFS请求 Linux Compute Grid GX Cluster
16、GigE 群集网络 顾客可以 mount到任 何服务器上 ,存取整个 命名空间 举例: 从位于 GX1的服 务器端口, 存取位于 GX3上的 灵活卷SW 扩展性 灵活卷的条带化 提供高性能选择 好处 创建跨多个控制器 节点的灵活卷 将灵活卷的通量扩 展到多GB/秒 将灵活卷的大小扩 展到数百TB 传送多GB/秒的通量 给重要文件和目录 保持管理的简单性 用相同的存储系统 于多个应用需求 Projects XBC A1A2A3 B1B2 C1C2C3 B C A1 A2 A3 B1 B2 C1 C2 C3 Linux 计算 网格 GX Cluster 整体命名空间 FV3FV4FV7 FV8FV11FV12 FV1FV2FV5 FV6FV9 FV10 条带化的卷X 扩展性 透明扩展 透明扩展 透明数据移动 用于存储扩展 好处 迅速无缝地启 用新存
