《存储技术基础培训》由会员分享，可在线阅读，更多相关《存储技术基础培训（125页珍藏版）》请在金锄头文库上搜索。
1、UITUIT存储产品认证工程师存储产品认证工程师-存储技术基础培训存储技术基础培训UIT BJ ChinaUIT BJ ChinaUIT BJ ChinaUIT BJ ChinaN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nAgenda了解什么是存储硬盘技术Raid技术磁盘阵列存储协议存储基础架构N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n从世界第一款磁盘驱动器说起从世界第一款磁盘驱动器说起世界上第一款磁盘驱动器(magnetic drive)
2、RAMAC（名为IBM 305）是IBM在1956年所创，重达一吨（内含50片24英寸硬盘）。 ，只能容纳5MB的数据。 “从石器时代到存储设备（From StoneAge to StorAge），硬盘发展至今，简直就像从石器时代走到现在。” N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n什么是存储什么是存储-概念概念存储是信息存放的地方，是信息的载体；存储是根据不同的业务应用，采用合适、安全、有效的技术方案将信息存放在具有冗余、保护等功能的物理媒介；广义上，客户希望解决的存储问题需要考虑存储物理组成、基础结构、保护方式
3、、综合管理并结合服务器、数据库、网络架构和客户实际的业务应用和人员为客户提供的整体存储解决方案；同时，需要通过存储结构、产品、解决方案、架构设计、部署实施、管理实施和性能优化的各个方面和客户共同解决存储需求和面临的问题。N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n什么是存储什么是存储-实例实例企业存储个人存储N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n存储体系架构存储体系架构存储物理结构物理组成物理连接磁盘，JBOD，磁盘阵列SCSI，SAS，
4、FC，iSCSI, TCP/IP磁带，磁带机，磁带库；光盘，光盘库FCIP, iFCP, DWDM, infiniband光纤通道/以太网交换机（HUB，交换机，导向器）HBA卡，连接线缆，存储网关，专用存储设备存储基础结构DASNASFC SAN IP SAN 存储保护方式RAID技术冗余保护技术逻辑快照物理快照（克隆)镜像复制(容灾）存储管理基础存储的配置管理存储连接管理存储监控管理存储优化管理存储虚拟化管理存储应用基础双机集群SAN文件共享备份应用容灾复制应用N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nAgend
5、a了解什么是存储硬盘技术Raid技术磁盘阵列存储基础架构N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n垂直磁记录垂直磁记录F在硬盘目前所使用的水平记录在硬盘目前所使用的水平记录技术下，存储容量离极限越来技术下，存储容量离极限越来越近越近F垂直磁记录技术有助于在保证垂直磁记录技术有助于在保证记录质量的同时进一步提高存记录质量的同时进一步提高存储密度储密度现有水平记录技术垂直记录技术N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n硬盘的种类及发展趋势硬盘
6、的种类及发展趋势 N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n硬盘类型及接口硬盘类型及接口SASSATAFCSCSIATA/IDELCLCSCSC硬盘类型接口视图N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n硬盘发展历史及趋势硬盘发展历史及趋势时间点时间点容容量量FC硬盘硬盘100GB300GB750GB1000GB146GB300GBSAS硬盘硬盘250GB400GB500GB750GB1000GBSATA硬盘硬盘73GB300GB146GB5
7、00GB73GB300GB146GB19982008SCSI硬盘硬盘73GBN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n硬盘接口发展趋势硬盘接口发展趋势SCSI-2SCSI-3FC-AL100MB/S perPortFC-AL200MB/S perPortSynchronousSCSI5MB/sFastWideSCSI10/20MB/sUltra SCSI20/40MB/sUltra2 SCSI40/80MB/sUltra160SCSI160MB/sUltra320 SCSI320/MB/s SAS300MB/s pe
8、r portSATASATAIISerial ATA150MB/sSerial ATA II300MB/sFC-AL400MB/S perPort串行串行并行并行N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nATA/IDEATA/IDE接口硬盘简介接口硬盘简介Power连接器主/从盘 跳线40-pin连接器FATA(AdvancedTechnologyAttachment)高级技术附加装置高级技术附加装置FATA硬盘是传统的桌面级硬盘，主要应用硬盘是传统的桌面级硬盘，主要应用于个人于个人PC机，也经常称为机，也经常称为I
9、DE（IntegratedDriveElectronics）硬盘）硬盘FATA接口为并行接口为并行ATA技术，技术，下一代的产品下一代的产品是串行是串行ATA（SATA）N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nSCSISCSI接口硬盘介绍接口硬盘介绍FSCSI(SmallComputerSystemInterface)小型计算机系统接口小型计算机系统接口FSCSI硬盘并发处理性能优异，常应用于企硬盘并发处理性能优异，常应用于企业级存储领域业级存储领域FSCSI硬盘采用并行接口，接口速率目前发硬盘采用并行接口，接口速
10、率目前发展到展到320MB/s，基本已经达到极限，基本已经达到极限，将来将来必被其串行版本必被其串行版本SAS（SerialAttachedSCSI）硬盘所替代）硬盘所替代80-pin 80-pin 公接头公接头N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nFCFC接口硬盘介绍接口硬盘介绍FFC硬盘采用FC-AL(FiberChannelArbitratedLoop，光纤通道仲裁环)接口模式FFC-AL是一种双端口的串行存储接口FFC-AL支持全双工工作方式FFC-AL利用类似SATA/SAS所用的4芯连接，提供一种单环
11、拓扑结构，一个控制器能访问126个硬盘N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nSATASATA接口硬盘介绍接口硬盘介绍FSATA：SerialATA(SerialAdvancedTechnologyAttachment)串行串行ATAFSATA采用串行方式进行数据传输，采用串行方式进行数据传输，接口速率比接口速率比IDE接口高，最低为接口高，最低为150MB/s，并且第二代（，并且第二代（SATA）300MB/s接口硬盘目前已经取代接口硬盘目前已经取代SATAI，规划内的最高速率可达，规划内的最高速率可达600MB
12、/sFSATA硬盘采用点对点连接方式，支硬盘采用点对点连接方式，支持热插拔，即插即用持热插拔，即插即用N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nSATASATA技术技术FSATAII有以下五个主要特性：F更高的端口传输率（300MB/s）F本机命令队列（NCQ）F组件管理（EnclosureManagement），比如风扇控制，温度控制，新硬盘指示，坏硬盘指示，硬盘状态指示等F端口复用（PortMultiplier），允许多个硬盘连接到同一端口F可向上兼容SAS技术FSATA技术可对247企业在线和近线存储应用提供超
13、大容量和高可靠性的支持N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nSASSAS接口硬盘介绍接口硬盘介绍FSAS(SerialAttachedSCSI)串行连接串行连接SCSIFSAS是一种点对点、全双是一种点对点、全双工、双端口的接口工、双端口的接口FSAS专为满足高性能企业专为满足高性能企业需求而设计，并且兼容需求而设计，并且兼容SATA硬盘，为企业用户硬盘，为企业用户带来前所未有的灵活性带来前所未有的灵活性N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io
14、 on nSASSAS技术优点技术优点F性能：能够提供3.0Gbit/s的传输率，规划到12.0Gbit/sF兼容性：SAS连接器可以同时支持SATA和SAS硬盘F可扩展性：F通过Expander可以扩展到16000个设备F支持世界范围唯一的设备ID号，提高了设备寻址能力F支持更长距离的电缆，在无光纤传输能力的情况下，电缆长度可以到10米F灵活性：SAS可以使用现有的SCSI命令集，保护企业现有SCSI软件的投资，继承了SCSI的高可用性，并在SCSI命令排队方面进行了优化FSAS完全承袭了SCSI的优势，采用串行技术性能得到进一步提升，同时还考虑了向下兼容SATA的问题，因此用户可以根据不同
15、的需求和承受能力，灵活选择SAS和SATA进行组合来构建存储系统N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n硬盘各类接口间的对比硬盘各类接口间的对比ATASATASCSISASFC转速（转速（RPM）7,2007,20015,00015,00015,000缓存（兆）缓存（兆）8/168/168/168/168/16串行串行/并行并行并行并行串行串行并行并行串行串行串行串行硬盘主流容量硬盘主流容量（GB）250750300300300MTBF600,0001,200,0001,400,0001,400,0001,400,
16、000TCQ支持支持支持支持支持支持支持支持支持支持NCQ不支持不支持支持支持*支持支持支持支持支持支持* * SATA接口硬盘支持NCQ，SATA不支持N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n企业级硬盘与桌面级硬盘的区别企业级硬盘与桌面级硬盘的区别N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n企业级硬盘发展情况企业级硬盘发展情况200520062007200820092010050001000015000200002500030000350
17、004000045000FCSASSATASCSIFC来源来源:GartnerDataquest2005年年9月月企业市场接口企业市场接口(千台千台/年年)N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n企业级硬盘与桌面级硬盘的区别企业级硬盘与桌面级硬盘的区别序号序号参数参数桌面级桌面级企业级企业级1 1上电时间上电时间8 8小时小时/ /天天2424小时小时/ /天天2 2Duty CycleDuty Cycle（工作负荷）（工作负荷）低低高（例如西数高（例如西数RE2RE2系列硬盘可达系列硬盘可达100%100%）3
18、3MTBFMTBF六十万小时六十万小时一百二十万小时一百二十万小时4 4SCTSCT不支持不支持支持支持5 5错误纠正功能错误纠正功能不支持不支持支持支持6 6负载管理（用于控制机负载管理（用于控制机体温度及保证长时间工体温度及保证长时间工作可靠性）作可靠性）不支持不支持支持支持N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n目前主要的硬盘厂商目前主要的硬盘厂商N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n主要硬盘厂商主要硬盘厂商希捷是一家专业硬盘制
19、造商，推希捷是一家专业硬盘制造商，推出全系列多领域应用的硬盘，并出全系列多领域应用的硬盘，并为众多知名厂商提供硬盘服务。为众多知名厂商提供硬盘服务。希捷公司以其品种齐全、技术创希捷公司以其品种齐全、技术创新快、质量好在存储硬盘市场稳新快、质量好在存储硬盘市场稳占第一位。占第一位。企业级硬盘产品主要分为：企业级硬盘产品主要分为：SavvioSavvio系列，系列，2.52.5英寸英寸 SASSAS或或SCSISCSI硬盘；硬盘；CheetahCheetah系列，系列，3.53.5英英寸寸SASSAS、FCFC、SCSISCSI硬盘；硬盘；Barracuda ESBarracuda ES系列，主要
20、为企业系列，主要为企业级级SATASATA硬盘。硬盘。日立公司的传统优势是在小型日立公司的传统优势是在小型移动硬盘及笔记本电脑硬盘上，移动硬盘及笔记本电脑硬盘上，不过随着不断发展其产品线越不过随着不断发展其产品线越来越全，主要分为以下几个系来越全，主要分为以下几个系列产品：列产品：UltrastarUltrastar：用作服务器以及：用作服务器以及工作站的工作站的3.53.5英寸硬盘；英寸硬盘；DeskstarDeskstar：用作高性能个人电：用作高性能个人电脑的脑的3.53.5英寸硬盘；英寸硬盘；用作移动处理及便携设备的用作移动处理及便携设备的1.81.8英寸以及英寸以及2.52.5英寸硬
21、盘。英寸硬盘。西部数据相对于希捷公司来说，西部数据相对于希捷公司来说，硬盘产品线比较单一，凭借其硬盘产品线比较单一，凭借其技术成熟、性能优良及可靠性技术成熟、性能优良及可靠性高等特点也在存储市场占据了高等特点也在存储市场占据了一席之地。一席之地。企业级硬盘主要有三个系列：企业级硬盘主要有三个系列：WD RaptorWD Raptor猛禽系列，提供猛禽系列，提供1000010000转，高可靠性，转，高可靠性，SATASATA硬盘；硬盘；WD RE2WD RE2和和RERE系列，提供系列，提供72007200转转SATASATA硬盘。硬盘。N Ne eww S St to or ra ag ge
22、e, ,N Ne eww V Vi is si io on n硬盘类型选择硬盘类型选择N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n硬盘类型选择硬盘类型选择硬盘类型容量性能可靠性价格综合FC硬盘SATA硬盘（企业级）SAS硬盘很好好一般差很差 N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nAgenda了解什么是存储硬盘技术Raid技术磁盘阵列存储协议存储基础架构N Ne eww S St to or ra ag ge e, ,N Ne eww V
23、Vi is si io on nRAID基本概念基本概念N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID基本概念基本概念定义定义 RAID RAID （Redundant Array of Independent DisksRedundant Array of Independent Disks）即独立磁盘冗余阵列，）即独立磁盘冗余阵列，RAIDRAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而提高了硬盘的读写性能和数据安全性。根据
24、不同的组合方式可以分为而提高了硬盘的读写性能和数据安全性。根据不同的组合方式可以分为不同的不同的RAIDRAID级别级别RAID 0RAID 0数据条带化，无校验数据条带化，无校验RAID 1RAID 1数据镜像，无校验数据镜像，无校验RAID 2RAID 2海明码错误校验及校正海明码错误校验及校正RAID 3RAID 3数据条带化读写，校验信息存放于专用硬盘数据条带化读写，校验信息存放于专用硬盘RAID 4RAID 4单次写数据采用单个硬盘，校验信息存放于专用硬单次写数据采用单个硬盘，校验信息存放于专用硬盘盘RAID 5RAID 5数据条带化，校验信息分布式存放数据条带化，校验信息分布式存放
25、RAID 6RAID 6数据条带化，分布式校验并提供两级冗余数据条带化，分布式校验并提供两级冗余N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID组合方式组合方式级别扩展级别扩展 同时采用两种不同的同时采用两种不同的RAIDRAID方式还能组合成新的方式还能组合成新的RAIDRAID级别级别RAID 0+1RAID 0+1先做先做RAID 0RAID 0，后做，后做RAID 1RAID 1，同时提供数据条带化和，同时提供数据条带化和镜像镜像RAID 10RAID 10类似于类似于RAID 0+1RAID 0+
26、1，区别在于先做，区别在于先做RAID 1RAID 1，后做，后做RAID RAID 0 0RAID 50RAID 50先做先做RAID 5RAID 5，后做，后做RAID 0RAID 0，能有效提高，能有效提高RAID 5RAID 5的性的性能能N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID出现原因出现原因 计算机发展初期，大容量硬盘价格非常高，而需要存储的数据量越来越大容量容量性能性能CPU运算速度飞速提高，数据读写速度不应该成为计算机系统处理的瓶颈信息时代，数据对企业和个人的重要性越来越大，数据存储
27、安全更需要保障RAID可靠性可靠性N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID基本概念基本概念条带条带 分条条带硬盘0硬盘2硬盘1硬盘3N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID基本概念基本概念校验校验 异或运算异或运算P=A0XORA1数据A0和A1通过异或运算进行奇偶校验得到校验位PA0A0值值A1A1值值P P值值0 00 00 01 10 01 10 01 11 11 11 10 0下表是异或下表是异或
28、 XOR XOR 的校验原理的校验原理A1A0P数据盘数据盘校验盘N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID基本概念基本概念重建（重建（RebuildRebuild） 数据盘A1A0PA0A1PXOR故障数据盘校验盘A2A2XOR数据盘更换N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID基本概念基本概念RAIDRAID组状态组状态 RAID组组正常工作正常工作RAID组组降级降级RAID组组重建重建RAID组组创建
29、创建RAID组组失效失效N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID基本概念基本概念物理卷和逻辑卷物理卷和逻辑卷 RAID10RAID5RAIDRAID由几个硬盘组成由几个硬盘组成 ，从整体上看相当于一个物理卷，从整体上看相当于一个物理卷在物理卷的基础上可以按照指定容量创建一个或多个逻辑卷，通在物理卷的基础上可以按照指定容量创建一个或多个逻辑卷，通过过LUNLUN（Logic Unit NumberLogic Unit Number）来标识）来标识物理卷物理卷逻辑卷逻辑卷单个物理卷上创建1个逻辑卷单个物
30、理卷上创建2个逻辑卷LUN1LUN2LUN3N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID、逻辑卷的形成过程、逻辑卷的形成过程 物理磁盘物理磁盘物理卷物理卷（RAID）N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID、逻辑卷的形成过程、逻辑卷的形成过程 物理磁盘物理磁盘逻辑卷逻辑卷物理卷物理卷（RAID）LUN1LUN1LUN2LUN2LUN3LUN3分割分割N Ne eww S St to or ra ag ge e
31、, ,N Ne eww V Vi is si io on nRAID级别和特点级别和特点N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID级别级别 RAID 0 RAID 0 DHLCGKBFJ定义定义：RAID0RAID0即没有容错设计的条带硬盘阵列（即没有容错设计的条带硬盘阵列（Striped Disk Array without Striped Disk Array without Fault ToleranceFault Tolerance），以条带形式将），以条带形式将RAIDRAID组的数据均匀分
32、布在各个硬盘中组的数据均匀分布在各个硬盘中ABCDEFGH数据AEIN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID级别级别 RAID 0 RAID 0 优点优点极高的读写效率极高的读写效率速度快，由于不存在校验，所以不占用速度快，由于不存在校验，所以不占用CPUCPU资源资源部署简单部署简单缺点缺点无冗余，通常和其他无冗余，通常和其他RAIDRAID级别混合使用级别混合使用 不适合用于关键数据环境不适合用于关键数据环境最小硬盘数最小硬盘数2 2RAID 0RAID 0小结：小结：N Ne eww S St
33、 to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID级别级别 RAID 1 RAID 1 RAID 1 RAID 1 定义：定义：RAID 1RAID 1又称镜像（又称镜像（MirrorMirror），数据同时一致写到主硬盘和镜像硬盘），数据同时一致写到主硬盘和镜像硬盘EDCBAEDCBAABCDE=数据N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID级别级别 RAID 1 RAID 1 优点优点提供了很高的数据安全性和可用性提供了很高的数据安全性和
34、可用性 100100的数据冗余的数据冗余设计、使用简单设计、使用简单不作校验计算，不作校验计算，CPUCPU占用资源少占用资源少缺点缺点空间利用率只有空间利用率只有1/21/2相对于单个硬盘，无法提高写性能相对于单个硬盘，无法提高写性能硬盘数硬盘数2 2RAID 1RAID 1小结：小结：N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nA0B0C0D0ECC/AxECC/BxECC/CxECC/DxECC/AyECC/ByECC/CyECC/DyRAIDRAID级别级别 RAID 2 RAID 2 定义：定义：RAID 2
35、 RAID 2 采用早期的海明码校验组成硬盘阵列，采用早期的海明码校验组成硬盘阵列，RAIDRAID中第中第1 1个、第个、第2 2个、个、第第4 4个个第第2 2的的n n次幂个硬盘都是校验盘。次幂个硬盘都是校验盘。RAID2RAID2的硬盘利用率很低，的硬盘利用率很低，目前基本不再使用目前基本不再使用A1B1C1D1A2B2C2D2A3B3C3D3ECC/AzECC/BzECC/CzECC/DzA0A1A2A3B0B1B2B3C0C1C2数据盘校验盘N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID级别级
36、别 RAID 3 RAID 3 定义定义：RAID 3RAID 3即带有校验的并行数据传输阵列（即带有校验的并行数据传输阵列（Paralleled transfer withParalleled transfer withparityparity），数据条带化分布在数据盘中，同时使用专用校验硬盘存放校验），数据条带化分布在数据盘中，同时使用专用校验硬盘存放校验数据数据 D0C0B0A0D1C1A1B1D2C2A2B2PDPCPAPBABCD异或运算异或运算数据盘校验盘N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAID
37、RAID级别级别 RAID 3 RAID 3 优点优点数据分布式存储在连续的硬盘上，具有较数据分布式存储在连续的硬盘上，具有较高的读速率，适合大文件连续读操作的应用高的读速率，适合大文件连续读操作的应用如果有一个硬盘损坏，数据的有效性没有如果有一个硬盘损坏，数据的有效性没有影响影响缺点缺点校验盘是整个硬盘阵列系统的瓶颈校验盘是整个硬盘阵列系统的瓶颈 有数据盘故障时，每次读操作时都需要进有数据盘故障时，每次读操作时都需要进行校验计算，读性能大幅度下降行校验计算，读性能大幅度下降最小硬盘数最小硬盘数3 3RAID 3RAID 3小结：小结：N Ne eww S St to or ra ag ge
38、e, ,N Ne eww V Vi is si io on nRAIDRAID级别级别 RAID 4 RAID 4 定义：定义：RAID 4RAID 4是带有共享校验硬盘的独立数据盘（是带有共享校验硬盘的独立数据盘（ Independent data disks with Independent data disks with shared parity diskshared parity disk），与），与RAID 3RAID 3类似，不同在于对数据访问是每次一个盘，类似，不同在于对数据访问是每次一个盘，而而RAID 3RAID 3是每次一个条带，是每次一个条带，RAID4RAID4的读写
39、性能较差，目前较少使用的读写性能较差，目前较少使用异或运算异或运算A0B0C0D0A1B1C1D1A2B2C2D2A3B3C3D3P0P1P2P3A0A1A2A3B0B1B2B3C0数据盘校验盘N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID级别级别 RAID 5 RAID 5 定义：定义：RAID 5RAID 5与与RAID 3RAID 3机制类似，但校验数据均匀分布在各数据硬盘上，机制类似，但校验数据均匀分布在各数据硬盘上，RAIDRAID成员成员硬盘上同时保存数据和校验信息，数据块和对应的校验信息保存
40、在不同硬盘硬盘上同时保存数据和校验信息，数据块和对应的校验信息保存在不同硬盘上。上。RAID 5RAID 5是最常用的是最常用的RAIDRAID方式之一方式之一P4A3A2A1A0B4P3B2B1B0C4C3P2C1C0D4D3D2P1D0E4E3E2E1P0异或运算异或运算A0B0C0D0A1B1C1E1A2B2D2校验信息Px分布式存储数据N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID级别级别 RAID 5 RAID 5 优点优点高读取速率，中等写速率高读取速率，中等写速率提供一定程度的数据安全提供一
41、定程度的数据安全缺点缺点RAIDRAID组里单块硬盘的故障，会导致其他硬组里单块硬盘的故障，会导致其他硬盘读写性能大幅度下降盘读写性能大幅度下降 最小硬盘数最小硬盘数3 3RAID 5RAID 5小结：小结：N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID级别级别 RAID 6 RAID 6 定义：定义：RAID 6 RAID 6 是带有两个独立分布式奇偶校验方案的独立数据硬盘是带有两个独立分布式奇偶校验方案的独立数据硬盘（Independent data disks with two independen
42、t distributed parity Independent data disks with two independent distributed parity schemesschemes）。广义上讲，能够允许两个硬盘同时失效的）。广义上讲，能够允许两个硬盘同时失效的RAIDRAID级别统称为级别统称为RAID 6RAID 6，狭义上讲，特指，狭义上讲，特指IntelIntel的的RAID P+QRAID P+Q技术。硬盘空间利用率为技术。硬盘空间利用率为(N-(N-2)/N2)/N，N N为为RAID6RAID6阵列硬盘总数阵列硬盘总数RAID 6RAID 6技术：技术：目前目前RA
43、ID 6RAID 6还没有统一的标准，各家公司的实现方式都有所不同：还没有统一的标准，各家公司的实现方式都有所不同：RAID P+QRAID P+Q：INTELINTEL和和HDSHDS公司公司RAID DPRAID DP： NetAppNetApp公司公司RAID ADGRAID ADG：HPHP公司公司N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID级别级别 RAID 6 RAID 6原理示例原理示例 A1A3A2A4A7A10A8A5A9A13A6A15A11A12A16异或运算异或运算A1A2A3A
44、4A5A6A7A9横向校验盘中P1P4为各个数据盘中横向数据的校验信息例：P1=A1 XOR A2 XOR A3 XOR A4斜向校验盘中DP1DP4为各个数据盘及横向校验盘的斜向数据的校验信息例：DP1=A1 XOR A6 XOR A11 XOR A16P1P2P3P4横向校验盘斜向校验盘数据盘A8DP1DP2DP3DP4A14DP5N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID级别级别 RAID 6 RAID 6 优点优点可以同时允许两块硬盘失效可以同时允许两块硬盘失效缺点缺点磁盘利用率比磁盘利用率比
45、RAID5RAID5更低更低校验计算复杂，校验计算复杂，对控制器性能消耗很大，对控制器性能消耗很大，增加系统负载增加系统负载出现硬盘失效时，出现硬盘失效时，RAID重建时对系统性能重建时对系统性能影响更大，并且重建时间长影响更大，并且重建时间长最小硬盘数最小硬盘数4 4RAID 6RAID 6小结：小结：N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID组合级别组合级别 RAID 10 RAID 10 定义：定义：RAID 10RAID 10是将镜像和条带进行两级组合的是将镜像和条带进行两级组合的RAIDRA
46、ID级别，第一级是级别，第一级是RAID1RAID1镜像对，第二级为镜像对，第二级为RAID 0RAID 0。RAID10RAID10也是一种应用比较广泛也是一种应用比较广泛的的RAIDRAID级别。级别。 ABCDEFGHAACBBCDDEEFFGGHHN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID级别级别 RAID 10 RAID 10 优点优点高读取速率高读取速率高写速率，较校验高写速率，较校验RAIDRAID而言，写开销最小而言，写开销最小至多可以容许至多可以容许N N个硬盘同时损坏（个硬盘同时损
47、坏（2N2N个硬盘组个硬盘组成的成的RAID10RAID10阵列）阵列）缺点缺点只有只有1/21/2的硬盘利用率的硬盘利用率最小硬盘数最小硬盘数4 4RAID 10RAID 10小结：小结：N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID组合级别组合级别 RAID 0+1 RAID 0+1 ABCDEFGH定义：定义：RAID 0+1RAID 0+1是将条带和镜像进行两级组合的是将条带和镜像进行两级组合的RAIDRAID级别，第一级是级别，第一级是RAID 0RAID 0，第二级为，第二级为RAID 1RA
48、ID 1。一般来说，。一般来说，RAID 0+1RAID 0+1的失效概率要比的失效概率要比RAID 10RAID 10大，大，不过无硬盘故障下，不过无硬盘故障下，RAID 0+1RAID 0+1的读取速度要比的读取速度要比RAID 10RAID 10快快ABCDEFGHABCDEFGHN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID组合级别组合级别 RAID 50 RAID 50 P13F1定义：定义：RAID 50RAID 50是将是将RAID5RAID5和和RAID 0RAID 0进行两级组合的进行两
49、级组合的RAIDRAID级别，最低一级是级别，最低一级是RAID 5RAID 5，第二级为，第二级为RAID 0RAID 0A2P02A1A0B2B1P01B0P03C1C0P00异或运算异或运算A0B0D0E0A1C0D1F0B1C1D2P12D1D0E2E1P11E0F0P10硬盘0硬盘1硬盘2硬盘3硬盘4硬盘5异或运算异或运算N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID级别级别 RAID 50 RAID 50 优点优点比单个比单个RAID 5RAID 5容纳更多的硬盘容纳更多的硬盘比单个比单个RA
50、ID 5RAID 5有更好的读性能有更好的读性能至多可以容许至多可以容许N N个硬盘同时损坏（个硬盘同时损坏（N N个个RAID5RAID5组成的组成的RAID 50RAID 50阵列）阵列）比相同容量的单个比相同容量的单个RAID5RAID5重建时间更短重建时间更短缺点缺点比较难实现比较难实现同一个同一个RAID 5RAID 5组内的两个硬盘损坏会导致组内的两个硬盘损坏会导致整个整个RAID 50RAID 50阵列的失效阵列的失效最小硬盘数最小硬盘数6 6RAID 50RAID 50小结：小结：N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is
51、 si io on nRAID比较和选择比较和选择N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n常用常用RAIDRAID比较比较 RAID级别RAID 0RAID 1RAID 3RAID 5RAID 10RAID 0+1别名条带镜像专用奇偶位条带分布奇偶位条带镜像阵列条带条带阵列镜像容错性无有有有有有冗余类型无复制奇偶校验奇偶校验复制复制热备盘选项无有有有有有读性能高低高高一般高随机写性能高低最低低一般一般连续写性能高低低低一般一般最小硬盘数2块2块3块3块4块4块可用容量N * 单块硬盘容量，N为RAID组成员数量，一
52、般不大于16(N /2) * 单块硬盘容量， N为RAID组成员数量，一般不大于16(N -1) * 单块硬盘容量， N为RAID组成员数量，一般不大于16(N -1) * 单块硬盘容量， N为RAID组成员数量，一般不大于16(N /2) * 单块硬盘容量， N为RAID组成员数量，一般不大于16(N /2) * 单块硬盘容量， N为RAID组成员数量，一般不大于16典型应用环境迅速读写，安全性要求不高，如图形工作站等随机数据写入，安全性要求高，如服务器、数据库存储领域连续数据传输，安全性要求高，如视频编辑、大型数据库等随机数据传输，安全性要求高，如金融、数据库、存储等数据量大，安全性要求高
53、，如银行、金融等领域高性能和高安全性，如视频服务器N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n常用常用RAIDRAID选择选择 性能性能可靠性可靠性成本成本RAID0RAID6RAID5RAID10RAID1N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAID硬盘失效处理硬盘失效处理N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nRAIDRAID硬盘失效处理硬盘失效处理-热
54、备和热插拔热备和热插拔 F热备：热备：Hot SpareHot SpareF定义：当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统的正常使用的情况下，用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘，及时保证RAID系统的冗余性F全局式：备用硬盘为系统中所有的冗余RAID组共享F专用式：备用硬盘为系统中某一组冗余RAID组专用F热插拔：热插拔：Hot SwapHot SwapF定义：在不影响系统正常运转的情况下，用正常的硬盘物理替换RAID系统中失效硬盘F关键在于热插拔时电子器件的保护机制N Ne eww S St to or ra ag ge e, ,N Ne eww V
55、Vi is si io on n全局热备示例全局热备示例 该热备盘由系统中两个该热备盘由系统中两个RAIDRAID组共享，可自动顶替组共享，可自动顶替任何一个任何一个RAIDRAID中的一个失效硬盘中的一个失效硬盘磁盘1磁盘2磁盘3热备盘热备盘磁盘4磁盘5磁盘6RAID5RAID5磁盘阵列N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nAgenda了解什么是存储硬盘技术Raid技术磁盘阵列存储协议存储基础架构N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on
56、 n磁盘阵列的组成和分类磁盘阵列的组成和分类N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n磁盘阵列目前包括两种类型：第一种是以纯控制器机头+磁盘阵列柜的形式出现，控制器机头是整个磁盘阵列系统的大脑，主要部件为处理器和缓存，最先主要实现简单IO操作、RAID管理功能，随着技术发展，能够提供各种各样的数据管理功能，如快照、镜像、复制等；机头不负责数据的存储。数据都存储在磁盘柜中；磁盘柜就是包含了多块的磁盘得柜子，本身既没有处理器，也没有缓存，RAID及数据管理功能通过控制器机头实现；这种磁盘阵列系统均以中高端形象出现。例如U
57、IT的BM6800（详看下页图示）第二种形式是控制器与阵列柜一体化，目前大多数中低端磁盘阵列都是采用这种模式，这种磁盘阵列的机头不光作为整个系统的大脑也有数据存储的功能，一般可含8，12，16，24，32盘位，当然，再扩展就只需购买纯粹的不含控制器扩展柜即可。例如UIT的BM2900，BS2000e，BS3000e什么是磁盘阵列什么是磁盘阵列N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n常见磁盘阵列常见磁盘阵列UIT BM6800UIT BM6800UIT BM6800UIT BM6800机头机头其余均为其余均为BM68
58、00BM6800扩展柜扩展柜UIT BS2000eUIT BS2000eUIT BS3000eUIT BS3000eUIT BM2900UIT BM2900N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n常见磁盘阵列分类常见磁盘阵列分类F按控制器数量FJBOD：无控制器，通常用于扩展柜或者与主机端RAID结合使用F双控制器阵列：如BM2900,BS3000eF多控制器阵列：目前我公司没有这种产品F按对外接口FSCSI阵列FFC阵列FiSCSI阵列F上图两个红框 内为BM2900 2个控制器示意图，两个控制器的内部结构和功能
59、完全一样，一主一备作为冗余。N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n阵列控制器内部结构阵列控制器内部结构主机通道主机通道缓存缓存(Cache)(Cache)处理器处理器处理器处理器磁盘通道磁盘通道专用存储架构专用存储架构主机通道主机通道系统缓存系统缓存处理器处理器磁盘通道磁盘通道数据缓存数据缓存注：缓存电池、注：缓存电池、RAIDRAID 控制器可选设计控制器可选设计处理器、缓存、接口速率处理器、缓存、接口速率是决定控制器性能的关是决定控制器性能的关键硬件组件键硬件组件主机通道主机通道控制器缓存控制器缓存(Cach
60、e)(Cache)CPUCPUCPUCPU磁盘通道磁盘通道RAIDRAID12/1612/16磁盘位磁盘位服务器架构服务器架构独特的一体化设计独特的一体化设计整机软硬件一体化整机软硬件一体化设计设计处理器处理器专用存储架构专用存储架构N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n阵列控制器缓存阵列控制器缓存N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n控制器缓存工作模式控制器缓存工作模式前端总线系统缓存CPUCPU后端总线读缓存写缓存前端总线系统缓
61、存CPUCPU后端总线读缓存 写缓存主机写入主机写入数据流数据流反馈反馈写写OKOKWrite-backWrite-back回写回写主机写入主机写入数据流数据流反馈反馈写写OKOKWrite-throughWrite-through直写直写磁盘N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n控制器的缓存保护技术控制器的缓存保护技术FCFC或或IP(GE)IP(GE)缓存缓存(Cache)(Cache)CPUCPUCPUCPU后端总线后端总线磁盘磁盘FCFC或或IP(GE)IP(GE)缓存缓存(Cache)(Cache)CP
62、UCPUCPUCPU后端总线后端总线CacheCache电池电池FCFC或或IP(GE)IP(GE)缓存缓存(Cache)(Cache)CPUCPUCPUCPU后端总线后端总线阵列内置阵列内置UPSUPS三种常见控制器三种常见控制器CacheCache保护设计保护设计cachecache电池保护电池保护内置内置UPSUPS保护保护外置外置UPSUPS保护保护阵列外置阵列外置UPSUPSN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n控制器缓存镜像控制器缓存镜像前端总线系统缓存CPUCPU后端总线读缓存写缓存前端总线系统缓存
63、CPUCPU后端总线读缓存写缓存1、主机数据写入缓存；2、缓存数据进行异或运算，产生校验数据；N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n控制器缓存镜像控制器缓存镜像前端总线系统缓存CPUCPU后端总线读缓存写缓存前端总线系统缓存CPUCPU后端总线读缓存写缓存1、主机数据写入缓存；2、缓存数据进行异或运算，产生校验数据；3、将校验数据添加到缓存；N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n控制器缓存镜像控制器缓存镜像前端总线系统缓存CPUCP
64、U后端总线读缓存写缓存前端总线系统缓存CPUCPU后端总线读缓存写缓存1、主机数据写入缓存；2、缓存数据进行异或运算，产生校验数据；3、将校验数据添加到缓存；4、将缓存数据复制到目标控制器；5、目标控制器处理完数据和校验数据返回消息；6、源控制器返回主机消息，操作完毕。OKOKN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nAgenda了解什么是存储硬盘技术Raid技术磁盘阵列存储协议存储基础架构N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n各种存储
65、协议简介各种存储协议简介N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n主机适配器SCSIID7SCSISCSI总线总线SCSI阵列阵列ID0SCSI阵列阵列ID5LUN 0LUN 0LUN 1LUN 1LUN 2LUN 2LUN 0LUN 0LUN 1LUN 1数据/地址总线控制信号常见SCSI接口有50、68、80针SCSISCSI（Small Computer System InterfaceSmall Computer System Interface，小型计算机系统接口）是，小型计算机系统接口）是一种为小型机研制
66、的接口技术，用于主机与外部设备之间的连接。一种为小型机研制的接口技术，用于主机与外部设备之间的连接。SCSI SCSI 的定义的定义N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nSCSI-3SCSI-3是所有存储协议的基础，其它存储协议都用到是所有存储协议的基础，其它存储协议都用到SCSISCSI的指令集的指令集lSCSI-1SCSI-11986年ANSI标准，采纳了SASI接口（1979）；定义了硬盘、磁带和其它存储设备的物理接口、传输协议和标准指令集；lSCSI-2SCSI-21994年ANSI标准，SCSI-1的后
67、续接口；提高了速度和总线带宽，支持多线程指令，增加了更多存储设备类型指令集；lSCSI-3SCSI-3更高的速度类型：Ultra-2/Ultra-160/Ultra-320；物理接口、传输协议和SCSI指令集分层。SCSI SCSI 历史历史N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nSCSISCSI架构模型架构模型特定设备指令集：包括磁盘设备的“SCSI块指令(SCSI Block Commands)”等基础指令集：所有SCSI设备都必须实现的“基础指令(SCSI Primary Commands)”SCSI传输协议
68、：譬如iSCSI，FCP物理连接：譬如光纤通道，internet架构模型：定义了SCSI系统模型和各单元的功能分工特定设备指令集特定设备指令集基础指令集基础指令集SCSISCSI传输协议传输协议物理连接物理连接架架构构模模型型N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nSCSI SCSI 标准框架标准框架BlockCommands(e.g.,diskdrive)(SBC,SBC-2) ReducedBlockCommands(e.g.,diskdrive)(RBC) StreamCommands(e.g.,tapedr
69、ive)(SSC,SSC-2,SSC-3) MediaChangerCommands(e.g.,jukebox)(SMC,SMC-2) Multi-MediaCommands(e.g.,DVD)(MMC,MMC-2,MMC-3,MMC-4)ControllerCommands(e.g.,RAID)(SCC-2)Object-BasedStorageDevice(OSD)ManagementServerCommands(MSC)PrimaryCommands(foralldevices)(SPC,SPC-2,SPC-3)ArchitectureModel(SAM,SAM-2,SAM-3)SCSI
70、ParallelInterface(SPI-2,SPI-3,SPI-4,SPI-5Relatedstandardsandtechnicalreports(SDV,PIP,SSM,SSM-2,EPI)SerialBusProtocol(SBP-2,SBP-3)IEEE1394FibreChannelProtocol(FCP,FCP-2,FCP-3)FibreChannel(FC)SSASCSI-3Protocol(SSA-S3P)SSA-TL2SSA-PH1orSSA-PH2SCSIRDMAProtocol(SRP,SRP-2)InfiniBand(tm)iSCSIInternetSerialA
71、ttachedSCSI(SAS,SAS-1.1)EnclosureServices(SES,SES-2)特定设备指令集特定设备指令集共享指令集共享指令集架构模型架构模型传输协议传输协议物理接口物理接口N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nSCSI-3SCSI-3物理接口物理接口SCSI-3ClassDriver(TapeDeviceDriver) SCSI-3ClassDriver(DiskDeviceDriver) Interface-IndependentSoftwareProgrammingInterfac
72、e(MiniportInterface,CAM,ASPI,IO)SCSI-3FCPPortDriverSCSI-3ParallelPortDriveriSCSIIPPortDriverSASPortDriverSCSISerialBusProtocol(SBP-2)PortDriverFibreChannelPortSCSIParallelPortEthernetPortSASSerialPortIEEE-1394(Firewire)PortFibreChannelPhysicalI/FSCSIBUSFast/Wide/Ultra/etc.EthernetSerialAttachedSCSIP
73、hysicalI/FFireWirePhysicalI/FInitiatorI/OSystem物理接口物理接口N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nSCSI应用应用SCSI传输协议传输协议SCSI物理连接物理连接SCSI应用应用SCSI传输协议传输协议SCSI物理连接物理连接Initiator Initiator 设备设备Target Target 设备设备互连协议应用协议传输协议传输服务接口互连服务接口应用层应用层传输协议层传输协议层互连层互连层SCSISCSI发起端发起端- -目标器模型目标器模型N Ne e
74、ww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n 特特 点点描描 述述优优点点与主机无关与主机无关工作在逻辑层而不是在设备层：工作在逻辑层而不是在设备层：支持数据块类型的逻辑地址；支持数据块类型的逻辑地址；数据以字节为单位进行传送；数据以字节为单位进行传送；采用通用指令集取代了专用的控制线采用通用指令集取代了专用的控制线多设备并行多设备并行具有总线仲裁、设备选择功能，设备与设备、设备与主机之间是一种具有总线仲裁、设备选择功能，设备与设备、设备与主机之间是一种双向对等关系，不是主从关系；双向对等关系，不是主从关系；对多任务操作系统如对多
75、任务操作系统如UnixUnix、LinuxLinux、Windows Windows ，可以获得更高性能，可以获得更高性能高带宽高带宽目前最快可以提供目前最快可以提供320MB/s320MB/s的带宽的带宽低系统开销低系统开销具有独立处理芯片，占用具有独立处理芯片，占用CPUCPU资源的比例相当小资源的比例相当小缺缺点点单单I/OI/O控制器控制器两个和多个两个和多个I/OI/O控制器无法共享一条控制器无法共享一条SCSISCSI总线，不能实现多链路聚合，总线，不能实现多链路聚合，存在单一故障点存在单一故障点地址短缺地址短缺SCSISCSI总线地址只有总线地址只有8 8或或1616个，无法接入
76、更多的设备个，无法接入更多的设备传输距离短传输距离短单端单端SCSISCSI传输距离传输距离6 6米，差分米，差分SCSISCSI传输距离传输距离2525米。所有连接设备只能放米。所有连接设备只能放在统一地点在统一地点SCSISCSI的特点的特点N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nSCSISCSI允许连接设备数量较少允许连接设备数量较少SCSISCSI连接设备距离非常有限连接设备距离非常有限 基于网络的基于网络的SCSISCSIFC SANFC SANIP SANIP SANFCPFCPiSCSIiSCSI如何
77、解决如何解决基于网络的基于网络的SCSISCSIN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nFC-1FC-1代码层代码层FC-0FC-0物理层物理层FC-2FC-2协议层协议层FC-3FC-3服务层服务层FC-4FC-4映射层映射层IPI3IPI3SCSISCSIHIPPIHIPPIIPIPSBCCSSBCCS802.2802.2ATMATM通道通道网络网络光纤通道是构建FC SAN的基础，是FC SAN系统的硬件接口和通信接口。FC可以通过构建帧来传输SCSI的指令、数据和状态信息单元。FCFC（光纤通道）（光纤通道
78、）N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nFCFC的三种拓扑结构的三种拓扑结构点对点点对点只能连接只能连接2个设备个设备(直接连接直接连接)交换式交换式Fabric最多支持最多支持1千千6百万个设备百万个设备(光纤通道交换机光纤通道交换机)ArbitratedLoop(仲裁环仲裁环)最多支持最多支持126个设备个设备(光纤集线器光纤集线器)普及普及!N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nFabric节点N_PortF_PortF_Po
79、rtE_PortE_PortFL_Port节点N_Port交换机交换机2交换机交换机1节点NL_Port节点NL_PortG_PortFCFC端口类型端口类型服务器或存储设备：服务器或存储设备：N N端口端口NLNL端口端口FCFC交换机：交换机：F F端口端口FLFL端口端口E E端口端口G G端口端口N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nFCFC特点特点不足不足构建维护成本高，时间长互操作性不强，FC协议具体实现上各个厂商有所不同FC SAN缺少统一管理标准FC理论上最长传输距离10公里左右，在互联网存储应用
80、中会形成信息孤岛优势优势连接设备比SCSI多高带宽，低时延实现光纤和铜缆的无缝连接连接距离远远超出并行SCSI存储设备N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nSCSI应用（文件系统、数据库）应用（文件系统、数据库）SCSI块指令块指令SCSI流指令流指令其他其他SCSI指令指令SCSISCSI指令、数据和状态指令、数据和状态iSCSI TCPIP以太网等以太网等iSCSIiSCSI协议栈协议栈liSCSI （Internet SCSI）把SCSI命令和块状数据封装在TCP中在IP网络中传输liSCSI 作为SCSI
81、的传输层协议，基本出发点是利用成熟的IP网络技术来实现和延伸SANiSCSIiSCSIN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on niSCSI iSCSI 发起端发起端- -目标器模型目标器模型l发起端（Initiator）SCSI层负责生成CDB（命令描述符块），将CDB传给iSCSIiSCSI层负责生成iSCSI PDU（协议数据单元），并通过IP网络将PDU发给targetl目标器（Target）iSCSI层收到PDU，将CDB传给SCSI层SCSI层负责解释CDB的意义。必要时发送响应iSCSITCPSCSIIP
82、LinkiSCSITCPSCSIIPLinkInitiatorTargetN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on niSCSIiSCSI的报文格式的报文格式以太网头(14)IP头(20)TCP头(20)iSCSI（TCP数据）FCS源端口目的端口序列号确认号首部长度保留A P R SF窗口大小校验和紧急指针基本报头段(BHS，48字节)附加报头段（若有）头部校验（若有）数据段（若有）数据校验（若有）UN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on
83、niSCSIiSCSI优点优点高可靠高可靠高扩展高扩展良好的标准化良好的标准化易管理，易管理，IPIP技术成熟，具备技术成熟，具备IPIP知识的专业技术人员多知识的专业技术人员多很低的安装成本和维护费用：建立在很低的安装成本和维护费用：建立在TCP/IPTCP/IP上上减少了异构网络和电缆：不需要特殊的减少了异构网络和电缆：不需要特殊的FCFC交换机交换机无距离限制，远程存储：异地数据交换、备份及容灾无距离限制，远程存储：异地数据交换、备份及容灾灵活的安全性和灵活的安全性和QoSQoS保证保证N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is s
84、i io on nF FC C S SA A N N 孤孤 岛岛 如如 何何 连连 接接 ，并并跨跨越越 W WA AN N通过通过IP IP 网络网络 隧道方案隧道方案 FCP FCP 路由方案路由方案FCIPFCIPiFCPiFCPFC SANFC SAN的连接的连接N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nl应用场合两个FC SAN孤岛通过IP连接成一个大的FC SANl特点基于IP的FC隧道协议，将FC帧封装在TCP/IP上FCIP连接对IP网络是透明的，整个传输中只有FCIP网关需要知道FCIP的封装FCI
85、PFCIP报文报文IP头TCP头TCP数据FCSSOFFC帧头SCSI数据CRC EOFFCIP头封装FCIP FCIP （FC over IPFC over IP）N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nl应用场合光纤通道设备（无FC交换机）将该设备直接连接到IP网络上l特点FC消息和路由服务在iFCP网关处终结。网关将每个FC地址映射到一个IP地址具有故障隔离功能部署时需要iSNS服务器（通常集成在iFCP网关上）iFCPiFCP报文报文IP头TCP头FCSSOFFC帧头SCSI数据CRC EOFiFCP头映射
86、FCFC地址映射到地址映射到IPIP地址地址iFCP (Internet FC)iFCP (Internet FC)N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nFCIPFCIP、iFCPiFCP、iSCSIiSCSI比较比较N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nEthernetEthernet头头IPIP头头 TCPTCPFCIPFCIP头头S SO OF FFCFC帧头帧头Payload: SCSI Command in IUPaylo
87、ad: SCSI Command in IUC CR RC CE EO OF FF FC CS SFCIPFCIPS SO OF FFCFC帧头帧头Payload: SCSI Command in IUPayload: SCSI Command in IUC CR RC CE EO OF FSCSI- FCPSCSI- FCPEthernetEthernet头头IPIP头头 TCPTCPiFCPiFCP头头S SO OF FFCFC帧头帧头Payload: SCSI Command in IUPayload: SCSI Command in IUC CR RC CE EO OF FF FC C
88、S SiFCPiFCPEthernetEthernet头头IPIP头头 TCPTCPiSCSIiSCSI头头FCFC帧头帧头Payload: SCSI Command in IUPayload: SCSI Command in IUF FC CS SiSCSIiSCSI几种存储协议报文结构比较几种存储协议报文结构比较N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n iSNS，即Internet存储名称服务，将光纤通道的即插即用功能引入到IP存储网络中，可以容易地在TCP/IP网络上实现iSCSI和光纤通道设备的自动发现、管
89、理和配置。存储资源发现存储资源发现发现域和登录控制服务发现域和登录控制服务状态变化通知服务状态变化通知服务光纤通道和光纤通道和 iSCSI iSCSI 设备开放映射设备开放映射iSNS主要功能iSNS协议协议iSNSiSNS客户机客户机iSNSiSNS服务器服务器iSNSiSNS数据库数据库iSNS组成结构iSNSiSNSN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n其其它它存存储储协协议议InfiniBandInfiniBandAoEAoE 其它存储协议其它存储协议N Ne eww S St to or ra ag g
90、e e, ,N Ne eww V Vi is si io on nInfiniBandInfiniBand诞生背景诞生背景传统的集群系统以计算节点为核心，性能差，结构复杂，扩展能力差需要一种开放、高带宽、低延迟、高可靠以及满足集群无限扩展能力的以交换为核心的体系架构InfiniBandInfiniBand 应运而生应运而生磁带库磁带库FC FC 磁盘阵列磁盘阵列以太网交换机以太网交换机管理管理LANLAN服务器集群服务器集群InfiniBandInfiniBand交换机交换机光纤通道交换机光纤通道交换机磁带库磁带库以太网交换机以太网交换机管理管理LANLAN服务器集群服务器集群FC FC 磁盘
91、阵列磁盘阵列N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nInfiniBandInfiniBand发展历程：两次浪潮发展历程：两次浪潮19991999首次提出首次提出20042004年调整定位年调整定位l得到主流服务器生产链上厂商的一致追捧 ，但由于协议、软件支持、最初定位问题等，导致应用受到限制，包括Intel等厂商一度撤出投资l调整定位于存储网络、计算网络的应用，软件方面成立开源的OpenIB组织，甚至推出了IP over InfiniBand的协议转换，InfiniBand又开始得到欢迎N Ne eww S St
92、to or ra ag ge e, ,N Ne eww V Vi is si io on nInfiniBandInfiniBand体系架构体系架构lInfiniBandInfiniBand标准定义了一套用标准定义了一套用于系统通信的多种设备，包括于系统通信的多种设备，包括信道适配器、交换机和路由器信道适配器、交换机和路由器l信道适配器用于同其它设备的信道适配器用于同其它设备的连接，包括主机信道适配器连接，包括主机信道适配器（HCAHCA）和目标信道适配器）和目标信道适配器（TCATCA）l交换机是交换机是 InfiniBandInfiniBand结构中的结构中的基本组件基本组件l点到点的交换
93、结构：解决了共点到点的交换结构：解决了共享总线、容错性和可扩展性问享总线、容错性和可扩展性问题题l具有物理层低功耗特点和箱外具有物理层低功耗特点和箱外带宽连接能力带宽连接能力CPUCPU链路链路网络网络链路链路链路链路链路链路链路链路目标目标TCATCA交换机交换机内存内存控制器控制器系统系统内存内存主机内部互联主机内部互联CPUCPUTCATCA目标目标HCAHCAxCAxCA路由器路由器xCAxCA路由器路由器CPUCPUxCAxCA= HCA = HCA 或或TCATCAN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on
94、nInfiniBandInfiniBand协议分层结构协议分层结构物理层：定义了多种物理层：定义了多种速率的速率的连接，目前已有连接，目前已有产品信号传输速率最高达产品信号传输速率最高达60Gb/ s60Gb/ s链路层链路层：链路层与传输层处在链路层与传输层处在 IBAIBA的核心位的核心位置置。提供。提供了局部子系统中的信息包设计、了局部子系统中的信息包设计、点到点连接操作以及包交换点到点连接操作以及包交换等功能等功能网络层：提供网络层：提供了信息包从一个子结构到另外了信息包从一个子结构到另外一个子结构的一个子结构的路由机制路由机制传输传输层层：传输层主要负责信息包的按序分发、：传输层主要
95、负责信息包的按序分发、分割、通道多路技术以及传输服务等；分割、通道多路技术以及传输服务等；也也负责处理数据包分段的发送、接收负责处理数据包分段的发送、接收和和重组重组物理层物理层链路层网络层网络层传输层传输层应用层应用层5 5层结构层结构N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nl基于标准的协议由InfiniBand Trade Association共同设计了该开放标准l高速度目前Infiniband主流技术为DDR技术，所支持的吞吐量为5、20或60Gbps。下一代采用QDR，带宽最高可达120Gbps l远程直
96、接内存存取功能该功能对于集群来说很适合，因为它可以通过一个虚拟的寻址方案，让服务器知道和使用其他服务器的部分内存，无需涉及操作系统的内核。 l传输卸载远程直接内存存取能够帮助传输卸载，后者把数据包路由从OS转到芯片级，节省了处理器的处理负担InfiniBandInfiniBand的特点的特点N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nAoEAoEATA-Over-Ethernet：利用标准的以太网传输ATA磁盘命令。目前主要处于实验应用阶段，未商业化。只需要三层协议栈优势：l存储费用低廉l传输效率比较高不足：l安全性差
97、l只能在LAN环境内使用，没有路由能力PHYPHYEthernetEthernetAoEAoEIPIPTCPTCPN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n从从FCFC到到FCoEFCoEMACMACFCoEFCoE Mapping MappingFC-2FC-2FC-3FC-3FC-4FC-4FC-0FC-0（物理接口）（物理接口）FC-1FC-1（编码）（编码）FC-2FC-2（数据分发）（数据分发）FC-3FC-3（通用服务）（通用服务）FC-4FC-4（高层协议映射）（高层协议映射）PHYPHYFCFC协议层
98、协议层（无改变）（无改变）IEEE 802.3IEEE 802.3（EthernetEthernet）从从FCFC到到FCoEFCoE没有质变！没有质变！N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nSCSISCSI协议协议FCFC协议协议iSCSIiSCSI协议协议AOEAOE协议协议InfinibandInfiniband协议协议接口技术接口技术SCSI光纤通道IPIPInfiniband接口类型接口类型并行串行串行并行串行适配器适配器SCSI卡FC HBAiSCSI HBA或以太网卡以太网卡HCA(主机端）TCA（
99、目标端）目前最大速目前最大速率率320MB/s4Gb/s10Gb/s1Gb/s60Gb/s管理管理简单复杂简单简单简单兼容性兼容性好差好好较好存储协议的比较存储协议的比较N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on niSCSIiSCSI协议是存储未来的发展之路协议是存储未来的发展之路IPIP存储解决诸多难题存储解决诸多难题远程远程没有距离的限制，广域存储技术没有距离的限制，广域存储技术降低了系统的部署成本，管理成本降低了系统的部署成本，管理成本成本成本管理管理代表存储发展的未来。解决兼容性、统一管理代表存储发展的未来。解
100、决兼容性、统一管理的问题。的问题。标准化标准化易于管理易于管理N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nAgenda了解什么是存储硬盘技术Raid技术磁盘阵列存储协议存储基础架构N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n存储的基础架构存储的基础架构Storage Area Storage Area Networks (SAN)Networks (SAN)文件系统文件系统存储存储RAIDRAID（JBODJBOD）应用系统应用系统网络网络文件
101、系统文件系统存储存储RAIDRAID（JBODJBOD）应用系统应用系统网络网络Network- AttachedNetwork- Attached Storage (NAS)Storage (NAS)Direct- AttachedDirect- Attached Storage (DAS)Storage (DAS)存储存储JBODJBOD应用系统应用系统RAIDRAID文件系统文件系统N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nDASDASDAS介绍介绍:存储直接连接到一台服务器上SCSI, SAS, FC, iS
102、CSI等 块级别 I/O内部磁盘可以具备或不具备RAID保护外部磁盘存储系统基于控制器的RAID引擎特点特点:传统部署存储的方式存储管理通过各自连接的主机进行其它主机访问存储必须通过LAN共享LAN直接附加内置存储磁带库JBODJBODSCSIFCSCSIFCRAIDRAIDDAS的缺点：的缺点：每台服务器都有其自己的存储部件 ($)管理困难降低了生产效率备份很昂贵浪费的存储空间难于共享数据N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nNASNAS提供网络文件共享功能 支持的协议包括 CIFS, NFS异构平台文件数据的
103、共享安装和使用较简单LAN网络服务网络服务(TCP/IP)卷管理卷管理文件系统文件系统CIFS/NFSRAID控制器控制器disks管理NASN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nNAS的优缺点的优缺点优点优点提升目前的网络基础架构适用异构的数据共享环境安装与维护相对比较简单本身 OS 许可和文件锁维护 缺点缺点一个单独的NAS服务器会导致I/O瓶颈 性能惩罚N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nSANSAN计算（主机）、传输（交换
104、机）、存储（计算（主机）、传输（交换机）、存储（RAID/TapeRAID/Tape）分离）分离主机可以访问任何存储设备，存储设备之间可以互访主机可以访问任何存储设备，存储设备之间可以互访主机、存储设备可以独立扩展主机、存储设备可以独立扩展SAN磁带库存储阵列存储阵列LANN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nSANSAN的优点的优点高带宽适应快速的增长传输非常大的数据块提供对局域网性能不造成影响的存储应用，例如Lan Free备份和远程镜像非常优秀的性能, 可靠性和灵活的连接方式N Ne eww S St to
105、 or ra ag ge e, ,N Ne eww V Vi is si io on nFC-SANFC-SANIP-SANIP-SANServerInitiator HBAFC SwitchTarget DevicesTargetHBAServerInitiator HBATarget DevicesTargetHBAGig SwitchiSCSIFiber ChannelFibreChannelEthernet什么是什么是IP SAN？IP SAN是采用是采用iSCSI协议构建的协议构建的SAN存储区域网：存储区域网：优点：低成本（部署，管理，培训，维护，服务器端存储软件免费）iSCSI协
106、议本身没有距离限制灵活的拓扑结构易于使用和扩展，即使是多个厂家的设备10Gb时代很快到来（iSCSI通道速率将超过FC）N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nDASDAS、NASNAS、SANSAN剖析剖析 主机主机DASFC SAN应用应用文件文件/ /操作系统操作系统I/O I/O 重定向器重定向器TCP/IP TCP/IP 协议栈协议栈NFS/CIFSNFS/CIFS网络接口卡网络接口卡 主机主机文件处理文件处理 I/ONAS IP Network网络接口卡网络接口卡TCP/IP TCP/IP 协议栈协议栈
107、NFS/CIFS文件系统文件系统+ + 逻辑卷管理器逻辑卷管理器数据管理系统数据管理系统RAIDRAID块处理块处理 I/OI/O设备驱动设备驱动应用应用逻辑卷管理器逻辑卷管理器 裸卷裸卷SCSI SCSI 设备驱动设备驱动块处理块处理 I/OIP SAN应用应用逻辑卷管理器逻辑卷管理器 裸卷裸卷iSCSI LayeriSCSI LayerTCP/IP StackTCP/IP Stack网络接口卡网络接口卡 主机主机块处理块处理 I/O块处理块处理 I/O IP Network FC Network网络接口卡网络接口卡TCP/IPTCP/IP协议栈协议栈数据管理系统数据管理系统RAIDRAID
108、块处理块处理 I/OI/OFCFC总线卡总线卡FCFC协议栈协议栈数据管理系统数据管理系统RAIDRAID块处理块处理 I/OI/O应用应用逻辑卷管理器逻辑卷管理器 裸卷裸卷SCSI SCSI 设备驱动设备驱动FCFC协议栈协议栈FCFC总线卡总线卡设备驱动设备驱动设备驱动设备驱动SCSI SCSI 设备驱动设备驱动 主机主机文件文件/ /操作系统操作系统数据库数据库文件文件/ /操作系统操作系统数据库数据库文件文件/ /操作系统操作系统数据库数据库RAIDRAIDSCSI/FC SCSI/FC 总线卡总线卡N Ne eww S St to or ra ag ge e, ,N Ne eww V
109、 Vi is si io on nFC SANFC SAN和和IP SANIP SAN组网对比组网对比TOE HBA卡 竖主机主机主机主机FC HBAFC HBAFC FC HBAHBAFCFC交换机交换机FCFC阵列阵列NIC/TOENIC/TOEiSCSI iSCSI HBAHBA主机主机IPIP交换机交换机iSCSIiSCSI阵列阵列主机主机软件软件InitatoriSCSIMPIO光纤网线IPSAN可用光纤连接N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nFC SANFC SAN和和IP SANIP SAN采购投
110、资对比采购投资对比TOE HBA卡 竖主机主机主机主机FC HBAFC HBAFC FC HBAHBAFCFC交换机交换机FCFC阵列阵列NIC/TOENIC/TOEiSCSI iSCSI HBAHBA主机主机IPIP交换机交换机iSCSIiSCSI阵列阵列主机主机软件软件InitatoriSCSIMPIO光纤网线免费！免费！N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nFC SANFC SAN和和IP SANIP SAN后期维护成本后期维护成本TOE HBA卡 竖主机主机主机主机FC HBAFC HBAFC FC HB
111、AHBAFCFC交换机交换机FCFC阵列阵列NIC/TOENIC/TOEiSCSI iSCSI HBAHBA主机主机IPIP交换机交换机iSCSIiSCSI阵列阵列光纤网线FC SANFC SAN运维管理运维管理主机主机软件软件InitiatoriSCSIMPION Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on 联系方式联系方式N Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on nQ&AN Ne eww S St to or ra ag ge e, ,N Ne eww V Vi is si io on n谢谢 谢！谢！
