《分布式共享存储系统分类》由会员分享，可在线阅读，更多相关《分布式共享存储系统分类（6页珍藏版）》请在金锄头文库上搜索。
1、四、分布式共享存储系统分类为了得到编程简易性、低功耗性和可扩展性，分布式共享存储系统在物理分布的主存上实施共享主存模型。因为DSM的共享地址空间分布在本地主存中，查找时必须对这些数据做访问，以决定是否需要的数据在本地主存中。如果不在，系统必须获取数据到本地存储器中。系统还必须以一个写访问来保持共享数据的一致性。以上操作都能在软件、硬件和软硬件结合系统上实施。所以根据可以将DSM系统分为三类：硬件DSM系统、软件DSM系统、软硬件结合DSM系统211。41 硬件DSM系统硬件DSM系统能确保本地主存和处理器caches共享数据的自动复制。这种方式能有效的支持细粒度共享。硬件DSM系统采用专门的硬
2、件在由高速互连网络连接的松散耦合系统上实现共享数据的分布、复制、移动以及一致性的维护。由于有专门的硬件来执行，所以在硬件DSM系统中数据的移动和一致性维护所带来的开销比软件DSM系统小得多，因而系统性能较高。但是，硬件实现的复杂性使得在硬件DSM系统中一些先进的一致性维护技术和减少访存延迟的方法很难实现。而且硬件DSM系统的造价较高，因此硬件DSM系统适合于性能大于成本的大型计算机系统。硬件DSM系统根据存储系统结构，硬件DSM系统中有三类尤其引起注意2：高速缓存不统一的存储结构（CC-NUMA）Cache只读的存储结构（COMA）沉思型的存储系统（RMS）4.1.1 高速缓存不统一的存储结构
3、（CC-NUMA）CC-NUMA系统静态地在本地集群主存分布共享虚拟主存地址空间，如图4.1所示，本地处理器和远节点处理器都能访问，但是会有不同的访问延时。这种DSM机制依靠从全映射到不同动态结构的不同地址目录，如单独或双向链表和树。主要目的是通过减少地址目录存储得到高性能和好的扩展性。为了最小化延时，数据的静态划分需要注意，以得到最大的本地访问频率。性能指示器同样很依赖互联技术。无效机制被用来提供一致性，而有些放松的存储一致性模型可以作为提供性能的来源。典型的CC-NUMA系统有：Memnet，Dash和SCI11。图4.1 CC-NUMA结构框图主存作为网络抽象（Memnet）是最早的一种
4、硬件DSM系统，它提供了共享存储器抽象和严格的一致性语义。该系统的主要目的是通过消息传递避免内部处理器之间的互联通信消耗，以及在没有内核操作系统的干预下为应用软件提供共享存储的抽象。该系统通过一个本地总线双通道存储控制器和一个环形接口来提供一致性技术。当本地主存缺失时，Memnet将发送一个正确的消息在环形中流通，环中每一个Memnet都检查该消息。最近的具有有效副本的集群通过插入有效数据在消息中来满足需求。对于不是单一副本的写请求将发送一个消息来使其它共享副本无效。DASH全称目录结构的共享主存，它是一种可扩展集群多处理器结构通过应用基于目录的硬件DSM系统机制。其中每四个处理器集群包括了一
5、个等同的全系统共享主存和相应的目录入口。每一个处理器有两级高速缓存，允许其它集群主存以16byte的模块复制迁移。通过基于全映射目录技术来一致性保持，这个主存模块可处于三个状态：uncached、cached、dirty。采用释放一致性模型来提高性能和主存访问优化。并且该系统支持同步操作。SCI系统全称可扩展的一致性界面，该系统类似DASH，远处主存的数据能存储在本地cache中。SCI标准提供了1Gbyte/s的通信带宽，采用点对点的单向连接。低消耗的SCI系统采用环形连接。SCI中的目录指针存储数量很自然的随着系统大小增长，以获得高的可扩展性。SCI中提出了各种技术以减小延时和支持额外功能
6、。4.1.2 COMA系统COMA系统结构（如图4.2所示）采用是本地集群主存作为虚拟共享地址空间数据模块的大型高速缓存。在COMA结构中，所有共享存储单元在系统中不存在一个固定的位置，可以在各个局部存储器中“漂移”，就好像系统中只有Cache存储器一样，这些Cache组成了一个抽象的全局存储器。典型的COMA系统有KSR1、DDM11。图4.2 COMA系统结构图KSR1结构中的互联网络为多层环状网络，采用顺序一致性模型，粒度为128个字节。DDM结构同样互联网络为多层网络结构，采用顺序一致性模型，但是其粒度为16个字节。4.1.3 沉思型的存储系统（RMS）沉思型的存储系统（RMS）数据采
7、用细粒度，允许硬件执行升级机制。系统中的全局共享地址空间被置于本地存储的段之外，通过可编程的映射表格映射到这个区域内，如图所示。该部分共享空间被选择性的复制到不同的集群中。系统采用的算法是基于全复制的MEMW算法。典型的RMS系统有Merlin11。merlin全称Memory Routed, Logical Interconnection Network，该系统采用Mesh技术互联，具有较小的主存共享访问延时。采用处理器一致性模型，一致性协议为写更新，粒度为8个字节。图4.3 RMS系统结构图4.1.4、轻量的硬件DSM系统12目前由于懒惰释放一致性模型和优化的编译器支持，软件系统的性能得到
8、了很到的提高，硬件DSM系统失去了它的优势。虽然可以通过精致的一致性技术来弥补，但是这种结构有着高消耗和较长发展时间等缺点。所以设计一个有效、费用低的硬件DSM系统很重要。轻量的硬件DSM系统不需要大量的地址目录存储空间，也不需要专为标志位提供一个高速主存。唯一额外需要的是为主存控制器和互联网的开关节点增加少量的硬件逻辑。42 软件DSM系统软件DSM系统是在已有的分布式存储系统上实现一个共享存储的软件环境，将系统底层的消息传递机制掩盖起来，使用户可以在其上进行共享存储程序设计。软件DSM系统的实现方式是多样的，它可以在操作系统一级上实现，也可以通过运行库来支持，还可以用编译系统来实现，甚至可
9、以是一种程序设计语言。也有很多系统将多种方式结合起来共同实现分布式共享存储机制。与硬件DSM系统相比，软件DSM系统的粒度一般要大得多，因为在软件DSM系统中通信的开销较大，而细粒度必然引起大量的处理机间通信。很多软件DSM系统利用系统的虚拟存储机制来实现共享存储系统，在这样的系统中，粒度一般就是虚存中的一个页面，通常是几K字节.较大的粒度可以减少通信的开销，减小维护一致性所需的目录的容量;但另一方面，也会使“假共享”问题更为严重.另有一些系统，其粒度不是固定的.在这些系统中，共享存储空间是直接以变量类型来组织的，或是将数据组织成对象(Object)，其一致性维护也是以变量或对象为单元来进行的
10、。软件DSM系统的实现要比硬件DSM系统灵活得多，它可以实现某些更为放松的一致性模型，如数据项一致性模型，也可以采用一些复杂的一致性维护策略来提高系统的性能。但是在性能方面，软件DSM系统完全不能与硬件DSM系统相比。软件DSM实例系统有IVY、Munin、TreadMarks、Midway等111314。4.2.1 IVY系统在IVY系统中，进程的地址空间被分为两部分：私有部分和共享部分。私有部分只可被其所属的进程访问。各个进程的共享部分组成了一个虚拟的共享存储空间。每个处理机结点上的实际物理存储地址和虚拟共享存储地址间的映射由存储映射模块来完成。存储映射模块把各个结点的物理存储器当作虚拟共
11、享存储空间的Cache，负责维护共享数据的一致性。IVY系统采用顺序一致性模型和写无效协议来维护共享数据的一致性。每个存储页面的状态可以是“只读”、“可写”或“无效”。当某一处理机要对一页面进行写操作时，该页面在系统中所有其它的备份都要变成无效的。4.2.2 Munin系统在Munin中，一致性维护的单元是不同类型的变量。程序设计者在定义变量时，须声明该变量是私有变量，还是共享变量，或是同步变量。对于共享变量，还应说明其所期望的访问类型，其类型可以是以下四种之一：Read-only，Migratory，Write-shared和Conventional。系统将根据共享变量的访问类型采用相应的一
12、致性维护策略。结合释放一致性模型，Munin中还采用了延迟更新（Delayed Update）策略.它可以将多个改动信息结合在一起，在某一时刻(如释放操作时)一同传播给其它处理机。4.2.3 TreadMarks系统TreadMarks是第一个准商业化的软件DSM系统。它是一个完全由运行库来实现的系统，不需要对操作系统进行修改，也不需要特殊的编译系统。TreadMarks可以在普通的Unix系统上实现，可以用多种硬件平台来支持，具有较好的可移植性。TreadMarks采用了懒惰释放一致性模型。当某一处理机执行Acquire操作时，将获得其它处理机对某些页面的修改信息。已被修改的页面在本处理机上
13、的备份将被置为无效.以后当访问这些页面时，将发生页面错误，其最新的备份将被取入。另外，TreadMarks系统采用了多写协议以解决假共享问题。4.2.4 Midway系统Midway系统首次提出了入口一致性模型。但Midway系统并不仅仅采用入口一致性模型，而是同时采用了多种一致性模型如入口一致性、释放一致性和处理机一致性)。Midway 系统允许用户程序中同时使用这三种一致性模型。入口一致性模型要求每一个共享变量与一个同步对象相关联，没有同步对象与之关联而只和一个“更新期”相联的变量则保证处理机一致性，和这二者都不关联的变量则是释放一致性的。Midway中的一致性维护协议是写更新策略。4.3
14、、软硬结合DSM系统由于硬件DSM系统的设计较为复杂且造价很高，所以现在很多DSM系统采取了软件和硬件结合的方式，由硬件来执行对系统性能影响较大而相对简单的功能，而由软件来完成一些复杂的工作。例如由专门的硬件来实现简单的一致性维护工作和处理机间的消息传递，而用软件来实现较复杂的一致性协议和一致性模型。软硬件结合的DSM系统实例有Plus、Alewife、Flash、Shrimp等系统11。Plus中，软件负担的工作为存储管理、共享数据的移动和复制，采用处理机一致性模型和写更新策略。Alewife中，软件负担的工作为部分一致性维护工作和减少目录所占空间，采用顺序一致性模型与写无效策略。Flash中软件负担的工作为存储一致性维护，采用释放一致性模型与写无效策略。Shrimp中软件负担的工作为部分一致性维护工作，采用释放一致性模型，同时采用写无效与写更新策略。
