《存储区域网系统在青岛港数据管理中的应用资料》由会员分享，可在线阅读，更多相关《存储区域网系统在青岛港数据管理中的应用资料（9页珍藏版）》请在金锄头文库上搜索。
1、精选优质文档-倾情为你奉上存储区域网系统在青岛港数据管理中的应用杜明 徐坤三 张华( 青岛港（集团）有限公司信息中心，青岛)摘 要：基于存储区域网的港口数据管理系统是为提高青岛港的数据管理水平特别是数据安全管理水平和重要港口应用的可靠性而建设的，它改造了青岛港沿用多年的存储模式，实现了数据的集中存储和虚拟化管理。本文介绍了基于存储区域网的港口数据管理系统的概念、功能、系统结构，关键技术，着重介绍了一系列在建设过程中遇到的问题，并提出了适合港口业务特点的解决办法。 关键词 ： SAN、存储虚拟化，逻辑卷管理（LVM），数据移植、卷组镜像、多应用远程灾难恢复、增强性远程镜像（ERM）一、前 言当前
2、，越来越多的企业已经有了这样一个共识：安全有效的数据存储和管理，信息的快速访问和有效利用，二者的有力结合是企业持续发展的基本因素。许多成功的企业和商业机构也已经认识到，统一访问、共享和管理数据可以转化为一个有利的竞争优势，实现网络化客户支持可提高客户满意度并降低成本。今天，存储体系结构已经变得与网络体系结构同等重要。青岛港很早就提出了信息化要服务和拉动港口生产，实现打造数字化港口的目标。根据这一目标的要求，青岛港已经建设了包括电子报文传输、生产管理、引航管理等多达几十个的应用系统，这些系统每时每刻都在处理和产生大量的宝贵数据，为船公司、货主、场站、一关三检、码头公司等港内外用户提供了7*24小
3、时不间断服务。随着港口信息化程度不断提高，这些大型重要的应用系统和其产生的大量数据已经成为确保整个港口正常运转和发展的关键因素，片刻的应用停止或数据丢失都会给港口生产和声誉带来重大的影响。因此，在保护现有投资的情况下，如何建立具有高可靠性、高可用性、高可扩展性等高性能的全面存储系统，提高港口的数据管理水平特别是数据安全管理水平和应用的可靠性已成为决定青岛港今后生存和发展的大事。二、具体目标通过对青岛港原有存储系统、网络系统和各应用系统的情况的综合分析，我们认为改造港口现有的存储系统，建设一套先进高效的适合港口生产实际情况的数据存储平台和应用容灾系统是港口发展的迫切需求，具体目标如下：保障港口数
4、据安全，港口的各项综合业务处理系统作为数据高度集中的系统，数据的安全是第一位的。必须从存储、网络、数据库、应用等多方面建立起一套可靠的数据平台和完善的保障措施，保证企业、用户和业务数据的100%可用保证重要应用系统的高可靠性与高可用性计算机系统灾难的发生是多方面的，保持业务的持续性是当今用户进行数据存储需要考虑的一个重要方面。采取远程的数据灾难恢复手段，能够真正提高系统的高可靠性，真正保护业务持续性，对保障客户的权利和维护良好的港口形象起到重要的作用。提高数据存储和读写效率，提高存储系统的读写效率是提高应用系统运行速度的有效保证，确保港口各业务系统的安全、高效的运行，将进一步提高了操作人员的工
5、作效率，带动整个港口的生产效率的提升。 降低今后存储系统管理和建设成本实现数据集中化、虚拟化管理，提高企业资源的利用效率，优化管理模式，减轻管理人员负担，并降低今后系统的建设和维护成本。三、系统结构青岛港作为一个以装卸生产为主业的国有大型企业，在生产和管理上都有着港航企业所固有的特点，比如生产7*24小时运行、应用系统多样复杂等。这些特点也在很大程度上左右了整个系统的设计、建设和实施方案。系统主要由存储系统和异地容灾系统两大部分组成：1、存储系统存储系统涉及到新存储系统硬件建设和数据移植两部分内容。硬件建设青岛港由青岛、黄岛两个港区组成，分居胶州湾的两端，港口的存储区域网系统作为一个整体主要包
6、括青岛港区存储系统、黄岛港区存储系统和连接二者的跨海光纤系统。青岛港区存储系统采用光纤存储区域网（SAN）的方案，各应用和数据库服务器通过以太网卡连接到以太网上，每台服务器同时另外配置两块光纤通道卡，每块光纤通道卡分别连接到两台光纤交换机上。IBM的光纤交换机作为SAN的核心部件，也采用双配置，作为高可靠的冗余配置。选用两台核心磁盘阵列系统（一台IBM DS4800和一台DS4300），DS4300为原有设备，为提高其性，我们更换了其系统控制器，增加Turbo Feature以及增加一个硬盘扩展柜（增加8块72GB硬盘）。两台磁盘阵列都采用双光纤通道与光纤交换机分别相连，任一台服务器、服务器上
7、的通道卡、交换机出现故障，都不会影响对存储设备的访问。由于使用多端口光纤通道交换机，故可充分利用存储区域网络（SAN）的优势，提供出色的连接性，同时又增加了网络的有效带宽。光纤通道主机连接为每条路径提供高达4Gbps的带宽。每个控制器有2个光纤通道主机端口（两个互为冗余的控制器可提供4个端口，可用来连接两个光纤交换机形成冗余链路），确保为要求最严格的应用提供良好的带宽。另外随着整个系统的发展，需要增加服务器、磁盘阵列或磁带库的时候，只需要将新增加系统连接到光纤交换机上即可，而不需要修改整个系统的结构。为保护港口原有资产，将原有的三台IBM 7133磁盘阵列串联在一起外接一台服务器作为文件服务器
8、使用。黄岛港区存储系统相对青岛港区存储系统要简单一些，结构与青岛一致，但只有一台DS4800，连接两台服务器。 两个港区通过跨海光纤连接,建设两条不同路径和路由的物理光纤，通过两套华为的波分复用传输设备，连接青岛港区和黄岛港区的主干交换机和IBM的光纤交换机。在传输速率上每条物理光纤都能达到双千兆，两条物理光纤能复用出4个千兆链路，而且根据实际需要，还可以复用出多达16个百兆或者十兆的以太网口。跨海光纤设备不仅能满足目前存储区域网的需求，对于以后的业务发展也做了足够的预留。存储区域网系统的建设不但解决了青岛港各应用系统的数据存储性能，提高了应用的响应时间，也为容灾系统的建设打下了基础。 整个存
9、储网络拓扑图如下： 数据移植将过去分散在多个存储上的数据移植到新的存储上实现数据集中是工程建设中风险最高的一个环节，整个过程既要确保数据的安全，又要将对应用造成的风险降到最小。我们并没有采用磁带备份恢复、软件导入导出、磁盘备份恢复等传统的数据移植方法，这些办法虽然可靠性高、操作简单，但对于青岛港来说都是不适用的，原因就是青岛港的生产大都是24小时不间断的。以EDI（电子报文传输）系统为例，EDI系统是港口的重要生产系统，负责将船图、舱单等重要生产信息在码头公司、信息中心和一关三检等部门传递，随时都会产生大量的报文数据，需要24小时不间断运行，EDI系统的报文文件系统已经达到了近100个G的大小
10、，要把100个G的报文移植到新存储上，用传统拷贝方式，如果不停应用而拷贝数据就会丢失报文、而如果停应用拷贝数据需要时间近6个小时，意味着EDI系统将停止6个小时，这显然是港口生产所不能接受的。经过研究和测试，我们发现通过卷组镜像的方法可以解决这一问题。再以EDI系统为例，首先将EDI服务器接入到新的存储系统上，让服务器可以同时看到新旧两套存储，在新存储上为EDI服务器划分一个卷组，通过卷组镜像的功能将报文文件系统从旧存储向新存储上做镜像，数据镜像期间对服务器性能影响较小，而且数据镜像速度很快。等镜像完成后将该镜像模式拆开，将旧存储上的卷组删除，就实现了数据的移植。项目实施证明该方法安全、可靠，
11、整个过程不需要停应用，对于一些7*24小时运行且数据量大的应用的数据移植是一种很好的方法。2、异地容灾系统在黄岛数据中心建设一套容灾系统，实现对青岛数据中心重要应用的容灾。要实现一套完整的应用容灾，既要包含本地系统的安全机制、远程的数据复制机制，还应具有广域网范围的远程故障切换能力和故障诊断能力,也就是要包括数据恢复、应用恢复、网络恢复的三大功能。数据恢复数据恢复采用基于存储系统的数据复制技术，通过基于青岛和黄岛的两台DS4800盘柜进行异地的数据镜像，采用的是基于IBM DS4000磁盘系统的增强性远程镜像方案（Enhanced Remote Mirror,简称ERM）。该方案实现了在跨两个
12、远程站点的存储设备之间进行实时的数据复制的能力，在主站点灾难或不可恢复的错误发生时，可以手工将备份站点的存储系统提升为主系统，从而正常地接管IO操作。在青岛和黄岛的存储设备上均设置主数据分区和镜象数据分区，以便实现青岛和黄岛之间的异地数据镜象功能。通过专业测试软件的测试结果，IBM ERM设置为异步复制模式以保障在数据复制过程中的存储性能的最大化。跨海网络恢复为保障数据传输的可靠性，跨海网络系统采用两条不同路径和路由的物理光纤，通过两套华为的波分复用传输设备，连接青岛港区和黄岛港区的交换机设备。两条线路相互独立，互相监听，任意的一条光缆或者一套设备出现故障，系统会在10秒内切换到另一条线路和设
13、备上，这种设计完全做到了设备、链路的全部冗余备份，任何单一故障都不影响存储系统的数据传输。应用恢复数据和网络的恢复只是实现了数据的传输，更重要的是需要应用的恢复。在黄岛数据中心为各重要应用系统建立相对应的容灾服务器系统，当生产服务器发生硬件或软件故障导致服务器无法提供正常服务时，容灾系统可将相应的生产服务器的数据库服务、应用软件、通过手工方式切换到容灾服务器，整个恢复时间视应用的复杂程度而不同，一般能够保证在20分钟以内，基本不会影响业务的正常运转。生产服务器系统恢复正常后，整个系统可以实现手动回迁。这种一对一的应用容灾模式可以最大程度的确保生产的可靠性和高效性。但却并不适合青岛港。青岛港的在
14、用系统多达几十个，需要7*24小时不间断运行的有六、七个，采用的都是相对独立的小型机服务器，为这六七套应用建立一对一的容灾服务器显然是巨大的投资。通过对这些服务器系统的分析，我们发现可以将其分为两类，一类是数据库服务器（都为ORACLE数据库），另一类是应用服务器（例如中间件应用），可以分别根据这两类情况在黄岛数据中心建立两台容灾服务器系统，分别作为青岛数据中心各服务器的数据库容灾服务器和应用容灾服务器。（见下图）数据库服务器容灾：在一台容灾服务器上安装ORACLE 环境，并根据各应用的数据库服务器的情况分别在其上创建相对应的数据库实例，各实例都设置为手动运行，平时不启动所以不会占用服务器资源
15、，当有容灾需要时首先实现存储的切换，再手工将相对应的数据库实例打开，完成数据库的容灾。应用服务器容灾：类似于数据库服务器容灾，在一台容灾服务器上安装多套应用系统，根据需要启动相应的应用。网卡地址的切换可以采用在一块网卡上建虚拟IP的方式实现网络的快速切换。该方式实现了一台容灾服务器同时为多台生产服务器容灾的模式，以相对经济的投入获得最佳的效果、确保港口数据的安全和业务的连续。但因为容灾服务器性能的问题可能无法同时为多套服务器系统进行容灾，这也是一对多容灾模式固有的问题。四、关键技术1、 网络存储技术今天的存储解决方案主要为：直连式存储（DAS）、存储区域网络（SAN）、网络接入存储（NAS）。
16、直连式存储：青岛港一直采用的就是这种存储模式，就是将外置存储设备通过连接电缆直接连接到一台或多台服务器上。直连式存储在性能、安 全性上都有很多的问题无法解决，也不能提供跨平台的数据共享，存储系统在今后的扩展和灵活应用上也都有问题，随着港口的生产和存储技术的发展，直连式存储系统的这些问题也越来越明显。网络附加存储：网络附加存储采用网络（TCP/IP、ATM、FDDI）技术，通过网络交换机连接存储系统和服务器主机，建立专用于数据存储的存储私网。作为一种特殊的专用数据存储服务器，它内嵌系统软件，可提供跨平台文件共享功能。NAS设备完全以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而有效释放带宽，提高了网络整体性能，也可有效降低总拥有成本，保护用户投资。且可以实现很多先进
