数据存储设计方案

《数据存储设计方案》由会员分享，可在线阅读，更多相关《数据存储设计方案（41页珍藏版）》请在金锄头文库上搜索。

1、江南大学图书馆 数据存储方案 建 议 方 案 书 二零零八年八月第一章 前言 承蒙江南大学对富士通公司的信任和厚爱，提供我们参与其数字化 图书馆系统建设的机会，我们不胜感激及深表荣幸。富士通公司将 本着诚挚、科学的态度，充分考虑贵方的需求，利用我们国际领先 的科技和丰富的设计、项目经验，提供最佳的专业服务，以及高性 价比的系统设计方案，为江南大学提供一套优质的设备和解决方案。第二章 设计原则 2.1 概述 随着计算机及存储技术的飞速发展，新业务系统会不断产生和数据量会快 速增长，对系统的性能与可扩展性等方面的要求也会越来越高。根据系统的现 状和未来规划，有必要引进合理的、适应未来增长的存储架构

2、，以加强对各种 数据资源的保护、共享、维护、管理，同时提高满足未来需求的系统扩展能力。 本建议书在Fujitsu公司存储方面先进技术和多年实施经验的基础上，旨在提 出一个适合系统需要的统一的企业存储解决方案。 2.11 数字化图书馆探讨 数字化图书馆是计算机可处理的、有序组织的信息集合，也可看成是存储 数字信息的仓储。它使用数字技术进行信息资源的组织和管理，能够存储海量 信息，用户可以通过网络高效方便地查询、检索信息以获得信息服务，并且其 信息存储和用户访问不受时间和地域限制。 2.12数字化图书馆的功能 数字化图书馆系统是一个基于Internet/Intranet分布式环境、能够针对 用户的

3、需要提供信息服务的分布式海量信息系统，其基本功能包括：1.提供用户交互式信息浏览、查询，具有基于内容和知识的检索引擎。2.支持连续媒体的网络传输，数字化图书馆所支持的数据类型包括具有 时间基的连续媒体信息；支持多媒体信息流的同步和集成，建立先进的同步模 型和同步机制保证静态信息流的空间同步和动态信息流间的时间同步。3.建立通用、标准和规范的数字化图书馆系统结构模型，提供数字化图 书馆系统有效的资源管理和控制功能。4.支持动态服务质量（QoS）管理机制，系统可以根据用户请求、系统检 测和资源均衡需求，动态地调整用户端的QoS参数。 5.数字化图书馆系统的中心服务器和媒体服务器应该具有可伸缩的体系

4、 结构，根据资源的使用情况，采用适当的负载平衡策略，把信息存取和网络传 输的负载均衡到相应的机群中，同时，系统具有信息存储和网络带宽的可扩展 性。6.系统具有透明性，信息的重组在一定条件下是可见的，但是对用户是 透明的。 7.系统具有可移植性，具有可运行特征的媒体信息在不同的运行环境下都 可以再现。 2.13数字化图书馆建设发展趋势 自古以来，人们都是从书或杂志等物理介质中获取知识和信息。近些年来，随 着计算机网络技术、数据库技术、多媒体技术的飞速发展，信息存取方式正面 临着深刻的变化。电子存储设备价格比存储同样信息的纸和胶片更低、而且更 安全、保存时间更长。大量的文档（书籍、报刊、杂志和各种

5、以图片、录音、 录像）电子存储成为现实。同时，宽带网络、web浏览器出现将在线服务的质 量提高到一个全新的水平。通过实现档案的数字化、网络化建设数字化图书馆。 这是各国图书馆都在寻求相适应的现代档案运作模式，增强自己在网络社会的 竞争力，更好地为社会和读者服务，成为未来社会的公共信息中心和枢纽。在 我国，图书馆大部分都已完成图书业务管理自动化建设，未来的重点应该是图 书馆数字化和网络化建设，实现数字化图书馆目标。 多媒体的应用和上网人数的急剧膨胀，使诸多通讯平台上的网络数据呈几何 级数增长，其存储能力要求以平均每年50%-100%的速度递增，传统的网络架构 面对源源不断的数据流已显得力不从心，

6、这就需要把存储设备从网络和主机系 统上独立出来，集中管理数据，同时具备良好的扩展性以应付业务应用中数据 的飞速增长。因此存储设备产生了发展方向： SAN（Storage Area Network存 储域网） 。 随着信息技术的发展，需要存储和传播的信息量越来越大，信息的种类和形 式越来越丰富，传统图书馆的机制显然不能满足这些需要。因此，人们提出了 数字化图书馆的设想。数字化图书馆是一个电子化信息的仓储，能够存储大量各种形式的信息，用户可以通过网络方便地访问它，以获得包括多媒体在内的 各种信息，并且其信息存储和用户访问不受地域限制。 数字化图书馆是一种运行在高速宽带网络上的、可跨库检索的海量数字

7、化信 息资源库群，对有价值的图像、文本、语音、影像、影视、软件和科学数据等 多媒体信息进行收集，进行数字化加工、存储和管理，实施知识增值，并提供 基于网络的电子存取服务。具体地说，她主要希望实现三种应用，这就是：数 字化图书馆信息系统数据库、档案Web站点群静态页面存储和提供多媒体教学 资源的储存和点播。这样的目标无疑对存储系统的要求很高，既要求高可用性、 高可靠度和大容量，还需要低成本和易安装管理。 22 设计原则 针对江南大学现有和将要建设的信息应用系统的特点，我们为江南大学数 字图书馆系统提出技术方案遵循以下原则： 1. 高可用性 系统的高可用性是校园网各信息系统可靠运行的关键。通过多重

8、技术手段 与系统体系结构设计使全系统达到较高的应用服务水平。采用高可用性设计的 软、硬件产品技术，通过周密计划、安排和实施整套高可用的方案，使得系统 可以实现在任何局部故障情况下对服务的不间断。 2. 可扩充性 全系统体系结构应有良好的扩充能力。可通过增加硬盘数量以及在存储内 部增加关键系统部件实现系统扩容。在系统应用生命周期内（58年）不需要 作系统移植即可满足用户/负载增长要求。在发展迅速的信息领域，应用环境、 系统的硬件或软件都会不断地加以更新，存储容量会海量增长。因此，系统的 可扩充性是至关重要的。方案的设计，应可保证用户在今后较长时间的扩充要 求。 3. 先进性 系统设计应该选择当今

9、先进的技术和设备，以保证其今后数年的技术先进 性；整个系统的有效应用周期应强调更长，在系统建成后比较长的一段时间内 能满足增长的需求，并在更新的技术开始应用的时候，本系统能便利、无障碍地进行升级。 4. 开放性 软硬件产品的各种设计规范、技术指标及产品均符合国际和工业标准，并 可提供多厂家产品的支持能力，是开放的可兼容系统。 5. 经济性及投资保护 性能价格比是本方案中充分考虑的因素。而投资保护的思想正是应用开放 式技术和产品的初衷。投资保护不仅仅是对设备产品等，更应该是对人和知识 产品的保护。系统产品技术投入应有延续性与继承性。应能方便地将未来的新 产品、新技术应用在系统中。 6. 高可管理

10、性 在复杂的网络和系统境中，高可管理性已成为系统能否成功的关键。要求 整个系统可以通过完善的控制界面来管理和监控，对系统进行实时的监控和维 护，以降低运行成本。 7. 高质量服务与支持 及时良好的售后服务支持和顾问咨询，保证服务质量，免去用户的后顾之忧。 在系统建设的各个时期，配合用户与合作伙伴实现系统的集成与优化。第三章 技术方案 3.1 方案拓扑图 我们通过对图书馆存储系统需求的了解，制定了本存储方案。方案拓扑图 如下： 3.2 方案描述 我们建议分阶段建设数字化图书馆，并采用以光纤阵列为主的SAN网络。 以光纤存储设备为核心的SAN网络结构，能够提供更加强大的扩展能力和更加 稳定、高效的

11、性能。这是从数字化图书馆建设模式和充分保护学院的投资角度 来考虑的。 从保护用户投资的角度来看，现在如果购买太多的存储设备，大大超过现有数据对存储空间的需求的话，那么会造成部分硬盘的闲置。如果分阶段建设， 第一阶段容量达到30TB左右，在今后的数据发展上，我们充分考虑数据扩展能 力，保证磁盘阵列的存储容量可以在线扩容，第二阶段达到60TB的容量。富士 通Eternus 4000 M500最大支持420个硬盘驱动器，若全部采用300GB的光纤 硬盘，可以扩展到126TB的容量，足以满足江南大学数据增长的需求。 本系统建议采用Fujitsu Eternus 4000 系列智能存储系统,以整体规划分

12、 布实施的方式来进行。这也正符合Fujitsu产品特点，即根据不同需求逐步完 善。 321 实现当前存储需求 构建系统存储架构，以Fujitsu Eternus 4000 Model 500磁盘阵列为存储 中心，支持在线存储服务功能。通过全光纤通道连接服务器。容量为60TB ,我 们配置8个主机接口，16GB的CACHE，采用200块300GB的光纤通道硬盘，支 持可用容量60TB，在硬件的配置上，我们采用完全冗余的配置，并且可以支持 各种异构平台的集中存储，支持平台包括Solaris、AIX、HP-UX、Linux、SCO UNIX、WIN2000等。 322 对未来的扩展 利用Fujits

13、u Eternus 4000 强大的在线服务功能，在不停机的状态下以 及不影响主机性能及I/O的情况下就可完成整个系统存储方面的升级要求，这 样的特性不仅是体现在磁盘容量扩容方面，在坏盘更换时也能够保证用户的数 据完整性。对于实时性、可靠性要求严格的应用此种方式尤为重要（这种完全 的在线服务有别于其它磁盘阵列生产厂商） 。同时随着应用的扩展，Fujitsu Eternus 4000 Model500还支持同其它不同类型SERVER的连接共享，构建完善 的区域存储网络（SAN） 。Fujitsu Eternus 4000 Model 500最终可扩展到420 块300G的光纤通道硬盘，总容量12

14、6TB。323 系统的扩展性 系统具有良好的平滑升级能力： 通过光纤连接磁盘阵列，保证系统的高性能。通过增加扩展模块提 高系统的存储容量。 存储系统（包括磁盘阵列） ，可提供高可扩展性，可在线扩容，有 很好的投资保护。 324 系统的高可靠性 所采用的磁盘阵列产品在结构上及硬件组成上完全是冗余设计（如 阵列控制器、后端16条光纤环路、电源、风扇、链路控制器、双 口光纤硬盘等） ，不存在单点故障，确保整套系统的安全运行。 磁盘阵列可采用不同的RAID保护级别，保证用户的不同需求。 所有硬件均可支持热插拔，保证系统应用的连续性。 系统数据安全性很高，可根据用户的要求，完成数据的隔离或共享。 可通过

15、增加应用软件来支持物理通路的冗余连接，以提高系统的安 全性。 325 系统的高性能 系统采用全光纤磁盘阵列产品，保证系统的高性能。 系统升级不必停机，可在线升级。 系统具有良好的开放性，不同厂家产品之间能够互连。系统支持多 种主机系统及集群系统。 存储产品采用基于Web Browser的图形管理界面，维护简单。并可 与富士通的Softek存储管理软件配套使用，对磁盘阵列进行管理维护。 针对系统应用需求描述，我们认为该系统对存储性能的要求要求主要集中 在两方面： 一是存储通道带宽的要求，能满足多节点客户端数据请求及大容量数据存 储的需要，富士通的E4KM500的SPC-1测试值为60003 IO

16、PS，SPC-2的测试值 为1985MB/S，表现了强大的对多客户端节点的响应能力及对大容量数据的处 理能力，较好的解决了数据传输及存储数据的通道瓶颈问题，极大的提高了数 据传输及存储的速率及效率。 二是对于存储系统I/O能力的要求，针对诸多应用，尤其是对实时性要求 很高的关键性应用数据，众多用户需要实时查询数据，主机的性能和存储系统 的I/O处理能力至关重要；E4KM500配置了8个4Gbps的前端接口，具备很强 的I/O处理能力。 326 存储管理软件 本方案采用Fiber Channel( 光纤通道 )技术及SAN ( 存储局域网 )架构 来实现，并结合Fujitsu先进的Fujitsu Eternus4000 Model 500智能存储系 统及独有的安全管理软件Eternusmgr实现多个不同平台主机安全高效地共享 存储和充分利用带宽，可支持本地的或远程的管理，监控和配置，Eternusmgr 实用程序提供了GUI图形界面，可运行在不同的操作系统下，便于进行