数字化图书馆解决方案_v1

《数字化图书馆解决方案_v1》由会员分享，可在线阅读，更多相关《数字化图书馆解决方案_v1（13页珍藏版）》请在金锄头文库上搜索。

1、数字化图书馆解决方案1 图书馆信息化概述目前在 Internet 和信息技术的不断发展时代，对高等院校的教学与管理带来了深远的影响，网络远程教学、多媒体应用、数据查阅、信息管理等应用已经成为高校教学与科研重要的一环，并逐步与学校的教学、服务与科研融为一体。高校校园网建设、网络中心的规模与数字图书馆已经成为全面衡量高等学校信息化水平的三项重要的指标。图书馆除向全校师生提供教学、科研以及数字化信息服务外，还面向社会为众多单位提供培训及咨询服务。随着计算机应用的发展，图书馆服务器和数据量急速增加，管理的复杂程度越来越大。数字化图书馆是一种运行在高速宽带网络上的、可跨库检索的海量数字化信息资源库群，对

2、有价值的图像、文本、语音、影像、影视、软件和科学数据等多媒体信息进行收集，进行数字化加工、存储和管理，实施知识增值，并提供基于网络的电子存取服务。数字图书馆在本质上就是一个集数据库应用平台、信息资源电子商务平台与资源数字化加工服务平台于一体的巨大数据仓库，以互联网为平台，面向高校内部广大师生和外部互联网用户提供基于内容的服务。作为图书馆发展的方向，数字图书馆应以统一的标准和规范为基础、以数字化的各种信息为底层、以分布式海量资源库群为支撑、以智能检索技术为手段、以电子商务为管理方式，以宽带高速网络为传输通道，将丰富多彩的多媒体信息及时的传递给用户。2 图书馆系统概述数字图书馆系统是一个基于 In

3、ternet/Intranet 分布式环境、能够针对用户的需要提供信息服务的分布式海量信息系统，其基本功能包括：1. 提供用户交互式信息浏览、查询，具有基于内容和知识的检索引擎。2. 支持连续媒体的网络传输，数字化图书馆所支持的数据类型包括具有时间基的连续媒体信息；支持多媒体信息流的同步和集成，建立先进的同步模型和同步机制保证静态信息流的空间同步和动态信息流间的时间同步。3. 建立通用、标准和规范的数字化图书馆系统结构模型，提供数字化图书馆系统有效的资源管理和控制功能。4. 支持动态服务质量（QoS）管理机制，系统可以根据用户请求、系统检测和资源均衡需求，动态地调整用户端的 QoS 参数。5.

4、 数字化图书馆系统的中心服务器和媒体服务器应该具有可伸缩的体系结构，根据资源的使用情况，采用适当的负载平衡策略，把信息存取和网络传输的负载均衡到相应的机群中，同时，系统具有信息存储和网络带宽的可扩展性。6. 系统具有透明性，信息的重组在一定条件下是可见的，但是对用户是透明的。7. 系统具有可移植性，具有可运行特征的媒体信息在不同的运行环境下都可以再现图书馆的主要组成部分：1. 图书馆管理系统2. 数据库3. 电子期刊库4. 电子图书库5. 硕博论文库6. 自建数据库：论文、期刊、图书、声像、教参等等7. 音视频资源管理系统8. 网络接入认证系统9. 门户网站10. 博客服务11. 论坛服务12

5、.FTP 系统13. 等等因此，可以说建设数字图书馆的关键技术在于存储系统，一个良好的存储系统解决方案应能适应图书数据的海量存储和不断增长，同时能够满足当今网络环境复杂性和扩展性的不断提高。这样的目标无疑对存储系统的要求很高，既要求高可用性、高可靠度和大容量，还需要低成本和易安装管理。3 图书馆信息系统需求分析数字化图书馆就是将图书馆文献信息数字化，并利用计算机技术储存、查询和发布，以满足当地或远程读者对文本、图像、声音等不同种类的信息需求。数字图书馆的显著特点就是： 各种信息（文献，期刊，图书，报纸，论文，音乐，视频等）的数字化； 海量数据的存储和管理； 对数据的有效访问和查询； 数字化资料

6、在网上发布和传递。数字化图书馆的开发与建立是计算机、通信和网络技术、海量存储技术以及多媒体技术有机结合的产物，并且还引进了大量数据库技术及概念。 图书馆存储系统需要存储以下内容的数据信息：1. 数据库： 一般采用 MS SQL 和 Oracle 数据库，数据量不大，一般在几 GB 以内，且数据增量不大。2. 电子图书：以文本文件存储和读取为主， 文件大小一般为 32KB-64MB，存在形式为静态， 容量增长小于 5%每年；3. 视频资料信息：包括电影资料的 VCD/DVD 形式，MPEG2/4 形式，以大文件形式存储，流媒体读取为主.文件大小一般为 80MB -5GB；4. 电子期刊：以文本文

7、件存储和读取为主，文件大小一般为 32KB-64MB，存在形式为动态增长，增长速度为线性定值；5. 其他电子信息资料：包括音频资料，硕博论文，自建资源库，教参等等，以文件方式存储，以流媒体或文件方式读取，文件大小一般为 32KB-40MB在图书馆中，数据库的管理和操作是最核心的问题，所有的电子图书、期刊和多媒体数据全部存放在大容量存储系统中，存储系统是整个数字图书馆的支撑点。根据图书馆中数据的特点来分析数字图书馆的数据应用特点，数字图书馆大致可划分为以下两种类型的数据：1. 数据库类型数据： 图书馆管理系统和外购商用软件系统以及自建系统的数据库。 需要提供高速数据检索和查询服务，数据访问速度要

8、求高。 需要提供 7*24 小时高可靠运行2. 文件型数据： 包括电子图书，期刊，论文，自建数据资源，影视频资料文件等等。 需要提供大容量数据存储空间。 大量数据处于静止状态，少部分数据在相应时间内处于活跃状态。 数据访问速度一般没有严格要求。随着图书馆数字化进程的逐步深入，图书馆的应用系统越来越多，环境也变得越来越复杂，这无形中增加了图书馆管理人员管理系统的难度。同时，随着应用系统的不断增加，数据也相应大量增长，这就给原有的存储系统提出了更高的要求。 平滑的提供更大的存储空间 提供更快的响应速度 提供更大的数据吞吐能力总体来讲，图书馆信息化的关注点在于： 如何满足业务连续性要求 关键系统高性

9、能 关键服务不停顿 关键数据不丢失 如何解决数据容量迅速增长带来的成本、管理等问题3 图书馆信息系统推荐方案3.1 设备选型原则存储系统是数字图书馆的核心基础，其性能的优劣，质量的好坏，对全局的影响关系重大。在存储系统平台的选型上应充分考虑系统应用的水平和数据处理数据量的大小，综合总体系统设计的方针，予以慎重选择。在选择存储平台时，要考虑的因素很多，需要根据实际情况决定，一般来讲，以下特性是必须要考虑的： 存储系统的 IO 性能 系统未来的可扩展性 存储系统的高可用性 存储系统对各种服务器操作系统的兼容性与标准 系统管理员的可维护性3.2 方案综述数字图书馆中需要存储的数字资源大致分为以下几类

10、： 图书馆管理系统数据库 图书馆购买的各类商业软件的数据库 图书馆购买的各类电子化的图书和期刊数据 图书馆自建资源库根据对图书馆信息化系统的需求分析，可以总结出图书馆核心应用的特点如下： 数据库：是整个图书馆业务系统的核心 数据类型：数据库(SQL, Oracle 等） 性能要求：同时访问人数较多，并发性能要求较高 可用性要求：不能停机 数据量：几百 MB 到几个 GB 图书馆应用系统数据： 数据类型：文件（文本，图像，音视频） 性能要求：同时访问人数较少，但传输数据量大，带宽要求高 可用性要求：不能停机 数据量：很大且增长很快，从几 TB 到几十 TB根据性能和可用性的分析，可以得出相应推荐

11、的存储系统架构如下：典型存储架构应用 数据类型 性能 容量 数据保护 FC SAN iSCSI数字化图书馆管理系统（采、编、流） 数据库 高 低 高 优选 自建资源系统 数据库/ 文件 中 高 高 推荐 可选硕博论文 文件 中 高 高 推荐 可选期刊 文件 中 高 低 推荐 可选电子图书 文件 中 高 低 推荐 可选影视频资料 文件 中 高 低 推荐 可选以下我们分别阐述 DCN 面向高校数字化图书馆的信息基础架构： 数据集中存储方案 备份与恢复解决方案3.2.1 数据集中存储方案针对高校图书馆信息化应用系统的存储需求，建议采用 FC SAN+IP SAN 的存储架构： 将图书馆的图书馆管理系

12、统数据库、各类外购商业软件数据库系统以及自建资源数据库等核心数据库应用通过 FC SAN 进行连接，实现高性能、高可用的存储； 同时将一些应用如门户网站、FTP 等通过 IP SAN 进行连接，实现低成本、高效率的存储。整体架构从以下几方面综合设计，以满足业务连续性的要求： 存储系统的高可用性：经过用户验证达到 5 个 9 可用的存储系统 DCN CS4 系列 存储网络 SAN 的高可用性：采用双光纤交换机组成冗余 SAN 网络，配合主机上的双 HBA 卡和多路径管理软件（DCN PowerPath） ，实现数据访问通道的高可用；图书馆信息化系统集中存储结构图：本次系统建设的最终目标是为高校图

13、书馆提供一套具有国际先进水平的电子化图书馆信息平台，提供具有全球最新科技水平的 SAN 存储区域网络存储平台-DCN CS4，为高校图书馆未来的高速发展提供坚实的技术保障平台。为保证服务器到 SAN 网络的全冗余性连接，每台服务器均配置 2 块 8Gbps FC 光纤通道卡，分别连接到 SAN 网络中的 2 台光纤通道交换机上，即使其中的一条链路发生故障，服务器仍然可以通过冗余的光纤链路访问磁盘阵列上的数据，从而达到系统的 7*24 小时不间断运行。本次存储系统建设采用 Open SAN 体系结构搭建高校图书馆数据存储网络，在整个 SAN 网络中，所有设备之间的网络链接均采用全冗余链接，确保整

14、个存储系统系统具有良好的链路冗余能力，为高校图书馆信息系统提供不间断运行的存储网络交换平台。由于电子化图书馆中的数据绝大部分都是文本文件和图片及音视频资料文件，少部分数据是数据库数据，则在进行图书馆存储体统磁盘规划时，应充分考虑磁盘分级存储管理，提高了磁盘利用率，同时也为图书馆节省了大量的资金投入。 将访问性能要求高的数据库文件保存在 FC 磁盘上 将访问性能要求不高的文件类型的数据保存在 SATA 磁盘上本方案具有以下特点： DCN CS4 99.999%的高可用性DCN CS4 结构提供最高的可用性。所有组件都实现全面冗余并可热交换。全光纤通道技术允许客户随时随地扩展其存储容量,可以在不关

15、闭应用或者现有存储能力的情况下，添加其它驱动器或者驱动器架（DAE，磁盘阵列机箱） 。DCN CS4 系统拥有各种先进的数据保护功能全局热备用、全面冗余的组件、通向光纤通道磁盘驱动器的双重冗余路径、磁盘扇区嗅探校错技术（Sniffer） 、断电高速缓存数据写入硬盘、端-端数据奇偶校验以及一致性操作环境所提供的其它独特功能，所有这一切都是 DCN CS4 享有盛名的原因所在。这种层次的数据保护应该是所有客户的要求，也是任何其它供应商所无法满足的。中端存储配置发展很快，且变得日益复杂，这是因为较大的系统具有更多的驱动器，并且磁盘驱动器的密度越来越大。UltraPoint 是新一代的 DCN CS4

16、技术，随着客户将系统向新级别的扩展，它可确保 CLARiiON 继续提供最高级别的可靠性和可用性。UltraPoint 技术将新的点对点光纤通道 DAE 设计与 FLARE 操作环境中新的故障检测和隔离功能结合在一起。UltraPoint 将后端故障探测和隔离的精确度具体到了单个驱动器的级别。这一技术将使 DCN CS4 系列能够： 在单个磁盘驱动器级别执行故障检测和隔离操作，因此可以采取纠错措施。 在驱动器进入联机状态之前检验驱动器 在加电时，在更换驱动器时，以及在增加容量时。 一体式分层存储使用 DCN CS4 存储系统，高校图书馆可以整合大量不同类型和业务价值级别的数据，通过选择满足特定需要的驱动器选项，实现在一个系统中提供多种性能/成本级别的灵活性。存储层次 驱动器类型 适用环境第 1 层146GB、300GB、450GB 15kRPM 光纤磁盘并发访