《图书馆存储架构技术建议书.doc》由会员分享，可在线阅读，更多相关《图书馆存储架构技术建议书.doc（29页珍藏版）》请在金锄头文库上搜索。
1、某某图书馆存储架构建议书 某某图书馆存储架构技术建议书杭州宏杉科技有限公司2012年3月目录第1章 宏杉科技存储简介3第2章 存储技术发展趋势4第3章 需求分析63.1 数字图书馆概述63.2 某某图书馆需求分析93.3 存储架构分析93.4 某某图书馆存储系统需求10第4章 存储架构设计方案124.1 方案设计124.2 实施规划13第5章 集中存储解决方案145.1 宏杉科技存储简介145.2 产品特点155.3 方案优势21第6章 CDP（持续数据保护）方案详述226.1 总体方案描述226.2 方案实施阶段描述236.3 CDP特点描述246.3.1 用更先进的持续数据保护（CDP）技
2、术替代了陈旧的磁带库备份方式246.3.2 明确的RPO（数据恢复点目标）和RTO（数据恢复时间目标）246.3.3 能感知应用，确保数据完整性的机制256.3.4 管理简单、实施方便256.3.5 彻底消除了封闭技术带来的不兼容和后期品牌锁定25第7章 数据备份257.1 数据备份实施描述257.2 数据备份功能描述26第8章 服务器系统保护27第1章 宏杉科技存储简介杭州宏杉科技有限公司（MacroSAN Technologies Co., Ltd. 中文简称：宏杉科技，英文简称：MacroSAN）是一家专注于企业级存储系统及解决方案研发、生产与销售的厂商，是目前全球存储行业中少数具有从低
3、端到高端全系列产品研发生产能力的高科技企业。宏杉科技推出的宏杉科技 MS系列企业级存储系统可广泛适用于云计算、物联网与智能监控等大中型数据中心应用。l 挑战在云计算带来新一代数据中心技术融合和技术变革的背景下，终端的多样化与海量化、应用的虚拟化与分布化、数据中心的大型化对存储系统带来巨大挑战。传统存储系统在新一代数据中心需求面前捉襟见肘：半手工式使用和管理、低速低并发访问性能的硬件结构，单一存储介质的技术成本局限、预设和固定的应用与存储资源绑定、封闭式数据管理等缺陷都严重制约着数据中心的发展。以云计算为代表的新一代应用系统对存储系统软硬件设计提出了严峻挑战，要求数十倍地提高性能、实现动态配置和
4、自动化管理、实现应用驱动和智能化管理、大幅降低一次性采购成本、能耗和人员维护管理成本。局部功能的增加和改进已无法应对，必须对传统存储软硬件架构进行变革性设计和根本性创新。l 创新变革宏杉科技 MS系列存储系统创新性地采用最新芯片技术，设计出高性能和高可靠的硬件结构，为海量应用并发提供了大缓存、高带宽、高处理能力的百G级硬件平台。在此基础上，宏杉科技进一步开发出双活控制器技术、控制器自动负载均衡、智能缓存配置技术等，实现了业务驱动的硬件资源动态部署。宏杉科技创新性地开发出ICMT技术（Intelligent Cell Management Technology智能数据块管理技术），革命性地采用虚
5、拟化技术设计存储系统核心架构，将存储的介质资源与应用访问分离。存储系统因此能够根据应用热点变化，自动将存储介质资源与应用热点智能匹配。ICMT技术在大幅度提升应用性能的同时，大幅度降低了硬件的一次性采购成本，为数据中心运营带来巨大的效益。宏杉科技在实践中发现：当前广泛使用大容量数TB硬盘，但硬盘转速和性能并未随容量同步提升。传统RAID技术在处理频繁的磁盘介质错误时，暴露出低性能、重建时间超长的问题，数据丢失风险数倍提高。宏杉科技带来新一代CRAID技术（基于Cell的RAID管理），创新性地对传统RAID进行深度改进和提升。CRAID技术在保留传统RAID数据校验特性的同时，大幅度提升了系统
6、对磁盘介质错误的容错和处理能力，普通RAID5和RAID6等出现多块磁盘介质错误就会丢失数据，而采用CRAID技术后，系统仍然能够保证RAID组正常运行和数据安全。宏杉科技 MS系列引入IDDC机制（Initiative Disk Diagnosis Center主动式磁盘检测中心），主动检测和预防磁盘介质错误。基于CRAID技术和IDCC机制的宏杉科技 MS全系列产品，在用户采用大容量低成本硬盘时，能够大比例降低磁盘介质错误引发RAID重建的机率，大幅度缩短重建时的RAID重建时间，有效改善RAID重建对业务应用带来的性能影响，显著降低磁盘损坏未及时更换带来的数据丢失风险。l 开放架构在云计
7、算带来业务应用和IT管理的深刻变化之际，宏杉科技认识到存储在数据管理方面扮演的重要角色。作为IT基础架构的三大支柱（网络、服务器、存储）之一，传统存储系统却一直是远离数据中心整体管理的孤岛。宏杉科技从应用系统整体管理和大型数据中心运营的角度出发，将软硬件设计构建为“开放式数据存储平台”（ODSP Open Data Storage Platform），使存储不再是一个传统的“数据存取黑盒子”。ODSP能够通过应用自动化驱动、接口开放、规格功能定制、行业特性开发移植等多种方式，将存储系统真正与用户业务系统无缝融合，使存储真正成为为业务应用提供智能、弹性、高性能、高可靠的数据服务平台。宏杉科技把传
8、统上相互分离的存储数据管理各项功能从技术核心层进行了统一的设计和模块化规范，提供了包括自动精简配置、自动数据分层管理、数据备份、容灾、数据归档、重复数据删除、业务按需资源分配、统一存储等在内的各项功能。ODSP使宏杉科技存储系统成为应用驱动的智能化动态资源配置系统。整个软硬件平台能够根据用户和合作伙伴的业务需求进行高效部署和定制，成为用户和合作伙伴运营数据业务的最佳平台和强大支撑。l 合作共创今天，中国IT需求正在向更深更广的方向推进。电子政务云、商务云、三网融合、智能电网、物联网、智能监控等新型应用正在主导下一个十年的IT建设浪潮。这些新型应用的背后，无疑都蕴藏着中国各行业用户新一轮业务创新
9、和管理模式创新的巨大需求，同时也蕴藏着对本地化技术供应商的巨大需求。宏杉科技立足于专业化的存储和数据管理平台，通过开放合作策略，愿与各界云服务提供商、软件开发商、行业应用开发商、行业集成商、专业设备提供商一起，面向新一代应用打造基于云计算的创新平台和解决方案。第2章 存储技术发展趋势信息或数据在IT系统中，总是必然处于“计算”、“存储”、“传输”三个状态之一。这三个方面也正好对应于整个IT技术的三个基础架构单元计算、存储和网络。传统上，主机系统既负责数据的计算，也在通过文件系统、数据库系统等手段对数据进行逻辑和物理层面的管理，而存储设备，则是以直连存储（DAS）方式连接在主机系统中。然而，由于
10、历史发展的原因，各种标准和各种版本的操作系统、文件系统拥挤在用户的系统环境中，使数据被分割成杂乱分散的“数据孤岛” (data island)，无法在系统间自由流动，自然也就谈不上设备的充分利用和资源共享。有鉴于此，人们开始寻找存储网络化和智能化的方法，希望通过提高存储自身的数据管理能力，独立于主机系统之外，以网络方式连接主机和存储系统，以设备资源透明的方式为计算提供数据服务。从而将数据管理的职能，从标准混乱、应用负荷沉重的主机中分离出来。在网络存储的发展过程中，SAN（存储区域网络）和NAS（网络附加存储）得到了迅速的发展。NAS是一种直接利用局域网，基于文件的存储架构，存储数据的传输也是基
11、于局域网。NAS的最大优点是可以很容易实现异构平台的文件共享，NAS的另一个优点在于其扩展性，因为存储单元可以比较容易地加入到网络中。然而，NAS存储在数据备份或存储过程中会占用网络的带宽，可扩展性有限，并且访问需要经过文件系统格式转换，所以是以文件一级来访问，不适合Block级的应用，尤其是要求使用裸设备的数据库系统。而SAN存储架构的出现弥补了NAS的不足，为存储系统的发展产生了巨大的推动力。SAN（Storage Area Network）存储区域网络，是一种通过网络方式连接存储设备和应用服务器的存储架构，这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时，数据可以通过存储区域
12、网络在服务器和后台存储设备之间高速传输。FC光纤通道技术使得存储系统的可升级性、稳定性、可用性和性能都大大加强。不过，它最大的优势是集中的管理，这就降低了总拥有成本。光纤通道主要应用在某些重要业务和高性能应用，如数据中心环境。然而，在过去8年以FC协议为主的SAN存储系统建设中，人们逐渐发现FC协议虽然基本解决了传输速度和扩大容量的问题，却难以完全承担起存储系统独立化的重任。FC SAN的互操作性仍是实施过程中存在的主要问题。SAN本身缺乏标准，尤其是在管理上更是如此。虽然光纤通道（Fibre Channel）技术标准的确存在，但各家厂商却有不同的解释，于是，互操作性问题就像沙尘暴一样迎面扑来
13、，让人猝不及防。这就导致了FC兼容性差、成本高昂、扩展能力差、异构化严重的问题。在存储以SAN的名义独立走上IT舞台的同时，IP和以太网技术在网络领域突飞猛进，在同样1997-2005的8年中，主流商用协议标准从10M发展到了10G，整整提升了1000倍，行业的发展动力和技术标准的成熟性已无可争辩。IP技术已经成为整个IT行业中最成熟、最开放、发展最迅速、成本最低、管理最方便的数据通讯方式。在经历了FC SAN发展的过渡性尝试后，整个行业开始考虑将FC传输技术替代为更加成熟可靠、成本更低的IP技术，以适应广域网数据应用、大规模服务器数据集中、海量数据存储等应用对新一代存储系统的要求，同时为“随
14、需应变”的IT新时代到来，奠定坚实的开放化标准基础。2003年，以IBM等公司共同发起的iSCSI（Internet SCSI）协议，通过IETF组织的审议，公布为RFC标准。iSCSI协议实际就是将标准的SCSI存储访问指令，打包到TCP/IP中进行传输。iSCSI标准一经公布，就以其低成本、高可管理性、天然的跨广域数据传输和管理能力、海量组网能力得到了业界的青睐。基于iSCSI协议构建的IP SAN存储，已崭露头角，成为新一代存储系统的标准，成为IT新时代围绕IP技术进行的网络与存储融合的标志性技术。由于iSCSI协议将SCSI数据传输的基础从封闭昂贵的FC协议转移到IP之上，使存储系统突
15、破了长期困扰着存储系统的兼容性、成本和管理性桎梏，使存储网格、广域数据传输、大规模服务器数据集中、远程容灾、高性能交换式存储架构等存储技术脱下昂贵的外衣，成为广大行业客户均能轻松获得的最新存储技术。随着iSCSI技术的完善，数据块级的存储应用将变得更为普遍，存储资源的通用性、数据共享能力都将大大增强，并且更加易于管理。随着千兆以太网的普及以及万兆以太网络的成熟，IP存储必然会以其性价比、通用性、无地理限制等优势飞速发展，iSCSI技术将联合SCSI、TCP/IP，共同开创网络存储的新局面！第3章 需求分析3.1 数字图书馆概述传统图书馆最主要的职能是收藏，并在对所收藏的图书资料进行保存和组织的基础上为读者提供各种服务。数字图书馆系统，是对有价值的图像、文本、语音、影像、影视、软件和科学数据等多媒体信息进行收集，进行数字化加工、存储和管理，实施知识增值，并提供基于网络的数字存取服务。数字图书馆还涉及到知识产权、存取权限、数据安全等一系列管理问题。媒介是信息传播的载体。传统媒介包括图书、报纸、杂志、单据、票据、文件、广播和电视等。传统的纸张作为信息媒介存在着巨大的浪费。以图书为例，成千上万册的书经过印刷、存储、运输、批发、销售等环节后才能送到读者面前，这样不仅成本巨大，浪费资源，而且环节众多，流通不便，造成的后果是，大量堆积的
