《金融领域 存储方案设计说明》由会员分享，可在线阅读，更多相关《金融领域 存储方案设计说明（19页珍藏版）》请在金锄头文库上搜索。
1、.专业整理.金融领域存储方案设计10142510253殷 擎10142510255俞彦琪近年来计算机网络信息系统在社会生产和生活中发挥着越来越大的作用。基于计算机技术的网络信息系统在很大程度上改变了社会对信息的处理能力，因而得到了广泛的应用。对于金融企业来说，信息的高度共享、数据的安全可靠是系统建设中优先考虑的问题，基于此，建设高性能的数据存储网络意义重大。第1章 领域介绍和数据存储需求分析1.1领域介绍“十八大”提出将金融改革列为未来十年发展的重中之重，中国主要金融企业也都制定了“十二五”发展规划，将依靠构建智慧型的数据分析体系（MIS）充分挖掘业务规律，以支持业务创新与服务创新。从未来发展
2、看，中国金融行业在“十二五”时期将重点实现发展方式转型：一，中国金融行业将建立全面的风险管理体制，向严监管转型；二，从粗放式管理向精细化管理转型，信息化重点也将从业务信息化向管理信息化转变；三，从“利润为中心”和“保单为中心”向“客户为中心”转型。由此，未来几年中国金融行业的IT投资规模将会持续增长。1.2数据存储需求分析1.2.1金融大数据需要可扩展性开放架构做支撑。大数据量必然要求金融企业IT基础设施更易于数据的整合与集中、扩展与伸缩，以及管理与维护，同时还必须具备良好的可靠性、可控性、安全性 。大数据在加强风险管控、精细化管理、业务创新等业务转型中将起到重要作用。首先，大数据能够加强风险
3、的可审性和管理力度，支持业务的精细化管理。当前中国银行业利率市场化改革已经起步，利率市场化必然会对银行业提出精细化管理的新要求。其次，大数据支持服务创新，能够更好地实现“以客户为中心”理念，通过对客户消费行为模式进行分析（比如事件关联性分析），提高客户转化率，开发出不同的产品以满足不同客户的市场需求，实现差异化竞争。在高频金融交易、小额信贷、精准营销等领域加速推进。目前大数据应用已经在金融业逐步推开，并取得了良好的效果，形成了一些较为典型的业务类型，如高频金融交易、小额信贷、精准营销等。 高频金融交易的主要特点是实时性要求高和数据规模大。最后，大数据在金融机构的精准营销方面也有着巨大的价值。基
4、于以上需求，金融行业对于大数据的存储和应用有着很大的需求。1.2.2灾备需求银行业已经基本完成了省级业务和数据的大集中，具备了比较强的容灾能力，但各地分行存储备份系统还需要进一步加强。一旦全国这个数据中心发生灾难事件，那么全国范围内的分支机构和开户企业、个人都将失去自己的存款记录、贷款记录，不能开展业务，这样的影响不是在一个市、一个省，而是在全国的范围，后果难以想象。国外一些发达国家，如：美国，在银行业的存储网络建设上起步早，早在上个世纪70年代就有灾难备份的概念和服务。在信息技术发达的欧美国家均对银行在保证数据完整性及业务连续性的责任上作出了明确的规定，在新加坡、中国香港金融管理局也对灾难备
5、份提出了要求，由此可见银行业数据的安全存储对于银行的生存至关重要。由于使用ATM机取款和刷卡消费越来越普及，这就要求银行必须保证24X7的不间断运行，以满足超大量用户的实时访问，一旦宕机或者系统发生故障，不仅严重影响银行业务的运营，更将严重影响客户满意度。所以建议租用网络存储空间，保证您24X7的在线服务。目前，银行缺乏足够的网络维护人员。因此，高效的网络存储建设十分必要。构建网络式存储，避免了巨大的额外支出，大大提高了存储系统的利用率。1.2.3具体需求1、 应用数据的全自动备份：减少系统管理员的工作量；增加备份效率、压缩备份时间；使数据备份工作形成制度化、科学化；消除备份过程因操作不当导致
6、的严重损失；声称远程保留的为灾难恢复目的的介质。2、 对介质的有效管理：增加软件对介质存储的限制，防止读写操作错误；保留介质内容的电子记录；对数据形成分门别类的介质存储，使数据管理更加细致、科学；自动校验介质，确保介质上的数据安全无误。3、 实现数据的集中管理：按备份服务器形成数据中心，对各种应用系统及其他信息数据形成集中的备份，减少每个应用业务人员的工作负担，免除客户端备份的投资；形成数据管理策略，保证数据的安全性。4、 实现数据的自动恢复：业务人员可容易地自动恢复文件的误删除；维护人员可以自动恢复损坏的整个文件系统。5、 建立历史数据归档：保留大量历史数据到电子介质，为商业竞争和企业发展保
7、留第一手分析和历史资料；有规范地归档，清除系统中被占用的空间以保证主机处于运行状态。6、 实现数据的分级存储管理（HSM）。7、防毒安全备份管理。第2章 数据特点分析和数据访问特点2.1数据特点分析1、 及时性有效性2、 准确性可靠性3、 连续性可扩性4、 开放性多功能性5、安全性保密性2.2数据访问特点快速增长的金融行业不光面临着市场变化快，产品更新快、营销策略变化快、业务运作变化快等挑战，还面临这信息安全存储和及时访问、信息的集中化存储信息存储整合、信息和数据的有效备份、及时的恢复、信息和数据的归档等技术应用层面的难题。相比其他行业，他们要在一个集中的点上，管理全国乃至全球极大的交易数据需
8、要瞬间数据访问、高安全性和异地存储等功能，金融机构对于灾后恢复时间的容忍度是所有行业中最小的。第3章 存储系统设计3.1磁盘选择选用DELL MD3600f磁盘阵列其规格为 3.5英寸 - 7,200 RPM近线SAS硬盘，容量规格为2 TB3.1.1接口类型因为采用近线SAS硬盘，所以其接口为串行SCSI接口。3.1.2盘块个数由于该领域某单位或企业当前实际数据量为2TB，预计该系统的数据每年增长量是30%按未来5年的需求设计，所以五年后数据量增加到2*(1+30%)5=7.5TB 。考虑到此项目我们考虑使用RAID10存储，所以应增加磁盘数量，所以数据量增到7.5*2=15TB所以此处在只
9、考虑存储数据，而不考虑业务连续性设计方案的情况下，应购买MD3600f的数量为8个3.2选择RAID级别3.2.1 RAID10和RAID5比较RAID10和RAID5对比，这里拿同样多驱动器的磁盘来做对比(4个相同的磁盘)，RAID5可以选择3D+1P的RAID方案，RAID10则可以选择2D+2D的RAID方案。从读写性能比较，读方面两者差异不大，但在写性能方面，RAID5的写代价为4，而RAID10写代价只有2，写性能角度RAID10要好于RAID5.从安全性角度考虑， RAID10的安全性高于RAID5。比如当盘1损坏时，对于RAID10，只有当盘1对应的镜象盘损坏，才导致RAID失效
10、。但是对于RAID5，剩下的3块盘中，任何一块盘故障，都将导致RAID失效， 在恢复的时候，RAID10恢复的速度也快于RAID5。 要求较高的空间利用率，对安全性要求不是特别高、大文件存储的系统采用RAID 5比较好。相反，安全性要求很高，不计成本，小数据量频繁写入的系统采用RAID 10的方式比较好。此处RAID10更加贴近于金融数据的存储，因为金融服务类领域小数据量频繁写入，而且其数据对安全性的要求更高。综上：选择RAID103.3网络存储架构选择3.3.1 SAN介绍SAN（Storage Area Network 存储局域网络）采用光纤通道（Fibre Channel）技术通过光纤通
11、道交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。在iSCSI出现以后，用以IP技术搭建的存储区域网络应运而生。以光纤搭建的存储网络是FC SAN，以iSCSI技术搭建的存储网络叫IP SAN。IP SAN基于十分成熟的以太网技术，使用标准的TCP/IP协议，数据在以太网上进行传输。新建立的SAN不但可以连接光纤通道设备，而且可以连接SCSI设备，这样保护了用户以前的投资。数据的可靠性和安全性在实际应用中十分重要。在SAN中可以采用双环的方式，建立存储设备和计算机之间的多条通路，提高了数据的可用性；建立虚拟专用网络可以提高数据的可靠性和安全性；同时在SAN中也可以通过建立双机容错
12、、多机集群，实现RAID校验等方式进一步保证数据的安全性和作业的连续性。3.3.2 FC-SAN的优缺点1. 采用光纤通道（Fibre Channel）技术，通过光纤通道交换机连接存储阵列和服务器主机，建立专用于数据存储的局域网络。2. 专用存储网络协议，传输速率高且稳定性好，高扩展性，配置灵活。3. 热插拔性、高速带宽、远程连接、连接设备数量大。4.成本高，不能提供跨平台文件共享。3.3.3 IP-SAN与FC-SAN的比较1）数据传输性能方面的比较在实际的对比测试中表明在同样的1Gbps的光纤链路（FC）与1Gbps的千兆以太网（IP）中进行数据传输时，FC的实际利用率在70%80%左右，
13、最高可达90%；而在千兆以太网中，其实际利用率平均在20%左右，最高也只能达到30%左右。在以太网中并不能提供针对存储大数据量以及I/O应用中所需要的好的性能。这也是在存储局域网设计之初没有考虑IP存储的原因，虽然TCP/IP传输协议的出现较FCP传输协议出现得早。2）存储设备的结构比较一般来说IP-SAN存储设备的磁盘控制器不是采用FC-SAN存储设备中的硬件RAID芯片+中央处理器的结构，而是每个磁盘柜中分为多个磁盘组，而每个磁盘组有一个微处理芯片控制所有的磁盘RAID操作（采用软件计算，效率较低）和RAID组的管理操作。这样一来，每一次磁盘I/O操作都将经过IP-SAN存储内置的一个类似
14、交换机的设备从前端众多的主机端口中读取或写入数据，而这些操作都是基于IP交换协议，其协议本身就要求每一个微处理芯片工作时需要大容量的缓存来支持数据包队列的排队操作，具有海量存储的时候，不可能所有的数据均载入到系统缓存中这个时候就需要大量的磁盘I/O操作来查找数据，而IP-SAN存储所采用的SATA磁盘在这一块性能非常弱，而且还涉及到一个在IP网络上流动的ISCSI数据向ATA格式数据转化的效率损失问题。也就是说IP-SAN存储存在一个缓存Cache到磁盘的数据I/O和数据处理瓶颈。而采用FC磁盘的FC-SAN存储设备就不存在这样的问题。通过2条甚至4条冗余的后端光纤磁盘通道，可以获得一个非常高
15、的磁盘读写带宽，而且FCP的磁盘读写协议不存在一个数据格式转换的问题，因为他们内部采用的都是SCSI协议传输，避免了效率的损失。而且FC-SAN存储设备由于光纤交换和数据传输的高效性，并不需要很大的缓存就能够获得一个好的数据命中率和读写性能，一般2Gb或者4Gb即可满足要求。另外由于具备专门的硬件RAID校验控制芯片，所以磁盘RAID性能将比软件RAID性能好很多，并且可靠性更好。3.）从存储能够相应的并发操作能力来看从应用上来说，相对于IP-SAN，FC-SAN可以承接更多的并发访问用户数。当并发访问Storage的用户数不多的情况时，FC-SAN对比IP-SAN二者性能相差无几。但一旦当外接用户数呈大规模增长趋势时，FC-SAN就显示出其在稳定、安全以及高性能传输率等方面的优势，不会像IP-SAN由于自身传输带宽的瓶颈而导致整个系统的被拖垮。面对大规模并发访问，无论是从外接用户数规模来说还是从传输性能和稳定性来说，FC-SAN都有着IP-SAN不可比拟的优势。综上：选择FCSAN，由于金融服务业数据并发性强，且数据价值量大，采用IPSAN无法满足对于速度、并发性、安全性的要求，相比之下，FCSAN使得数据传
