《存储知识点培训讲解》由会员分享，可在线阅读，更多相关《存储知识点培训讲解（23页珍藏版）》请在金锄头文库上搜索。
1、存储知识点培训 湖南安存科技有限公司 软件定义存储 我们知道软件是用户与硬件之间的接口界面。用户主要是 通过软件与硬件进行交流。早期为了大规模制造，降低制 造的复杂度和成本。许多功能都固化在硬件里，我们可以 称之为硬件定义。随着人民日益增长的多样化、个性化定 制的需求，以及更加智能、更加灵活所需的自动化的需求 ，出现了软件定义。 就是要将特定的硬件与软件进行解耦，将硬件的可操控成 分按需求，分阶段的，通过编程接口或者以服务的方式逐 步暴露给前端应用，分阶段地满足应用对资源的不同程 度、不同方面的灵活调用。 全局统一命名空间 全局统一命名空间将磁盘和内存资源聚集成一个 单一的虚拟存储池，对上层用
2、户和应用屏蔽了底 层的物理硬件。存储资源可以根据需要在虚拟存 储池中进行弹性扩展，比如扩容或收缩。 消除了SAN环境中经常发生的访问热点和性能瓶颈 问题。 基于标准协议 存储服务支持NFS, SAMBA, 以及原生协议， 完全与POSIX标准兼容。 现有应用程序不需要作任何修改或使用专用 API，就可以对存储服务器中的数据进行访 问。 负载均衡 其意思就是分摊到多个操作单元上进行执 行，例如Web服务器、FTP服务器、企业关 键应用服务器和其它关键任务服务器等， 从而共同完成工作任务。 在云存储中主要包含2层意思：一是原有负 载的均摊，二是扩容后的自动均衡。 根据空间利用和动态负载情况进行自适
3、应 负载均衡、数据自动迁移。 可靠性 容错能力可达99.9999% 可靠性容错能力可达99.9999% 6个9的存储系统，表示系统在连续运行1年 时间里，非人为故障可保持业务中断时间 不超过31秒。 与产品的工作模式相关。 元数据智能分布 元数据智能分布 服务器计算资源池 虚拟化SAN集群存储系统 无缝支持虚拟化、主流大数据平台 存储虚拟层 文件访问 (File) 资源池 各种通用存储池统一集合管理 物理主机 蓝宝石云存储系统 . 聚合带宽 纠删码冗余技术超融合 巨大容量 智能存 储节点 智能存 储节点 智能存 储节点 智能存 储节点 智能存 储节点 智能存 储节点. 物理主机 OSOSOS
4、Hyper-V/ESX 物理主机 OSOSOS KVM/ESX 块设备访问 (Block Device） 低功耗设计 吞吐量系统实测200万IOPS；聚合带宽系统实测100万GB/S 吞吐量和聚合带宽是衡量存储系统两个性能指 标。 吞吐量：指单位时间内进行读写（I/O）操作的次 数。 聚合带宽：指由并行文件系统中各台服务器的带 宽聚合所形成的对外统一的带宽值，可根据服务 器规模和配置方式进行扩展。 冷热数据管理 根据数据冷热程度自动在不同性能和可靠性的存储介质中 迁移数据，对外提供统一服务接口。 支持两种冷热数据管理模式： 分层存储，即热数据存储在快卷，达到性能的极致；冷数 据存储在慢卷，达到
5、可靠性的极致；这种模式存储空间利 用率高，但热数据的可靠性低于冷数据。 另外一种模式是缓存模式，即热数据同时会存储在慢卷和 快卷，这种模式下全系统数据的可靠性达到一致。 容错性能 1+N多副本指写一份数据存储同时复制 N份数据存储（N=1、2、3、N）。 K+M(原N+M)纠删码指K个原始数据数据 块加上M个校验数据块的结构，其中数据块 K和校验块M值都能够按照一定的规则设 定。存储系统支持此特性时，可做到系统 中任意M个数据块丢失或损坏的情况下，数 据可恢复，保持完好。 将文件按照一定的规则分为K份，使用预先定义的算法生成M份冗余码，其中数据 块K和校验块M的值能够按照一定的规则设定。在1M
6、个数据块（数据或校验都行） 损坏的情况下，整体数据仍可以通过计算剩余数据块上面的数据得出，整体数据不 会丢失，存储仍然是可用的。 我们实现时充分考虑原始数据和冗余码的分布，从而实现了对节点的容错。节点当 机时，正常业务不受影响，等结点修复上线后，存储系统会自动进行修复。 纠删码原理 如图：6+3纠删码组合，最大可容忍3个数据块同时损坏 纠删码与RAID p纠删码和大家熟悉的RAID技术看起来是有些 类似的，一条数据是由多个数据块构成，分 为数据块和校验块。但与RAID5/RAID6不同的 是，纠删码功能上来看最大的区分特点是校 验和数据的比例按K+M可调整，并且校验块数 量不再受限于两个，典型
7、的如12+4，6+3等 等。 p具备了跨节点容错能力。 数据恢复快 p数据恢复速度快，踢盘或者替换故障硬 盘最小恢复时间低于1分钟。 p采用传统RAID技术的存储系统在踢盘或 替换故障磁盘后通常需要长达十几小时 的恢复时间。 在线替盘 p支持在线替换故障磁盘和存储服务器， 数据在新插入的磁盘和存储服务器上自 动修复，支持跨节点数据恢复。 p任一节点的磁盘损坏后，可在任一其它 盘位恢复数据，且业务不中断。 存储系统常见故障我们的处理方式 p 坏道 指硬盘上的某些区域发生故障，写到其上的数据可能丢失。 p 引发原因： 自身质量的问题 硬盘维护不当 突然断电 用户使用的原因，使用上不能善待硬盘，比如
8、内存太少以致应用 软件对硬盘频繁访问，对硬盘过分频繁地整理碎片，不适当的超 频，电源质量不好，温度过高，防尘不良，震动等。 老化 p 解决方案：蓝宝石云存储在服务端可以定期自动检测坏道的出现，在 底层文件系统屏蔽坏道，在客户端通过数据恢复技术确保在坏道存在 情况下正常读写数据，并将恢复后的数据块写到健康位置。 存储系统常见故障我们的处理方式 p 坏盘 磁盘是存储系统中的易损部件，平均每年的故障率超过1%，在大 规模存储系统中将每天发生多个硬盘故障事件。 p 解决方案： 蓝宝石云存储首创了业界唯一的乱序热拔插技术，管理员可以 一种轻松的方式处理坏盘故障。 一般的硬盘故障可简单将故障盘拔出，然后插
9、入新盘即可，无 须其它任何人工操作，存储系统会在后台自动识别新盘并恢复 数据。 如果是硬盘背板故障，可在存储系统中任意位置找到空闲盘位 插入数据盘，硬盘上原有的数据将自动被识别，将传统的十几 个小时的恢复时间缩短到分钟级。 存储系统常见故障我们的处理方式 p 踢盘 指由于软硬件故障导致RAID卡将硬盘踢出阵列组合。在RAID存储系 统中，一旦发生踢盘故障，即使硬盘完好无损马上重新插入，该硬 盘将作为新硬盘识别并进行格式化，需要十几个小时的时间进行数 据恢复。 p 解决方案： 蓝宝石云存储通过硬盘的唯一标识和历史数据自动识别，彻底 消除了踢盘故障。 如果由于各种原因硬盘被弹出存储系统，只要重新插
10、入旧盘， 硬盘上原有的数据将自动被识别，将传统的十几个小时的恢复 时间缩短到分钟级。 存储系统常见故障我们的处理方式 p存储节点故障 指整台存储服务器发生故障离线，结点故障是传统RAID 存储系统的死穴。 p解决方案： 云存储通过纠删码数据切片技术将数据分散到K+M个 节点上，可以在故障存储节点不大于M个的情况下保 持数据的可靠性和可用性。 备份 数据备份是将数据以某种方式加以保留，以便在系统遭受 破坏或其他特定情况下重新加以利用的一个过程。 数据备份的核心是恢复，数据备份的意义不仅在于防范意 外事件的破坏，而且还是历史数据保存归档的最佳方式。 备份几种类型：全备份、增量备份、差量备份、按需备 份。 备份目的：灾难恢复、业务性恢复、归档。 容灾 是指在相隔较远的异地，建立两套或多套功能相同的IT系 统，互相之间可以进行健康状态监视和功能切换，当一处 系统因意外（如火灾、地震等）停止工作时，整个应用系 统可以切换到另一处，使得该系统功能可以继续正常工 作。 根据因素和不同的应用场合，容灾备份分为四个等级：1 、本地备份、本地保存的冷备份；2、本地备份、异地保 存的冷备份；3、热备份站点备份；4、活动互援备份（等 级最高）。 选择安存科技 医疗大数据分析和存储解决方案专家 湖南安存科技有限公司 长沙市开福区三一大道203号 0731-84228919
