《闪存存储技术应对大数据挑战讲述》由会员分享，可在线阅读，更多相关《闪存存储技术应对大数据挑战讲述（34页珍藏版）》请在金锄头文库上搜索。
1、闪存存储技术应对大数据挑战 吴忠杰 zhongjie.wu 北京忆恒创源科技有限公司 Agenda 闪存技术 存储软件面临的挑战 高速数据存储管理系统 大数据存储展望 Q&A 闪存技术 企业级SSD发展 SATA/SAS SSD 接口及软 件协议 栈是性能 瓶颈 支持双端 口和企业 级应 用 PCIe SSD 高性能 采用私 有的传 输协 议 NVMe SSD 高性能 国际标 准 SSD的优势 高带宽、高高带宽、高高带宽、高高带宽、高 IOPSIOPSIOPSIOPS、低延迟、低延迟、低延迟、低延迟 低功耗低功耗低功耗低功耗 不断下降的价不断下降的价不断下降的价不断下降的价 格格格格 可预测数
2、据可可预测数据可可预测数据可可预测数据可 靠性靠性靠性靠性 高存储容量高存储容量高存储容量高存储容量 SSD的性能优势 2000 x 18x HDD、SATA_SDD以及NVMe_SSD性能对比 Memblaze NVMe SSD 国内首款高性能NVMe SSD Memblaze SSD技术 纠错码技术数据重读技术（Read retry） BCH/LDPC 解决NAND Flash的位误码问题 确保数据从NAND Flash颗粒可靠读取 数据持久化技术(Data Retention) NAND Flash间RAID技术（RAIN ） 确保数据在SSD中长期存储 确保数据在NAND Flash颗
3、粒间可靠存储 闪存转换层技术(FTL)磨损均衡技术（Wear Leveling） 实现SSD盘逻辑地址（LBA）和NAND Flash物理地址之间的映射 平衡SSD中NAND Flash颗粒磨损寿命 Dynamic / statistic / global wear leveling 存储软件面临的挑战 传统存储软件设计目标 减低磁盘寻道延迟、随机抖动，提高数据访问性能 CacheNCQ IO Scheduler Disk oriented data layout 传统存储软件栈 导出协议栈 （FC、ISCSI、NFS） 文件系统 卷管理系统 数据保护系统 多路径管理子系统 IO 调度器/SC
4、SI协议层 HBA驱动层 传统文件系统数据布局对SSD的影响 Superblo ck 组描述符 块位 图 Inod e位 图 Inode 表 数据区 0号块组1号块组 元数据区 Bitmap位图操作、频繁的元数据更新操作对SSD引入额 外的写放大，降低使用寿命，降低IO性能。 改变！存储介质发生了变化 高速存储性能瓶颈分析 CPU 单核无法发挥SSD性能 多核 共享资源 NUMA非对称访存 中断 大量中断 中断均衡 操作系统 内存拷贝 上下文切换 SSD特性 顺序写优于随机写 写惩罚 网络 IOPS/带宽瓶颈 存储 问题 高性 能计 算问 题 演变 面向高速存储介质的软件革新 NVMe 驱动
5、应用 面向高速介质的存储软件 （RISL architecture） 数据服务系统 FlashRAID 存储管理系统 NVMe 驱动 应用 高速数据存储管理系统 NVMe时代数据保护、卷管理何去何从？ 传统软RAID 低速存储解决方案高速存储解决方案 面向高速介质进行架构革新 解决高速存储介质新的问题 充分利用高速介质新的特征 Memblaze的答案： FlashRAID是什么？ FlashRAID是一款针对NVMe SSD数据保护、卷管理系统 普适NVMe SSD高速存储 介质 与Pblaze产品 配合提供绝佳 性能与可靠性 为NVMe SSD 提供数据存储 管理 为NVMe SSD 数据可
6、靠性保 驾护航 FlashRAID是什么？ 高速存储解决方案 LVM卷管理器 RAID数据保护 低速存储介质 FlashRAID 高速存储介质SCSI中间层/HBA驱动 NVMe驱动 数据库文件系统 数据库文件系统 FlashRAID 1.0产品主要特性 数据保护 （Data Protection） 可扩展性能 （Scalable Performance） 为NVMe SSD数据可靠性保驾护航 充分发挥NVMe SSD的性能 可扩展存储容量 （Scalable Capacity） 快速数据重构 （Fast Reconstruction） 存储容量线性扩展、简化存储容量管理 确保用户数据存储的可
7、靠性 一致的数据访问性能 （Consistent Performance） 统一存储资源管理 （Unify Storage Management） 确保用户IO访问性能的一致性 全面管理系统存储资源，简化存储管理 简便的系统管理 （easy system management） 存储资源精简配置 （Thin provisioning） 人性化的系统管理 简化用户存储配置管理 FlashRAID典型应用 通用服务器 FlashRAID技术架构 FlashRAID关键技术 存储资源池技术（Storage Pool）无锁IO处理模型（Lock-free IO handling model） 分离数据
8、保护域与物理存储资源域 加速数据重构性能，增强数据可靠性 确保系统性能的线性可扩展 提升CPU处理效率 全局磨损均衡/逆均衡可变长度条带（Variable Stripe） 延长SSD的使用寿命 避免多盘同时发生故障 减小SSD的数据写放大 智能数据重构（Smart data reconstruction）伪随机数据分配（Pseudo-random allocator） 确保数据可靠性 平衡SSD盘中存储资源，减少数据迁移 存储对象管理（Storage object）可靠元数据管理（Reliable Superblock Management） 简化存储资源管理 确保存储数据可靠性 创新架构：S
9、torage Pool 紧耦合传统RAID架构 SSDSSDSSDSSD 资源分配器 chunk RAID AlgorithmRAID Algorithm 存储对象 数据保护域 物理资源管 理域 创新技术：无锁IO处理模型 More CPUs, Higher Performance 创新技术：全局磨损均衡/逆均衡 Global Wear Leveling Anti Wear Leveling 使得整体SSD使 用寿命达到最长 避免SSD同 时发生故障 lifespan lifespan 创新技术：智能数据重构 优先级调度数据重构算法 数据感知重构算法 局部快速数据重构算法 提高数据可靠性，保证
10、数据在极短的时间内恢复 ，降低数据丢失的风险 FlashRAID性能评估（4 x Pblaze4） FlashRAID性能对比 6X 8.6X 1.6X 大数据存储展望 闪存在数据中心 松耦合集群分布式存储系统 p Scale Out p Commodity Server p All Flash 总结 SSD将成为数据存储的主流 价格不断下降、存储密度不断提升、性能大幅度提升 传统存储软件技术无法适应高速SSD的应用需求 传统存储软件成为性能瓶颈 无法解决新介质的问题，同时造成新的问题 FlashRAID是针对高速SSD的数据保护、卷管理系统 解决高速SSD数据保护、卷管理系统缺失的问题 促进高速SSD在企业级应用落地 闪存简化数据中心建设，为大数据时代服务 闪存降低数据中心建设TCO Q&A
