《内存计算的现状、挑战与实践》由会员分享，可在线阅读，更多相关《内存计算的现状、挑战与实践（37页珍藏版）》请在金锄头文库上搜索。
1、金金 海海 华中科华中科技大学计算机学院技大学计算机学院 从今年的双十一看大数据处理的挑从今年的双十一看大数据处理的挑 战战 大数据不只是数量大大数据不只是数量大 内存计算：新的计算模式内存计算：新的计算模式 磁盘磁盘I/O是瓶颈是瓶颈 大幅减小大幅减小I/O操作操作 数据缓存在内存中数据缓存在内存中 内存计算：提升数据处理时效性的重要手段内存计算：提升数据处理时效性的重要手段 SPA HANA性能比传统磁盘系统性能比传统磁盘系统 提升提升408,000倍倍 内存文件系统内存文件系统I/O性能比性能比SSD提升提升1000多倍多倍 内存计算为什么 现在才涌现？ 64位CPU能够寻址16EB的数
2、据 DRAM的生产成本每12个月下降32% 市场上可提供TB级的DRAM 支持内存计算的软件逐渐浮现 MaM 2017年预测 内存计算：蓬勃发展远胜预期内存计算：蓬勃发展远胜预期 Gartner 2013年预测 Gartner 2015年预测 7 基于基于DRAMDRAM的内存计算模式面临的挑战的内存计算模式面临的挑战 nDRAM介质易失性 数据需要在内存和持久存储的外存之间交换，“数据I/O”瓶颈仍然没 有完全消除 nDRAM介质存储密度低 单个DRAM芯片的集成度已经接近极限，远不能满足大数据对内存容量 TB级甚至PB级的需求 nDRAM功耗高 随着内存容量的增大，DRAM 内存功耗占系统
3、总能耗的比例 可高达46%，静态功耗（刷新 操作）占DRAM总功耗的比例 接近50% n内存子系统成本高 单位存储容量的内存价格高昂 IBM POWER7子系统能耗子系统能耗比例比例 非易失存储技术的兴起非易失存储技术的兴起 12/8/2017 l ITRS（International Technology Roadmap for Semiconductors：国 际半导体技术蓝图）Projection 新型存储介质的性能不断逼近传统新型存储介质的性能不断逼近传统DRAMDRAM 12/8/2017 Intel-Micron 3D XPoint TechnologyIntel-Micron 3
4、D XPoint Technology Intel Non-Intel Non-V Volatile Memory Solutionsolatile Memory Solutions 12/8/2017 Intel Non-Intel Non-V Volatile Memory Solutionsolatile Memory Solutions 13 新型存储级内存（新型存储级内存（ SCM SCM ）为内存计算带）为内存计算带来曙光来曙光 新型存储级内存（新型存储级内存（ Storage Class Memory ）关键特性）关键特性 可按字节寻址（可作内存用） 持久存储，断电数据不丢失 比
5、NAND flash读写快1000倍，读延迟接近DRAM，写 延迟高1倍 耐久性比NAND flash 高1000倍，但存在 写寿命上限 存储密度比NAND flash高1000倍，比 DRAM高一个数量级 静态功耗接近“零” 14 重构虚拟内存结构：打破重构虚拟内存结构：打破I/O瓶颈瓶颈 内存计算：新结构内存计算：新结构 15 从以计算为中心转向计算与数据相结合的全新内存 计算架构 构建DRAM+SCM的混合层次/并行内存结构 “内存”：混合异构内存 体系 多通道“内存”访问能力 计算不仅在DRAM上，也 在SCM等新“内存”部件 上 数据不仅在DRAM上，也 在SCM等新“内存”部件 上
6、 采用了非易失性存储技术忆阻器 单机柜40个节点可共同分享160TB的内存资源， 是当前世界上最大的单机内存计算系统 16 CPU为中心的计算为中心的计算内存为中心的计算内存为中心的计算 HP: The MachineHP: The Machine HP: The MachineHP: The Machine 源自： HP高级工程师Dr. Kimberly Keeton在MSST17上的特邀报告 SNIA NVM Programming TWG SNIA NVM Programming TWG SNIA NVM Programming Model SNIA NVM Programming Mo
7、del v1.2 v1.2 Two NVM Programming Two NVM Programming MModes Overviewodes Overview 21 混合内存架构给软硬件生态系统带来巨大冲击 操作系统操作系统 体系结构体系结构 多机中间件多机中间件编程模型编程模型 混合内存混合内存 挑战问题挑战问题 数据管理数据管理 n体系结构体系结构 异构内存部件（NVM/DRAM）的组织与 管理（多通道、多层次？） 多核与大内存之间不断加大的带宽鸿沟 （内存级并行?） n操作系统操作系统 大容量内存的寻址问题（大页？段式结 构？） 面向混合内存的操作系统任务调度 n数据组织数据组织
8、文件结构、key/value store、数据库？ n编程模型编程模型 无需考虑磁盘I/O，数据持久化，计算存 储融合架构下的编程模型 n多机中间件多机中间件 内存池化，异构内存网络 非易失存储技术的安全挑战非易失存储技术的安全挑战 Limited endurance Wearout attacks Better architecting of memory chips to absorb writes Hybrid memory system management Online wearout attack detection Non-volatility Data persists in
9、memory after powerdown Easy retrieval of privileged or private information Efficient encryption/decryption of whole main memory Hybrid memory system management Multiple bits per cell Information leakage (via side channel) System design to hide side channel information 异构混合内存体系结构研究与开发 内存计算系统软件研究与开发 基
10、于内存计算的并行处理系统研究与开发 基于内存计算的数据管理系统研究与开发 23 面向大数据的内存计算关键技术与系统面向大数据的内存计算关键技术与系统 24 面向大数据的内存计算关键技术与系统 25 混合内存计算系统软件 混合内存计算系统模拟器和仿真器 26 集成多种策略库：集成多种策略库： 1. 基于基于DRAM-NVM平行异构内存架构策略库平行异构内存架构策略库 （1）考虑到行缓冲区局部性的（RBLA）动态页迁移策略 （2）基于多级队列的(MQ)动态热页迁移策略 2. 基于基于DRAM-NVM层次化异构内存架构策略库层次化异构内存架构策略库：软件管理的DRAM缓存 两种架构：两种架构： 1.
11、DRAM/NVM统一编址 异构内存架构 2.DRAM/NVM层次化异 构内存架构 基于基于Zsim和和NVMain的全系统混合模拟器，支持对多种存储介质和存储架构的模拟的全系统混合模拟器，支持对多种存储介质和存储架构的模拟 HME：轻量级的异构内存仿真器 基于NUMA架构的异构内存仿真环境 延时模拟：统计访问远端内存的 读写计数，通过IPI核间中断来 给执行程序的本地core注入空转 延迟 带宽模拟：限制远端channel上 内存控制器中单位时间内的内存 请求数量来进行节流 “HME: A Lightweight Emulator for Hybrid Memory”, DATE 2018 F
12、raction Cache: Memory Equalizer for Lateral Fraction Cache: Memory Equalizer for Lateral Management of Heterogeneous MemoryManagement of Heterogeneous Memory Fraction Cache Two level exclusive cache DRAM caches only a fraction of program data Three parameters: DRAM size, PCM size, cached fraction Ma
13、nagement Performance parameters: traffic between core and DRAM, core and PCM, DRAM and PCM Users specify performance objectives, leave the tuning and optimization to an automatic tool As an demonstration, we use fraction cache to minimize the need for DRAM while limiting the cost of data migration b
14、etween DRAM and PCM. “Memory Equalizer for Lateral Management of Heterogeneous Memory”, MEMSYS 2017 硬件支持的层次架构存在的问题 硬件开销大，灵活性低 缓存策略忽略数据热度，易造成缓 存污染 组相连结构导致DRAM利用率不高 解决方案：在平行架构上通过软硬 件协同设计逻辑上实现层次架构 扩展TLB和页表结构，维护DRAM到 NVM的直接映射 软件管理DRAM，实现全相联的 Cache 基于效用的DRAM Cache过滤机制 支持DRAM-bypass 29 软硬件协同管理的混合内存架构 实验结果
15、：对比硬件管理的DRAM Cache层次架构，可以提高某些应用（MSF）性能达4.7 倍，平均提高93%，对比平行架构，可以提高某些应用性能达55%，平均21%。 “Hardware/Software Cooperative Caching for Hybrid DRAM/NVM Memory Architectures”, ICS 2017 问题：传统基于命中率的Cache替 换算法在混合内存中效率低下 根源：异构内存架构下，LLC缺失 代价的不对称性 思路：Cache替换时兼顾局部性和 替换代价，时延感知的Cache替换 策略（MALRU） 提出新的评价存储系统性能的通用 指标：平均访存时
16、延Average Memory Access Time (AMAT) Cache替换原则：（1）尽量使NVM 数据块更久地驻留在LLC中；（2） 尽量使访问频繁的DRAM数据块驻 留在LLC中。 30 混合内存中时延感知的缓存替换策略 CPU LLC Memory Controller DRAMNVM NVM miss 60ns DRAM miss 150ns MALRU相比HAP最高有10.7%的性能提升，平均为5.7% MALRU相比LRU最高有22.8%的性能提升，平均为11.1% 对于cache thrashing的应用，MALRU提高了NVM的命中；对于 recency-friendly的应用，MALRU降低了平均的不命中开销 “MALRU: Miss-penalty Aware LRU-based Cache Replacement”, DATE 2017 混合内存中时延感知的缓存替换策略 Deca
