本文为Word版本,下载可任意编辑Hadoop并非完美:8个代替 HDFS 的绝佳方案 Apache软件基金会成立的时候,HDFS就一贯在想方法提高它的性能和可用性,坦白说,这或许对试点项目、特别规项目、要求不严格的大环境中比较适用,但是对于某些Hadoop用户来说,他们对于性能、可用性、企业级特性有较高的要求,且着重径直附加存储(DAS)架构,特别是老版本的Hadoop没有高性能的主节点,那么接下来8个产品就是代替HDFS的绝佳方案 1.Cassandra(DataSta*) 并非一个完全的文件系统,而是一个开源、NoSQL 键值(key-value)商店这给依靠快速数据访问的Web 应用多了一个HDFS选择简约来说它把Hadoop融合在Cassandra里面,支持Web应用通过Hadoop快速访问数据, 而Hadoop可以快速访问流入Cassandra的数据 2.Ceph Ceph 是一个开源、多管齐下的操作系统,由于其高性能并行文件系统的特性,有人甚至认为它是基于Hadoop环境下的HDFS的接班人,由于自2022年就有讨论者在查找这个特性 3.Cleversafe:分散存储网络 本周一Cleversafe宣布将融合Hadoop的并行编程技术和自己的分散存贮网络。
其原理是通过把整个元数据分布在集群中(不是依靠单个主节点、不是依靠复制),Cleversafe表示这比HDFS更快、更稳定、更具扩展性 4.GPFS(IBM) IBM一贯在向高性能要求的用户销售其并行文件系统,包括世界上最快的超级电脑,2022年它推出了基于Hadoop的.GPFS, 并宣布GPFS不共享集群版本比Hadoop快多了,由于 它在内核级别中运行,而不是在操作系统中运行例如HDFS 5.Isilon(EMC) EMC提供Hadoop发行版已经一年了,但2022年1月转型为HDFS企业级别的新方案Isilon 的 OneFS文件系统由于Isilon可以读取 NFS, CIFS以及 HDFS 协议, 一个单独的 Isilon NAS系统可以摄入、处理、分析数据 6.Lustre HPC存储提供商*yrate* 增在2022年的一份报道中写到, 基于Lustre的集群会比基于HDFS的集群更快更廉价 7. MapR文件系统 MapR 文件系统在业内已经具有肯定知名度了,不仅MapR宣布它自己的文件系统比HDFS快2-5倍(事实上有20倍),它还具有镜像、快照、高性能这些企业用户喜爱的特点。
8.NetAppHadoop开放方案 NetApp重新改版了物理Hadoop结构:把HDFS放在磁盘阵列中,通过这样来达到更快、更稳定、更安全的Hadoop工作 [Hadoop并非完满:8个代替 HDFS 的绝佳方案] 第 2 页 共 2 页。