Hadoop不适用的场景

上传人:工**** 文档编号:552948648 上传时间:2023-06-08 格式:DOCX 页数:2 大小:24.25KB
返回 下载 相关 举报
Hadoop不适用的场景_第1页
第1页 / 共2页
Hadoop不适用的场景_第2页
第2页 / 共2页
亲,该文档总共2页,全部预览完了,如果喜欢就下载吧!
资源描述

《Hadoop不适用的场景》由会员分享,可在线阅读,更多相关《Hadoop不适用的场景(2页珍藏版)》请在金锄头文库上搜索。

1、Hadoop虽然强大,但不是万能的随着Hadoop应用的不断拓展,使很多人陷入了对它的盲目崇拜中,认为它能解决一切问题。虽然Hadoop是一个伟大的分布式大型数据计算的框架,但Hadoop不是万能的。比如在下面这几种场景就不适合使用Hadoop:1、低延迟的数据访问Hadoop并不适用于需要实时查询和低延迟的数据访问。数据库通过索引记录可以降低延迟和快速响应,这一点单纯的用Hadoop是没有办法代替的。但是如果你真的想要取代一个实时数据库,可以尝试一下HBase来实现数据库实时读写。2、结构化数据Hadoop不适用于结构化数据,却非常适用于半结构化和非结构化数据Hadoop和RDBMS不同,一

2、般采用分布式存储,因此在查询处理的时候将会面临延迟问题。3、数据量并不大的时候Hadoop一般适用于多大的数据量呢?答案是:TB或者PB。当你的数据只有几十GB时,使用Hadoop是没有任何好处的。按照企业的需求有选择性的的使用Hadoop,不要盲目追随潮流。Hadoop很强大。但企业在使用Hadoop或者大数据之前,首先要明确自己的目标,再确定是否选对了工具。4、大量的小文件小文件指的是那些size比HDFS的blocksize(默认64M)小得多的文件。如果在HDFS中存储大量的小文件,每一个个文件对应一个block,那么就将要消耗namenode大量的内存来保存这些block的信息。如果

3、小文件规模再大一些,那么将会超出现阶段计算机硬件所能满足的极限。5、太多的写入和文件更新HDFS是采用的一些多读方式。当有太多文件更新需求,Hadoop没有办法支持。6、MapReduce可能不是最好的选择MapReduce是一个简单的并行编程模型。是大数据并行计算的利器,但很多的计算任务、工作及算法从本质上来说就是不适合使用MapReduce框架的。如果你让数据共享在MapReduce,你可以这样做: 迭代:运行多个MapReducejobs,前一个MapReduce的输出结果,作为下一个MapReduce的输入。 共享状态信息:但不要分享信息在内存中,由于每个MapReduce的工作是在单个JVM上运行。

展开阅读全文
相关资源
相关搜索

当前位置:首页 > 办公文档 > 解决方案

电脑版 |金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号