《云存储及云计算使用(运维)解析》由会员分享，可在线阅读，更多相关《云存储及云计算使用(运维)解析（17页珍藏版）》请在金锄头文库上搜索。
1、关于云存储使用情况的探讨和分析版本历史版本号修改日期修改人审批日期审批人版本说明/变更理由/变更内容V1.0.2013-4-1赵强首发变更说明：C：Create，初始创建；A：Add，增加内容；M：Mod，修改；D：Del，删除 一、Hadoop的介绍及优缺点分析：31、读写性能和数据安全32、易于扩展的集群架构33、有效分散集群压力44、高效的大数据分析4二、目前使用情况及反馈51、目前线上Hadoop使用情况52、针对目前线上环境的分析53、关于Hadoop集群服务器的选用74、关于nineCloud85、HBase86、监控10三、HBase和Oracle10四、HDFS作为分布式存储的
2、使用可能性分析13五、成功案例分析14六、发展方向151、SaaS方向152、数据挖掘方向17一、Hadoop的介绍及优缺点分析：Hadoop一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统 File System），简称HDFS。Hadoop拥有功能丰富的子项目，其中包括HBase、Hive、ZooKeeper等功能各异的子项目，灵活的使用这些项目可以轻松的做到云计算平台的构建。1、读写性能和数据安全Hadoop都是基于HDFS文件系统，HDFS可以有效的提高系统的
3、吞吐量，减少系统等待时间。HDFS是以磁盘为存储单位的，比如有三台服务器，每个服务器有三块硬盘，对于HDFS等于有九个写入单元，而传统的基于服务器的分布式存储等于只有三个写入单元。而且HDFS通过数据块进行备份的数据冗余机制，磁盘底层不需要而且不建议组建RAID，所以在可使用的磁盘空间上得到了更进一步的提升，而读写性能跟组建注重读写的RAID 0后的效果相同。HDFS对于磁盘读写速度的提升和对数据安全性的提升如下： 磁盘读写速度（RAID0=HDFSRAID1+0RAID5RAID1）磁盘数据安全（RAID1=HDFSRAID1+0RAID5RAID0）由此可见，HDFS可以达到RAID1的数
4、据冗余和RAID0的高速读写。在最新版本（测试版本或者第三方的商业版本）的Hadoop中，Hadoop提出了一个新的Name NodeHA功能，利用该功能可以有效地规避老版本的Name Node节点单点问题。2、易于扩展的集群架构而且Hadoop中的Data Node方便扩展，可以在不停止服务的状态下动态的添加新的Data Node节点进入集群，而且加入后也不需要重启整个集群，只需要正常配置Data Node节点并启动该节点，Name Node可以自动将该节点加入集群。为了方便集群启动时可以正常启动新加入的Data Node需要对Name Node服务器上的hosts文件及slaves文件进行
5、修改。3、有效分散集群压力Hadoop采用动态存储资源分配，可以将数据更平衡的分布于不同的Data Node节点，防止出现数据不平衡而造成部分Data Node节点请求过多，而其它Data Node节点没有请求的情况。就算有新的Data Node节点加入集群，Hadoop也可以通过一条命令简单的做到数据的重新平衡。当然这个操作最好在使用量低的夜间进行。Hadoop的数据的交换是不经过Name Node节点的，Name Node上保存的文件是直接从Data Node上收集而来，所以当用户使用Hadoop集群上的数据时，是直接从Data Node获取数据，这样做使得Name Node的压力得到缓解
6、。而且最新版的Hadoop还支持在一个Hadoop集群中分别创建多个Name Node节点，每个Name Node节点分别管理整个HDFS空间的一部分。使HDFS中的数据做到有效的隔离，并且当一个Name Node节点出现问题，不至于影响到整个集群中数据的访问。4、高效的大数据分析HBase作为Hadoop的一个子项目，主要用于数据的存储。HBase适合于非结构化数据存储的数据库。与常用的数据库不同的是HBase基于列的而不是基于行的模式。由于HDFS的特点，所以HBase非常适合大数据量的数据分析。系统架构上和Hadoop相类似同样在进行架构的扩展上十分的方便，当出现存储空间不足的情况时，只
7、需要添加进去新的Data Node节点就可以了。由于HBase是基于列的数据库，所以配合Hive可以发挥BI数据库的功能以达到数据分析的作用。加上HDFS分布式存储的底层支持，使得其在进行数据分析、数据挖掘上有一定的优势。但是Hive虽然提供了高级SQL的支持，但是对于专业的BI数据库上还略有不足针对BI/BO工程师不是十分友善。HBase于ZooKeeper等项目的组合应用，可以保证HBase的HMaster节点没有单点的问题出现。而HBase和Pig及Hive等项目一同使用时还能得到对高层SQL语言的支持。二、目前使用情况及反馈1、目前线上Hadoop使用情况HDFS总空间：10.74TB
8、已经使用空间：251.07GBName Node负载：平均小于0.1Data Node负载：平均在0.1左右通过iostat命令查看三台Data Node数据节点信息，内容如下：CPU的使用情况：avg-cpu: %user %nice %sys %iowait %idle 0.55 0.00 0.43 1.03 97.99硬盘的使用情况：Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtnsdb 5.85 120.85 90.12 779560090 581333808CPU的使用情况：avg-cpu: %user %nice %sys %i
9、owait %idle 0.34 0.00 0.30 0.36 99.00硬盘的使用情况：Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtnsdb 5.53 41.10 84.69 265108546 546324728CPU的使用情况：avg-cpu: %user %nice %sys %iowait %idle 0.62 0.00 0.60 0.74 98.04硬盘的使用情况：Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtnsdb 6.55 224.87 115.69 14505313
10、54 7462859842、针对目前线上环境的分析通过上面这些数值可以看出，目前Hadoop云平台的整体压力较小，Data Node数据节点的写操作相对比较平衡，读操作则slave3的读取数据远远大于其它两台设备。目前线上系统架构存在着一定的不合理性：Hadoop集群的服务器上尽可能的不部署其它应用，因为无论Name Node，还是Data Node其中Name Node负责镜像元数据的保存，随着业务量的增加这个文件的大小会越来越大，而且这个文件是全部加载进内存中的；而Data Node本身就是以进行计算和硬盘IO操作为主，而当有其它程序运行是势必会造成磁盘IO和CPU资源的抢占，降低效率，这
11、样的结果会进一步的降低Hadoop集群的响应时间。Hadoop集群的逻辑架构为：而物理架构上，Data Node1和Data Node2兼做LD和LD（B）服务器的作用，Name Node服务器同时还是CAS统一认证的服务端，Data Node3为CAS统一认证的服务端的备份。用户访问云平台的流程图：用户 SISS平台（支持中心） LVS NineCloud Hadoop云计算平台|-| Name Node Data Node | |-| |-| |-| |-| |-| |-|综上所述，由于目前集群的压力并不大，所以这些共用服务器的缺点还没有暴露出来。随着业务量的增加，服务器节点的访问量提高，
12、每提升一倍的访问量，Name Node服务器和Data Node服务器的访问量将提高三倍甚至四倍。并且通过用户访问云平台的流程可以看出一个用户的一次请求在现在的架构上，由于Name Node和SISS平台登录使用的是同一台服务器，所以该服务器会建立4个连接，其中两个是链接到NineCloud，另外两个连接是连接到用户的，而正常的情况下只会建立2个连接。由于目前访问量的压力不大，所以这种架构下还没有出现问题，但是随着业务的专业和访问量的进一步增大，这个节点的问题将逐渐的凸显出来。解决这个问题的方法相对比较简单，这里最好能够做到“专机专用”。由于这两个应用都会逐渐变成访问量较大，压力较重的服务器，
13、所以和其它应用共享一台服务器可能会出现问题，所以建议这两个应用分别在两台不同的应用上运行。而LVS和Data Node应用也同样存在着上面说到的问题。而且现在线上的云平台没有做安全方面的配置，加上Hadoop自身的安全控制非常简单，只包含简单的权限，即只根据客户端用户名，决定使用权限。它的设计原则是：“避免好人做错事，但不阻止坏人做坏事”。如果你知道某台Name Node的IP和端口，则可以很轻松获取HDFS目录结构，并通过修改本机机器用户名伪装成HDFS文件所属owner，对该文件进行删除操作。这一点尤其是在以后进一步进行异地机房备份时要注意，入侵者可以利用上面的安全问题伪装IP地址入侵到系统，对系统的安全性将产生很大的影响。这里在以后的工作中可以通过配置kerberos，可以实现身份验证。但很多管理员使用更简单有效的办法通过防火墙对访问IP进行控制或者异地机房通过路由器组建通讯隧道（路由间VPN）。3、关于Hadoop集群服务器的选用Hadoop集群主要分成两部分，既Name Node节点和Data Node节点。其中Name Node节点主要管理元数据的保存，而Data Node节点则是保存用户上传的数据。Hadoop不同的节点对于内存的需
