大数据处理平台设计方案方案
1 ■ 2. 6. 1大数据基础平台
(1)架构设计
SDC Hadoop大数据基础平台集工作台、工作流开发环境、 任务调度、数据管理、数据检索、集群运维管理系统和应用 门户为一体，为用户提供基于大数据的基础解决方案，全面 满足不同行业、不同人群对大数据的个性化要求。其架构设 计如下图：
•运维管理(SDC Console)： SDC Console是大数据运维 管理系统，为SDC Hadoop供高可靠、安全、容错、 易用的集群管理能力，支持大规模集群的安装部署、 监控、告警、用户管理、权限管理、审计、服务管理 等。
• SDC Hadoop集成开发工具：提供了 web图形化方式操 作，包括流程控制、作业调度、数据管理、数据搜索、 元数据管理、文件管理等功能。
• HDFS: Hadoop 分布式文件系统(Hadoop Distributed
File System),提供高吞吐量的数据访问，适合大 规模数据集方面的应用。
• Zookeeper：提供分布式、高可用性的协调服务能力。
帮助系统避免单点故障，从而建立可靠的应用程序。
• HBase：提供海量数据存储功能，是一种构建在HDFS
之上的分布式、面向列的存储系统。
• Elasticsearch：提供了一个分布式多用户能力的全文
搜索引擎。
• Parquet：面向分析型业务的列式存储格式。
• YARN资源管理系统，它是一个通用的资源模块，可以
为各类应用程序进行资源管理和调度。
• Tachyon：分布式内存文件系统，可以在集群里以访问
内存的速度来访问存在tachyon里的文件。
• Redis：提供基于内存的高性能分布式K-V缓存系统。
• MapReduce:提供快速并行处理大量数据的能力，是一
种分布式数据处理模式和执行环境。
• Spark：基于内存进行计算的分布式计算框架。
• Strom：提供分布式、高容错的实时计算系统。
• Hive：建立在Hadoop基础上的开源的数据仓库，提供 类似SQL的Hive Query Language语言操作结构化数 据存储服务和基本的数据分析服务。
• Impala：提供SQL语义，能查询存储在Hadoop的HDFS
和HBase中的PB级大数据。
• Spark Streaming：建立在Spark上的实时计算框架，
通过它提供的丰富的API、基于内存的高速执行引擎, 用户可以结合流式、批处理和交互试查询应用。
• Kylin：支持在超大数据集上进行秒级别的SQL及OLAP
查询。
（2）功能模块
大数据运维管理
大数据运维管理为大数据存储供高可靠、安全、容错、 易用的集群管理能力，支持大规模集群的安装部署、统一监 控告警、统一用户权限管理、日志查询、服务管理等。
•服务管理
提供服务管理，支持对各项资源及服务进行创建、删除、 启停、重启、配置、升级、部署、维护等操作:
主页
耘所有运行状况问题CB 配置回，所有最新命令
• Cluster 1 (cdh
• m主机
® a Accumuto 1.6
• H HBase
• 0 HDFS
•童 Hive
• Hue
• ¥ Impala
® JS Kafka
• Key-Value Store..
• 0Oozie
• 3 Solr
• <1 Spark
• Spark (Standalo..
• 御 Sqoop 1 Client
• ® Sqoop 2
• 巢 YARN (MR2 IncL.
•』ZooKeeper
-7.0.数据包）
添加服务
启动
停止
重启
滚动重启
部署客户端配置
部署Kerberos客颅@理
升级群集
刷新群集
刷新动态资源池
Inspect Hosts in Cluster 启用 Kerberos
设置HDFS静态数据加密
查看客户端配置URL
重命名群集
配置CDH版本
进入维护模式
图表
礁CPU
-Clustery整个主机中的主机CPU使用率254%
唳成的Impala队列
30分钟1小
群集触IO
■各磁盘中的…415K/S ■各磁盘中的
■各 DataNode... 3.3b/s ■各 DataNode
•统一监控告警
提供集群监控功能，集成大数据服务、
可视化服务、数
据挖掘服务等，并对服务器CPU、服务资源、服务状态（警 告、错误、隐患）进行实时监控，并以图表形式呈现。支持 异常邮件报警，便于用户及时发现问题并处理：
主页
提供日志分析友好的Web界面,
可以帮助用户汇总、分
析和搜索重要数据日志
旧志
"30分钟在201牌7月28日.下午4点36 CST之前》网&《
＞选择源王根:-=r
WftHSBSJ INFO
30分钟1小时2』对6］的12-j*t 1夭7d 3M
I 改嗦的机器3.错误2.晾t间3680 ms更多斐计,怠
主机
>»(1001)1啊0313.(：001
画别时俱 £
Number of transactions: 416 Total tiae for transactions(as): 35 Nusber of transactions batchec
INFO
25牌7月28日下午4点06 FSEditLog
SS日主文件£
hadooDi.wvdata.corn
INFO
2016^7月 28日下午4点06 StateCbange
DIR" coopleteFile: /user/spark/applicationHistory/.a95121M-564a-45df-ac83-6ff9e249837b is de 杳着日主文件C
hadooDl.v>vdata_coni
INFO
2。1牌7月 28 日下午4点06 statechange
MR" ccapleteFile: /user/spark/^>plicationHistory/.763bfbda-f891-4c99-be5c-e9c520e88753 is de
S5日叔件e
hadooD2.wvdata—com
INFO
201晦7月28日下午4点06 SotrDiSpatchFilter
Could not consuae full client request
java.io.IOException: Strean closed
at org.apache.catalina.connector.InputBuffer.readByte(InputB
yester
展开阅读全文
温馨提示：
金锄头文库所有资源均是用户自行上传分享，仅供网友学习交流，未经上传用户书面授权，请勿作他用。
相关搜索