《沈阳大学——浪潮云海大数据一体机产品白皮书》由会员分享，可在线阅读，更多相关《沈阳大学——浪潮云海大数据一体机产品白皮书（13页珍藏版）》请在金锄头文库上搜索。
1、浪潮云海大数据一体机产品白皮书20148浪潮信息云产品部浪潮云海大数据一体机产品白皮书页 1目录1. 产品介绍 .21.1 产品定位 .21.2 产品特点 .22. 体系架构 .32.1 大数据一体机硬件组成 .42.2 大数据一体机网络拓扑 .52.3 大数据一体机软件架构 .63. 应用场景 .84. 关键技术特性 .95. 技术指标 .11浪潮云海大数据一体机产品白皮书页 21. 产品介绍1.1 产品定位浪潮云海大数据一体机（Inspur In-Cloud SmartData Appliance 以下简称 SDA或大数据一体机）面向行业大数据应用场景，是一体化数据处理的解决方案，采用新型
2、技术体系架构，整合软硬件系统，采用全分布式大数据处理架构，平台能够随着客户数据的增长和业务的扩张而不断线性扩展，解决了传统架构的扩展瓶颈，集成计算单元、存储单元、通讯单元、管理单元、等核心模块，涵盖数据存储、数据处理、数据呈现等全环节，是金融、电信、公安、交通、卫生等各个行业用户大数据分析处理平台的理想之选。1.2 产品特点新型技术体系架构采用全分布式大数据处理架构，平台能够随着客户数据的增长和业务的扩张而不断增长，并且能够保持极高的线性度，解决了传统架构的扩展瓶颈，系统在扩展至 120000 核心时依旧保持 0.8 左右的扩展效率；软硬一体化的系统集成计算单元、存储单元、通讯单元、管理单元等
3、核心模块，是对数据存储、处理、展现的全环节的解决方案，由浪潮统一开发，能够统一交付，集中管理，用户可以轻松完成；全局优化的系统浪潮云海大数据一体机产品白皮书页 3浪潮进行全局优化性能等技术指标大幅提升，在性能、可用性方面有了重大提升。16%：通过优化系统任务调度策略，动态调整任务执行资源，减少慢任务数量，任务执行时间平均缩短 16%以上；30%：引入 Reed-Solomon 算法，优化分布式散列数据布局，满足文件高并发和高带宽双重需求同时平衡数据冗余度，浪潮采用两副本加编码的方式相对三副本最大可实现 30%空间节省；50%：采用多级高速缓存，实现硬件加速。经测试，1TB 数据排序测试整体访问
4、性能提高 50%；系列化、产品化针对视频等重载应用、商业智能分析应用、海量并发的轻量级线程类应用这三类应用场景。云海大数据一体机根据用户应用特点提供个性化解决方案；国产化浪潮可提供基于飞腾处理器、浪潮云谷系统等产品的全国产化方案；在敏感行业、关键数据，保障数据核心处理平台的自主可控；专业化服务从业务分析、应用移植、应用开发到运维服务的全环节服务保障。解决用户在实施分布式数据理架构面临的软硬件部署、二次开发等实际问题，帮助客户实现由传统数据仓库向新型大数据平台的平滑迁移。2. 体系架构大数据一体机基于 Apache Hadoop 集群架构，由三个大的模块构成：底层基础架构基于浪潮的先进硬件平台，
5、软件部分则采用浪潮的专有 Hadoop 发行版来提供海量数据的存储与处理能力，通过浪潮软件、硬件的彼此优化与整合，形成一套高性能的软硬一体的平台解决方案，并经过大量的测试调优来保证整体系统的兼容性、稳定性和可靠性。在软硬件之上，还架构了一个可视化的管理界面来帮助用户对一体机的硬件、软件进程进行统一的管理和控制。浪潮云海大数据一体机产品白皮书页 42.1 大数据一体机硬件组成大数据一体机物理部署图（SDA30000 主柜）如上图所示，SDA 硬件上主要由管理节点，数据节点，管理交换机，计算交换机，KVM 控制器机柜等组件构成一体机组件 说明管理节点 采用 2 台高性能的 2 路，4 路或 8 路
6、服务器，用来执行集群中的文件访问管理，数据处理任务调度，节点性能监控和故障恢复等任务。两台服务器间互为冗余，实现管理节点的高可用性，保证集群可以持续对外提供服务。数据节点 专用的 2 路 2U 存储服务器，除系统盘外，配置了 12 块大容量硬盘，单节点可以提供高达 36TB 的存储空间和 192GB 内存容量。数据结点数量可以按客户具体需求配置，并可灵活线性扩展。管理交换机 对内提供 24 个 10/100/1000M 自适应电口，对外 4 个 SFP 非复用端口，交换容量为 208Gbps(全双工)，包转发率 51Mpps浪潮云海大数据一体机产品白皮书页 5计算交换机 对内提供 24-48
7、个万兆 SFP+端口，对外提供 4 个 40G QSFP+ 端口，支持冗余电源,支持 FcoE 接入，其中可支持 2/4/8Gbps FC 端口。交换容量 1.28T,包转发率 960MbpsKVM 控制器 1U 高度，可折叠式，整合 17LCD 液晶显示器、切换器、键盘及触控板于一体的抽拉式视频控制模块。机柜 19、42U 专用机柜，最高静载 1000kg；机柜两侧预留布线槽，强弱电分离布线，机柜上下方均可走线；前后门采用钢制网孔设计，保证前后通风，顶部有通风孔结构；1 个承重托盘，支持并柜并带有并柜遮条；自带 2 个线缆槽，配置专业工业PDU,可选 220V/380V 供电环境2.2 大数
8、据一体机网络拓扑大数据一体机网络拓扑图如图所示，大数据一体机具有两套相互独立的网络系统：管理网络和计算网络管理网络：采用千兆以太网连接一体机所有节点，实现节点的配置，管理和性能监控，并可以通过 IPMI 接口，实现远程开关机，虚拟设备挂载等带外管理功能浪潮云海大数据一体机产品白皮书页 6计算网络：采用万兆以太网连接一体机所有节点，一体机各节点间的数据交换和通信通过计算网络完成。文件服务器，ETL 服务器和应用服务器等相关系统可配备万兆网卡直接连入一体机，或者通过交换机万兆上联端口连入一体机计算网络进行数据交换和处理。2.3 大数据一体机软件架构浪潮云海大数据一体机软件架构在软件架构上，浪潮云海
9、大数据一体机支持多种 Linux 版操作系统，并采用浪潮自主研发的 Hadoop 商业发行版浪潮云谷系统（CloudCanyon ） 。浪潮云谷系统为用户提供稳定的、可靠的、易用的 Hadoop 平台，其组件包括 HDFS文件存储系统、MapReduce 框架以及 Hive 数据仓库、Pig 数据分析平台和HBase 数据库等。浪潮 Cloud Canyon 发行版产品功能如下 :商业套件 功能详解浪潮云海大数据一体机产品白皮书页 7分布式文件系统（HDFS） 高带宽集群文件存储系统 高可扩展性，无需停机无缝动态扩容 高容错性，数据自动复制和校验分布式协同工作系统（ZooKeeper） 高效的
10、选举算法，确保分布式系统一致性 保证集群数据及配置同步 实现统一命名服务分布式数据库（HBase） 分布式、面向列存储的、多维度的数据系统 数据自动切分和分布存储 高可扩展性，高性能 并发读写分布式计算框架（Map/Reduce） 高度并行和可扩展的分布式批处理计算框架 高容错能力，支持任务自动迁移和重试 合理调度任务，有效降低网络带宽 灵活的资源分配和调度，达到资源利用最大化分布式数据仓库（Hive） 高性能分布式海量数据仓库 强大的查询与分析功能 类似 SQL 的查询语言数据转移工具（Sqoop） 将关系型数据库导入到 Hadoop 的 HDFS 将 HDFS 的数据导入到关系型数据库分布
11、式数据处理（Pig） 大规模数据分析实现平台 系统自动化最优策略实现 高可扩展性，易于实现用户需求浪潮云海大数据一体机产品白皮书页 83. 应用场景云海大数据一体机是一体化的数据分析处理平台，可应对多种数据类型和多种数据处理需求，包括但不限于以下四种应用场景：海量数据存储：大数据一体机具备高性能的分布式文件系统，支持大吞吐量高并发访问，具有自我修复，动态扩展等特性，硬件配备了高密度大容量的硬盘和高速的数据交换网络，对外提供丰富的数据访问接口，非常适合监控视频，医疗影像，科研数据等大数据集的存储。批量数据处理：通过分布式计算框架 MapReduce,大数据一体机可调用所有节点的计算资源执行诸如数
12、据格式整理，数据类型转换，图片特征值提取，语音识别等数据数据处理任务，在处理过程中减少了数据在不同节点间的交换，降低了传输带宽的压力，极大的提升了处理效率。海量结构化数据在线查询：大数据一体机内置了列存数据库 HBase,它具有高效的查询性能和良好的横向扩展能力，支持高并发访问，百亿条的数据规模下进行查询可达到毫秒级响应，非常适合金融，电信等行业的历史交易详单查询以浪潮云海大数据一体机产品白皮书页 9及公安，交通等行业的道路卡口数据查询，快速身份信息查询等需。数据仓库：大数据一体机配备了数据仓库工具和 ETL 工具，可实现将数据从多种数据库，多个数据源抽取，转换最终加载到数据仓库中。数据仓库对
13、外提供标准 SQL 接口，可对接 SAS，Congons 等传统分析应用，适合各种面向分析应用的数据仓库场景。4. 关键技术特性针对企业用户对与数据分析处理的需求，大数据一体机在硬件上进行了定制化设计，在软件层面也在开源 Hadoop 基础之上进行了优化和较大的功能改进： 1.支持高速并发写入和高并发查询，每秒实现 10 万条以上写入和查询（记录大小 1K）；2.递交请求创建数据表，数据表需要能灵活改变 Schema；3.灵活的表结构，可动态改变和增加每一行的列，保证新旧数据共存；4.数据自动切分和分布，可通过增加服务器动态扩容，扩容过程中无需停机可持续服务；5.单台数据库节点失效会自动修复，所提供服务可自动迁移至集群中其他服务器；6.数据文件存放于分布式文件
