大数据时代挑战与解决之道-中国存储--中国存储

《大数据时代挑战与解决之道-中国存储--中国存储》由会员分享，可在线阅读，更多相关《大数据时代挑战与解决之道-中国存储--中国存储（37页珍藏版）》请在金锄头文库上搜索。

1、大数据时代： 挑战与解决之道浪潮集团 2013 年 6 月提纲大数据时代面临的问题与挑战大数据时代面临的问题与挑战浪潮大数据解决之道浪潮云数据中心解决之道1 1成功案例云计算应用逐步发展成熟能对数据进行深度的加工利用，实现行 业应用的智能化4应用云计算平台，强关联部门共建分类的基 础数据， 实现信息资源的高度共享321搭建云计算平台，强关联部门的数据能够进行 集中和整合，初步实现数据共享和业务协同基本覆盖内部各项业务，且各业务之间连成一个整 体信息系统基本覆盖内部各项业务，但各业务之间应连未 连5云计算发展需要一个过程，现在已经从注重基础设施集中、数据集中，发展到业务集中阶段云计算应用进入大数

2、据时代数据收集原始原始 数据数据数数 据据数据过滤数据 处理信 息归纳演绎知 识推断决策 如何让行业信息化数 据，变成知识，最终 实现服务是关键多种数据类型的融合如何控制数据存储与数 据处理的性价比性能与扩展性矛盾如何满足大并发、快速响应结构化半结构化 / 非结构化 数据个 人 数 据物 质 世 界 数 据社 会 数 据多维度 综合分析CAP 定律： Consistency( 一致性 ), Availability( 可用性 ), Partition tolerance( 分区容错 性 ) 任何分布式系统只可同时满 足二点，没法三者兼顾。 大数据处理的需求给行业 云提出了更高的要求大数据处理的

3、问题与挑战 大数据处理技术体系在互联网公司洗礼多年，已经成熟 但使用门槛仍然很高，用户很难正确地实现系统优化配置及二次开发数据源数据 收集数据 存储数据 处理分析 及可 视化应用数据拥有者数据拥有者数据分析技术提供商数据分析技术提供商服务技术提供商服务技术提供商最终用户最终用户数据采集技术提供商 数据采集技术提供商 数据处理者数据处理者数据采集者 数据采集者 数据分析者数据分析者数据服务提供商数据服务提供商基础硬件商基础硬件商软件平台提供商软件平台提供商缺少一个从技术到 用户过渡平台，弥 补两者之间的鸿沟大数据处理的问题与挑战业务壁垒数据模型应用支撑类型、结构和模式复杂性数据、模型和学习不确定

4、性模式、行为和知识的涌现性数据导入困难应用移植风险维护管理复杂语言、服务多样 如何分析业务需求如何利用已有设施如何评估风险评估如何制定合理方案大数据处理的问题与挑战运维管理困难每年电费近1 亿 元制冷系统; 45% 供配电系统; 24%IT设施; 30%能耗问题更加突出每日平均利用率（ % ）010203040506070809010001020304050最高日利用率 (%)来源 :Uptime Institute 标本大小： 45 个数据中心资源利用率低下行业 每小时停机代价 制造 $84,000 交通运输 $270,000 零售、网购 $339,000 媒体、付费视频 $3,300,00

5、0 银行 $7,500,000 证券 $19,500,000 Source: Eagle Rock Alliance, LTD. 安全可靠需求更迫切提纲大数据时代面临的问题与挑战浪潮大数据解决之道浪潮大数据解决之道浪潮云数据中心解决之道2 2成功案例浪潮大数据解决之道存储管理分析共享和可视化软硬件一体的创新数据处理平台针对不同应用的系列化产品专业化的应用支持服务团队安全可靠的大数据处理方案获取软硬件一体化软硬件一体化适用于大数据处理的存储单元全局负载均衡动态可调整冗余编码多副本分布式共享缓存FDR 高速总线在线扩展适用于大数据的处理单元有针对性设计和开发的适用于大数据处理的通用计算单元、轻量计

6、算单元和重载计算单元。软硬件一体化全局交换网络 互连核心交换融合了数据通信与存储网络，实现对系统级消息通信、数据交换、以及 I/O 操作的统一支持，提高系统通信性能和扩展能力大数据核心交换优化的RDMA及 原子操作引擎虚拟化调度 加速 引擎拥塞 控制Qos虚拟通道 加速引擎PHYPCSLLPXGMIIPHYPCSLLPXGMIIPHYPCSLLPXGMIIPHYPCSLLPXGMIIPHYPCSLLPXGMIIPHYPCSLLPXGMIIPHYPCSLLPXGMIIPHYPCSLLPXGMIIPHYPCSLLPXGMIIPHYPCSLLPXGMIIPHYPCSLLPXGMIIPHYPCSLLP

7、XGMIIPHYPCSLLPXGMIIPHYPCSLLPXGMIIPHYPCSLLPXGMIIPHYPCSLLPXGMII大数据互联交换芯片 互连核心交换融合了数据通信与存储网络，实现对系统级消息通信、数据交换、以及 I/O 操作的统一支持，提高系统通信性能和扩展能力系列化批处理交互式数据总量非结构化TB 级EB 级模式复杂性结构化PB 级数据更新 模式响应 速度事务性仅追加数据挖掘 / 搜索等：均衡计 算、存储、 IO ， NOSQL 数 据库，分布式文件系统，分 布式数据处理传统关系数据库应用：通用 设备，关系数据库高清影视渲染 /3D 动画处理 等：专用加速硬件，或者可 重构加速器件，分

8、布式文件 系统，分布式数据处理系列化混合数据分析处理SDA-80000特殊行业数据分析SDA-10000实时分析、在线查询SDA-60000海量数据分析挖掘SDA-30000档案分析，在线交易行业关键数据处理系统 商业智能，医疗数据挖掘 ，智能交通，行迹追踪系列化SDA-80000SDA-60000SDA-30000SDA-10000处理器Xeon E7-8850 400CXeon E7-8850 160C Xeon E5-2650 432CXeon E5-2650 576CFT-1000 288C硬件加速GPU-FPGA 硬件 加速-内存10TB10TB9TB576GB高速缓存180TB18

9、0TB18TB18TB存储200TB300TB432TB432TB网络总带 宽400Gb720Gb720Gb360Gb软件基础组件 + 关系 型数据库基础组件 + 数 据分析套件基础组件基础组件安全可靠安全存储基于硬件加密数据密文存储安全可靠数据备份主站点同步镜像备份站点关键业务异步远程复制业务高可用备份服务器磁带备份快照 多层次的业务和数据高可用 体系 支持本地数据备份和异地远程数据备份等多种方式浪潮大数据处理平台大数据应用开发平台数据存储与集成Hadoop流式处理数据仓库离线数据分析在线数据分析系 统 管 理 与 监 控SQL 接口JDBC 驱动开发与调 试工具可视化REST API大数据

10、应用浪潮专业化服务1. 需求分析2. 解决方案3. 维护服务缩短开发周期实现数据共享降低管理风险提高安全和质量资深工程师提供在线指导服务专家提供现场指导运维服务评估业务需求分析已有基础设施风险评估推荐合理方案 专业的团队服务浪潮专业化服务多类型 / 多维度数据处理环节的复杂性决定了无法依靠单一类型的设备完美处理结构化 数据半结构 化数据非结构 化数据大数据 可视化数据关 联分析数据精 细划分 对不同数据 / 应用提供针对性方案为不同的应用类型和数据处理阶 段提供针对性的软硬件方案浪潮专业化服务数据规划 / 应用移植 开发应用支持数据建模数据分析提纲大数据时代面临的问题与挑战浪潮大数据解决之道浪

11、潮云数据中心解决之道浪潮云数据中心解决之道3 3成功案例云数据中心的演进云数据中心互联网客户机 服务器大型机1st 数据中心2nd 数据中心3rd 数据中心4th 数据中心基础设施分期建设基础设施分期建设资源高度融合动态流转资源高度融合动态流转统一智能运维管理统一智能运维管理PUE 显著降低PUE 显著降低海量数据存储与分析海量数据存储与分析浪潮行业云数据中心解决之道云海操作系统集中式 可调节 供电单 元全封闭 循环冷 却单元模块化结构组件结构化存储单元重载计 算单元通用计 算单元轻量计 算单元专用加速 计算单元非结构化存储单元主机安全组件主机安全组件数据安全组件数据安全组件基于模块化的单元迅

12、速搭建专业化、智能化、安全可靠 的云数据中心模块化 - 功能集中化集中化供电散热设计 高效率 低成本 高密度 易管理、易维护传 统 独 立 式 设 计计算模块风 扇功 能 集 中 化 设 计计算模块计算模块风 扇计算模块风 扇计算模块电 源电 源计算模块电 源电 源电 源电 源电 源电 源电 源电 源电 源电 源风 扇风 扇风 扇风 扇风 扇风 扇风 扇风 扇计算模块计算模块风 扇计算模块风 扇计算模块计算模块风 扇计算模块风 扇计算模块电 源电 源计算模块电 源电 源电 源电 源电 源电 源电 源电 源电 源电 源风 扇风 扇风 扇风 扇风 扇风 扇风 扇风 扇风 扇模块化 - 设计模块化功

13、能模块 统一标准设计系列产品 散热、供电和节点单元、 监控管理模块化设计 标准结构规格 标准接口设计19” 标准宽度标准 深度标准 接口 自由组合标准 高度 基于不同应用的系列化产品 灵活升级供电模块散热模块前视图后视图供电 模块节点 模块机柜 模块管理 模块制冷 模块 功率分级6KW/RACK 、 12KW/RACK 、 24KW/RACK 支持不同供电方式AC 、 HVDC 、 LVDC 、Dual Input 冗余级别N+1 、 N+N 风冷模块、可选不同规格风扇 液冷模块 蒸发冷却模块行业云数据中心运维管理云海 OS 资源池化网络通用计算池通用计算池重载计算池重载计算池专用加速 计算池

14、专用加速 计算池结构化数据 存储池结构化数据 存储池非结构化数据 存储池非结构化数据 存储池WEB 网站银行交易ERP动漫渲染数据库物理设备物理设备虚拟化虚拟化按需组合按需组合服务器网络存储计算池网络池存储池资源分组资源分组行业云数据中心运维管理云海 OS 资源交付网络用户HTTP,SSL,VPN资源申请资源使用应用环境的产生资源管理云端系统管理员资源池资源池用户云务门户应用环境资源按需供给资源按量计费虚拟镜像管理服务质量管理计算池网络池存储池行业云数据中心运维管理云海 OS 性能调优采用 Reed-Solomon 算法，优化分布式散列数据布局，满足文件高并发和高带宽双重需求同时平衡数据冗余度

15、多副本存储冗余编码存储冗余编 码优化系统任务调度策略，对任务实现实时监控，并动态调整任务执行资源，减少慢任务数量，提高整体性能行业云数据中心运维管理云海 OS 资源管理云数据中心 操作系统服务器数据库安全设备网络设备中间件机房环境IT 资产数据中心软硬件资源故障分布视图图形化输出拓扑图系统日志故障日志操作日志日志管理邮件报警多手段告警短信报警颜色报警语音报警实时监控图环境监控温湿度 UPS数据流分析DataflowNetflowSflow数据流分析DataflowNetflowSflow应用服务管理服务器管理中间件管理数据库管理应用服务管理服务器管理中间件管理数据库管理通用报表报表分析报表输出存储设备提纲大数据时代面临的问题与挑战浪潮大数据解决之道浪潮云数据中心解决之道4 4成功案例成功案例成功案例济南公安 针对云计算、物联网、移动互联网，特别是大数据应用技术发展，审时度势 ，把握机遇，提高对外服务水平，这是济南公安关注的问题。 让数据产生价值，从数据到信息，再从信息到知识，用于指导公安业务实践 ，这是一个目标，它需要通过一定的步骤，逐步加以实施。第一步就是要建 立一个软硬件大数据处理一体化平台， 济南公安承担了公安部”公安警务云”的试点，通过云计算应用 ，济南公安对 200 多个应用的数