《UCP for 大数据解决方案》由会员分享，可在线阅读，更多相关《UCP for 大数据解决方案（30页珍藏版）》请在金锄头文库上搜索。
1、 Hitachi Data Systems Corporation 2014. All rights reserved.1 Hitachi Data Systems Corporation 2014. All rights reserved.1HDS 统统一计计算平台的 大数据解决方案HDS channel enablement Team Cicean Wang Hitachi Data Systems Corporation 2014. All rights reserved.2议程什么是大 数据？HDS 和大数据大数据 应用案例大数据成 功案例 Hitachi Data Systems C
2、orporation 2014. All rights reserved.33什么是大数据？什么是大数据？ 它真正的含义是什么？ Hitachi Data Systems Corporation 2014. All rights reserved.4大数据及大数据时代“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人 们对于海量数据的挖掘和运用，预示着新一波生产力增长和消费者盈余浪潮的到 来”麦肯锡您将会面对的是16.4 Exabytes In 201035 Zxabytes In 2020IDC 做出估算30 倍这这这这不是不是简单简单简单简单 的数据增多的的数据增多的问
3、题问题问题问题而是而是全新的全新的问题问题问题问题 Hitachi Data Systems Corporation 2014. All rights reserved.5大数据的定义（4V）海量（Volume）多样（Variety）快速（Velocity）价值（Value）3亿用户，每 天上亿条微博 中型城市每 月数十亿智 能电表数据 2015年全球移 动终端产生的 数据量6300PB 卫星图像个人信息M2M 日志文件传感图像视频音频非结构化数 据将占到 75%-85%增长速度快用户基数庞大 设备数量众多 实时海量数据 数据指数级别增长 单条数据并无太 多价值，但庞大 的数据量蕴含巨 大财富
4、 Hitachi Data Systems Corporation 2014. All rights reserved.6存储理解控制大数据最终的目的大数据可以从根本上提高洞察力 获得洞察力！跨越鸿沟输入数据$ 提高收益$提高投资回报率扩大客户数量大数据分析处处理的最终终目标标！ 从复杂杂的数据集合中发现发现 新的关联规则联规则 ， 继继而进进行深度挖掘，得到有效用的新信息 Hitachi Data Systems Corporation 2014. All rights reserved.7大数据-第三次浪潮的华彩乐章2012年3 月份美国奥巴马政府发布了大 数据研究和发展倡议(Big Da
5、ta Research and Development Initiative)，投资2 亿以上 美元，正式启动“大数据发展计划”。计划在 科学研究、环境、生物医学等领域利用大数 据技术进行突破。奥巴马政府的这一计划 被视为美国政府继信息高速公路 (Information Highway)计划之后在信息科学 领域的又一重大举措。与2013年12月 贯彻落实广东省信息化发展 规划纲要（2013-2020年），加快物联 网、云计算、大数据等新一代信息技术创 新应用，推进我省智慧城市建设，打造珠 三角世界级智慧城市群，全面提升全省信息 化发展水平。广东省委副书记 朱小丹广东省经济 和 信息化委员会 副
6、主任，党组 副书记邹 生 Hitachi Data Systems Corporation 2014. All rights reserved.8我们为什么需要大数据 在没有大数据技术之前，无论是机器，还是人工方式，无法获得 全量样本。以人口普查为 例，如果挨家挨户调 研，甚至随机抽取 做调研，都非常耗时，费力，很多国家甚至做不到每年发布一次 在没有大数据技术之前，大量海量数据中非结构化数据，分析与 计算，几乎是一个不可能逾越的鸿沟，更别说 挖掘价值了。 在没有大数据技术之前，分析数据仅作为参考目前现状的理论依 据，也就是经验说话 ，数据无法实时 展现价值。 在没有大数据技术之前，有原因所以有
7、结果，维度由于分析能力 有限，无法表现其真正意义，相关而非因果。价值变革价值变革经济经济变革变革 Hitachi Data Systems Corporation 2014. All rights reserved.99大数据应用案例大数据应用案例 将大数据承诺转化为巨大的价值 Hitachi Data Systems Corporation 2014. All rights reserved.1010从“谷歌流感趋势”工具看大数据应用跟踪搜索词相关数据来判断全美地区的流感情况这个工具工作的原理大致是这样的：设计 人员置入了一些关键词（比如温度计、流 感症状、肌肉疼痛、胸闷等），只要用户 输入
8、这些关键词，系统就会展开跟踪分析 ，创建地区流感图表和流感地图。谷歌多 次把测试结 果（蓝线）与美国疾病控制和 预防中心的报告（黄线）做比对，从图可 知，两者结论存在很大相关性。 Hitachi Data Systems Corporation 2014. All rights reserved.11以银行信贷审批决策为例 Hitachi Data Systems Corporation 2014. All rights reserved.12用户移动轨迹和精准用户群集分析应用 Hitachi Data Systems Corporation 2014. All rights reserved
9、.13实时精准营销-只给最近的你 Hitachi Data Systems Corporation 2014. All rights reserved.1414HDSHDS统一计算平台统一计算平台 支撑大数据应用的IT架构实例 Hitachi Data Systems Corporation 2014. All rights reserved.15新的大数据技术传统数据库处理方式池塘捕鱼新的大数据处理方式大海捕鱼待待处处理的数据理的数据数据规模数据类型模式和数据关系处理对象处理工具 Hitachi Data Systems Corporation 2014. All rights reserv
10、ed.16数据的自由度和性能矛盾。 固定字段、维度的表结构，限制 了数据的入库和拓展。数据处理 数据库 中间件 索引及应用开发J2EEStorageFilesytem/LUNDatabaseJ2EEJ2EEWebWebWebWebWeb数据索引方式的瓶颈，依赖文件目录结构（NAS）或私 有的位图块表结构（Block）。 非结构数据还需要上层数据库或文件系统提供索引；面对大数据传统IT的架构的瓶颈 存储成本（TB）20,000 rmb 数据库和中间件（TB） 15,000 rmb 计算（TB）30,000 rmb 技术服务（TB）10,000 rmb 应用服务 依赖合作伙伴 总体拥有成本（TB）
11、 75,000 rmb Hitachi Data Systems Corporation 2014. All rights reserved.17数据的膨胀带来更高的成本，但是已有的存储方式不支持线数据的膨胀带来更高的成本，但是已有的存储方式不支持线 性扩展，还带来了数据管理性能的低下性扩展，还带来了数据管理性能的低下问题问题后期维护成本低下的数据管理性能存储扩容成本面对大数据传统IT的架构带来的问题 Hitachi Data Systems Corporation 2014. All rights reserved.18新的大数据处理技术-Hadoop核心思想：分布式+经济Hadoop :
12、分布式，大数据集，延时， 离线计算 NoSQL : 分布式，小数据集，灵活，实时 ，快速读写 Hitachi Data Systems Corporation 2014. All rights reserved.19天云&HDS大数据混合计算一体机J2EEWeb离散的计算整合的计算HDS CR 220SHadoop DistributionsStreamingSearching IndexMemDBBDP (BeagleData Platform)Integration/Autumation/Monitoring/Scheduling/MaintainanceData Mgnt: DataVi
13、ew Easy Fail sensedata zip/data lifescycleDR（Optional）BDA (Beagle Data Accelerator)机器学习组件包（Optional）BDF (Beagle Data Flow) 大数据中间件SaaS/DaaS Hitachi Data Systems Corporation 2014. All rights reserved.20天云&HDS提供混合计算的能力HDS CR 220SHadoop DistributionsStreamingSearching IndexMemDBBDP (BeagleData Platform)
14、Integration/Autumation/Monitoring/Scheduling/MaintainanceData Mgnt: DataView Easy Fail sensedata zip/data lifescycleDR大数据储存大数据处理数据分享数据检检索数据分析数据展现现 Hitachi Data Systems Corporation 2014. All rights reserved.21基于事件的可视化管理快速就绪的大数据平台天云大数据平台: BDPHadoop集群部署与管理 Hitachi Data Systems Corporation 2014. All rig
15、hts reserved.22管理控制台HA管理集群性能监控节点性能监控 集群磁盘监控告警类型可视化的运维管理天云大数据平台: BDP Hitachi Data Systems Corporation 2014. All rights reserved.23天云&HDS 解决方案产品配置规格型号大数据一体机 满配大数据一体机 半配管理服务器2台CR220S服务器，每服务器配置： 2* Intel Xeon E5-2470 64G内存 2*300 GB硬盘，12*3.5寸3T硬盘 1个4端口高性能千兆以太网卡2台CR220S服务器，每服务器配置： 2* Intel Xeon E5-2470 64
16、G内存 2*300 GB硬盘，12*3.5寸3T硬盘 1个4端口高性能千兆以太网卡数据服务器14台CR220S服务器，每节点配置： 2* Intel Xeon E5-2470 64G内存 2*300 GB硬盘，12*3.5寸3T硬盘 2个高性能千兆以太网卡6台CR220S服务器，每节点配置： 2* Intel Xeon E5-2470 64G内存 2*300 GB硬盘，12*3.5寸3T硬盘 2个高性能千兆以太网卡网络与交换2台可管理全千兆以太网交换机2台可管理全千兆以太网交换机其他选配硬件附加硬件组件： 1U机架式KVM 标准42U机柜 外置UPS供电设施（选配）附加硬件组件： 1U机架式KVM 标准42U机柜 外置UPS供电设施（选配） 大数据软件BeagleData Platform V1.5 16节点License授权BeagleData Platform V1.5 8节点
