《POWER大数据解决方案介绍及案例分享(51页PPT)》由会员分享，可在线阅读，更多相关《POWER大数据解决方案介绍及案例分享(51页PPT)（51页珍藏版）》请在金锄头文库上搜索。
1、POWER大数据解决方案介绍及案例分享IBM Power资深系统架构师第一页，编辑于星期日：十二点 五十二分。Agenda PowerPower，为大数据而设计，为大数据而设计Power 大数据方案介绍应用场景和案例分享第二页，编辑于星期日：十二点 五十二分。3现实世界中的数据量呈爆炸式增长46 亿移动电话用户13 亿 RFID 标签 in 200530 亿 RFID标签 by 201020 亿 Internet 用户by 2011Twitter 每天处理7 terabytes 数据Facebook 每天处理10 terabytes 世界气象数据中心220 Terabytes 网页数据9 Pe
2、tabytes 其他数据资产市场数据量增长1,750%,2003-06第三页，编辑于星期日：十二点 五十二分。4数据爆炸的时代，赢得数据才能赢得世界数据是新的自然资数据是新的自然资源源基于数据的决策基于数据的决策更加复杂更加重要更加复杂更加重要数据的爆炸式增长数据的爆炸式增长超出系统能力超出系统能力第四页，编辑于星期日：十二点 五十二分。大数据计算需要什么样的硬件平台？OLAPDWBigDataSQLNoSQLNewSQLRDBMSHadoopSpark批处理交互分析流计算更大容量更低成本更大容量更低成本更快的处理速度更快的处理速度支持多样化的计算类型支持多样化的计算类型横向扩展的能力更大更多
3、的磁盘更少机器更少空间和耗电更低的造价游戏Map-ReduceHPC图像渲染云存储工业仿真计算计算密集密集消重/归档风险分析IOIO密集密集流计算实时分析/交互分析更快的CPU更多的线程并行更大的内存容量和带宽更大的IO带宽Flash加速大数据处理技术的发展，对硬件提出了更高的大数据处理技术的发展，对硬件提出了更高的要求要求灵活的硬件配比支持从计算密集到IO密集多种计算类型灵活定制硬件创新，CPU、GPU和混合计算多种计算负载的混合调度第五页，编辑于星期日：十二点 五十二分。6认知知计算能力算能力持持续数据加数据加载性性能能海量海量IO带宽低延低延迟极端极端Flash性能加速性能加速网格网格扩
4、展存展存储私有云私有云公有云公有云Traditional IT混合云混合云为为Big DataBig Data而而而而设计设计软软件定件定件定件定义义+云化云化云化云化开放和开放和开放和开放和协协作作作作创创新新新新Power8基于云的实时、敏捷、高效和开放的架构才能满足新计算时代的需求第六页，编辑于星期日：十二点 五十二分。Power8-迄今最快的CPUPower更强大的计算能力更强大的计算能力意味着更快的数据洞察意味着更快的数据洞察查询报告预测分析认知计算大数据和分布式并行计算场景，仍然需要更强大的CPU第七页，编辑于星期日：十二点 五十二分。Power8性能对比测试test machin
5、eCPUMemory(GB)Core NumberTPSPer core performance(TPS)PKDL 380p E5-26502.2Ghz642*6=1212 core physical box19001581Power8282-22APower83.93GHz16dedicated 1 1 core LPAR7907907905.0 x5.0 xSPECjEnterprise2010benchmark,1.76x coretocoreadvantagethanSPARCT5Oracle Siebel CRM 8.1.1.x benchmark,6.7x core to core
6、 advantage than SPARC T51.76x6.7x第八页，编辑于星期日：十二点 五十二分。Power8 业界最高的8并发超线程Power8更多的超线程更多的超线程意味着更高的并发性意味着更高的并发性更多用户更多活动作业SMT8 技术允许在同一个物理CPU核心上同时运行8个独立的指令或线程，比Power7的SMT4高了一倍，是Intel上的超线程技术的4倍可以按需在不同模式见动态转换：SMT1/SMT 2/SMT4/SMT8第九页，编辑于星期日：十二点 五十二分。Power8更大的内存，更宽的内存带宽，更快的内容读写更大的内存，更宽的内存带宽，更快的内容读写意味着更适合内存计算场
7、景和计算密集型场景意味着更适合内存计算场景和计算密集型场景更大的内存数据库更大的OLAP多维立方体更快的内存思想性分析更高效的实时数据分析Power8 超大内存带宽较POWER7内存带宽提升2.3倍，是x86的4倍每处理器支持1TB内存，高达192GB/sec内存带宽单台Power8服务器最多可支持230.4GB/sec内存带宽史无前例的片上96MBL3cache创新内存缓存芯片，进一步提高内存读写速度第十页，编辑于星期日：十二点 五十二分。Power8 更大的I/O带宽更快的更快的I/O读取意味着更适合数据密集型场景读取意味着更适合数据密集型场景更低的数据读写延迟更高的数据读写速度创新I/O
8、协处理硬件，软件功能硬件加速较POWER7,内存带宽提升2.3倍内置内置 PCIe Gen 3 PCIe Gen 3 支持支持直接处理器集成取代专属 GX/桥接低延时Gen3 x16 带宽(32 GB/s)PCIe Gen3x16x8x16x8Power8 I/O带宽测试第十一页，编辑于星期日：十二点 五十二分。Power灵活配比方案，支持更多计算类型Small PODMedium PODLarge POD ALarge POD BDriveType2.5”10KRPM1.2TBSFFSAS2.5”10KRPM1.2TBSFFSAS3.5”7.2KRPM4TBLFFSAS+2.5”10KRPM
9、1.2TBSFFSAS3.5”7.2KRPM4TBLFFSAS+2.5”10KRPM1.2TBSFFSASNumberofDrives123660LFF+12SFF60LFF+24SFFAvailableStorage14.4TB43.2TB254.4TB268.8TBSmallPOD1P8S822Lw/InternalDrivesMediumPOD1P8S822Lw/EXP24SLargePODB2P8S822Lw/1DCS3700LargePODA1P8S822Lw/1DCS3700Power大数据最佳实践从计算密集型到数据密集型都有灵活的配比方案性能、容量和成本的最佳平衡ComputeD
10、enseStorageDense第十二页，编辑于星期日：十二点 五十二分。Power8 无处不在的RAS处理器指令重试备用处理器恢复可选择动态固件更新Chip kill 内存ECC 二级缓存、三级缓存带故障监控功能的服务处理器热插拔磁盘托架热插拔并发维护 PCIe 插槽热插拔冗余电源和散热风扇动态处理器重新分配PCI 插槽上的扩展错误处理Power8远超x86的高可靠设计第十三页，编辑于星期日：十二点 五十二分。CustomCustomHardwareHardwareApplicationApplicationPOWER8POWER8CAPPCAPPCoherence BusCoherence
11、 BusPSLPSLFPGA or ASICFPGA or ASIC可自定可自定义的硬件的硬件应用程序加速器用程序加速器 特定的系统软件、中间件或用户应用程序 写入 PSL 提供的持久接口 POWER8POWER8PCIe Gen 3PCIe Gen 3Transport for encapsulated messagesProcessor Service LayerProcessor Service Layer(PSL)(PSL)向应用程序提供成熟的、稳定的接口 降低 CAPP 的复杂性和工作负载虚虚拟寻址址加速器可以与处理器一样直接对内存进行寻址与处理器运行程序一样使用指针消除操作系统和设
12、备驱动程序的额外开销Power8创新CAPI接口，开放定制硬件加速硬件管理的硬件管理的缓存一致性存一致性使得加速器能作为正常线程参与“Locks”，降低 IO 通信模型中的延迟基于Power8 CAPI加速接口，为大数据进行硬件创新第十四页，编辑于星期日：十二点 五十二分。AgendaPower，为大数据而设计 Power Power 大数据方案介绍大数据方案介绍应用场景和案例分享第十五页，编辑于星期日：十二点 五十二分。企业级市场的大数据应用机会Key Industry Opportunity and TrendsTelecom,Banking and Government contribu
13、te the largest incremental Big Data&Analytics market size from 2013 to 2017 in GCGMorerationalthanlastyear,notonlyfocusingonHadoopplatformTelecom,Banking,GovtsectorswillhavemoredemandsforadvancedBD&AsolutionsHelpcustomersbegintheirBigDataJourneyBigdataasservicesbegantoemergeinthemarket第十六页，编辑于星期日：十二
14、点 五十二分。大数据的主要应用类型实时性高实时性低简单查询复杂分析内存数据库内存分析NoSQL实时查询流式计算M-R批量分析MPP 数据仓库多应用混合大数据平台海量数据存储第十七页，编辑于星期日：十二点 五十二分。海量数据存储IBM基于Power的大数据方案实时性高实时性低简单查询复杂分析内存数据库内存分析NoSQL实时查询流式计算M-R批量分析MPP 数据仓库多应用混合大数据平台Power+CAPI+Flash+NoSQLPower+StreamPower+DB2 BLUPower+DB2 DPFPower+GBasePower+HadoopPower+SequoiaDBPower+Symp
15、hony/GFSP+HadoopSpectrum StoragePower+GPFS第十八页，编辑于星期日：十二点 五十二分。The Market:Explosive growth of new mobile,social apps requiring lightening fast response at high volume Enabled by in-memory NoSQL,Key Value Stores like RedisOrdered(key,value)pairs provide type of in-memory,lightening fast distributed h
16、ash table Plays an important role in many large websitesGitHub,Amazon,Facebook,Twitter&moreThe Issue:x86 memory limited by max RAMScale-outx86serverslimitedmemorysizeResultsincostly,complexinfrastructureLoadBalancer500GBCacheNode500GBCacheNode500GBCacheNode500GBCacheNode1Ux86server(24)512GBmemoryThePOWER8+CAPIFlashasRAMAdvantage:NewFLASHasRAMforRedisin-memoryappsProvidesmeansforlargeFLASHexploitationLowercostmemory,greaterworkloaddensityDramaticallyreducecoststodeliverservicesCanbeofferedasaclou
