大数据平台内存计算节点

《大数据平台内存计算节点》由会员分享，可在线阅读，更多相关《大数据平台内存计算节点（9页珍藏版）》请在金锄头文库上搜索。

1、1 1、大数据平台内存计算节点、大数据平台内存计算节点序号序号技术指标技术指标*数量要求要求1 台服务器，2 个计算节点原厂软硬件一体化设备，大数据软件和硬件为同一家制造商。要求配置企业级机架式非刀片式服务器，模块化架构，可堆叠。通过软硬件一体化装置实现计算、存储、网络、虚拟化和应用融合的紧密集成的大数据平台。每套设备的技术要求如下：平台要求：高度2U 包括 2 个服务器节点，每个服务器节点: 支持2 颗 Intel Xeon E5-2600v3、v4 系列处理器配置要求每个节点最大 8 根内存插槽，最大支持512G 内存，每个节点最大支持6个3.5寸SAS/SATA硬盘 支持SAS Raid

2、0，1， 5， 6 ， 双千兆网口， 每个节点最大支持 2 个 PCI-E X83.0 插槽 2 个，PCI-E X8 1 个，1280W 冗余电源硬件配置要求处理器: 每个服务器节点实配_2 个 64 位 8 核处理器，主频_GHz内存：每个服务器节点实配_128_GB DDR4，内存主频2133MT/sSSD 存储：Intel PCIE-SSD 加速卡 2TB硬盘：每个服务器节点实配至少_3 块 4T 3.5 7200RPMSAS 企业级硬盘每个独立物理计算节点的技术要求如下：1)系统扩展性和扩容性采用横向扩展的架构， 可随着节点的增加而使得CPU、 内存、存储、网络等均在一种平衡模式上增

3、加，确保扩展配置要求没有瓶颈。支持在线升级，保证随数据存储和计算需求的增长而平滑升级。平台由多个单机组成的大数据集群架构，所有组件可选配万兆以太网或者Infiniband 网络或者千兆以太网互联。为保证平台 724 小时连续可用性，系统必须支持在线扩展，系统扩展时不需要停机，系统扩展时，平台整体性能保持基本同比增长投标响应投标响应序号序号技术指标技术指标关键应用的高可用性要求要求投标响应投标响应采用工程化设计，可提供高级别的高可用性。所有故障类型均可得到防护，包括磁盘、 服务器、网络等简单故障，以及站点故障和人为失误等复杂故障。拥有完整的冗余的硬件保护，包括冗余的供电电源、冗余的风扇等。支持

4、PCIE-SSD 闪存加速允许用户将频繁访问的表数据保存在 SSD 中缓存中，同时不常访问的数据仍保存在磁盘中。这种方式兼具 SSD的高性能与磁盘的大容量和低成本。 允许用户任意 指定数据库表、分区和段的数据驻留在 SSD 上。在 SSD 闪存中实现列式存储，更进一步提高 SSD 闪存加速效果，在TPC-DS 基准测试中性能提升10 倍以上。 提供第三方测试机构出具的测试报告。通过中断优化、内核优化、BIOS 优化、NUMA 优化实现分布式处理能力提升，提供相应的功能证明材料。为自主研发的产品，拥有独立知识产权，提供相应的证明材料。投标人须承诺保证根据招标人技术需求所做出的设备配配置项完置项的

5、完整性，包括但不限于提供本标段设备连接所有一切电缆、接头、配件、机柜，以及设备微码、驱动程整性承诺序等软件。如果缺漏或不符，应免费补充或更换。投标大数据平台的软件产品需具备：两年以上(含两年)Gartner 数据仓库相关魔力象限入围的发行版厂商， 并提供证明文件。投标大数据平台的软件产品需具备：中华人民共和国国软件配置要求家版权局自主知识产权的电脑软件著作权等级证书，并提供证明文件。大数据平台软件基于 Apache 开源社区，保持开放性，并在可靠性、安全性、管理性、高效性方面进行了增强。采用 Spark 作为内存计算引擎，支持基于内存或者 SSD固态硬盘高 IO 特性优化的列式存储，防止 IO

6、 带来的延时以提高数据扫描速度。序号序号技术指标技术指标要求要求提供基于 SQL， 面向海量数据进行任意维度的内存计算交互式分析能力。*支持在分布式列式存储上建立局部索引，提供 OLAP 能力，为大表创建索引，支持多维数据灵活分析。采用全局索引，快速找到精确查询的记录，精确定位数据。支持物化视图技术，在查询分析时通过 MBO 进行执行计划优化，提升交互式分析性能与并发度。*提供内存计算的数据集市开发工具， 支持拖拽方式设计Cube 模型，支持维度/度量/层次结构/级别/属性，支持星型模型、雪花型模型。*提供全向量化的执行引擎， 通过向量化操作可以降低解析传输等操作的开销，提升系统并行化效率，加

7、速内存计算交互式分析业务场景。提供分布式存储框架，防止各个存储引擎在高可用、接口抽象、运维等方面的重复，能够对接各种专用存储引擎。产品具有高性能特性，能对亿级数据进行任意维度、任意过滤条件的聚合分析，秒级响应，同时具有 100 以上的并发能力。*在大数据内存计算的数据管理方面， 提供多存储层级支持， 能够将应用表建立在不同IO读写速度的不同介质上，包括磁盘、 SSD 固态硬盘和内存， 其中建立的非易失存储上的数据表在整个系统重启后能保证数据不丧失。*投标人需承诺， 软件功能科研根据大数据研究所进行科研和教学的需求进行定制开发。投标响应投标响应2 2、大数据平台存储节点、大数据平台存储节点序号序

8、号技术指标技术指标*数量要求要求2 台服务器，4 个存储节点原厂软硬件一体化设备，大数据软件和硬件为同一家制造商。要求配置企业级机架式非刀片式服务器，模块化架构，可堆叠。通过软硬件一体化装置实现计算、存储、网络、虚拟化和应用融合的紧密集成的大数据平台。每套设备的技术要求如下：平台要求：高度 2U 包括 2 个服务器节点，每个服务器节点: 支持2 颗 Intel Xeon E5-2600v3、v4 系列处理器每个节点最大 8 根内存插槽， 最大支持 512G 内存，投标响应投标响应支持SAS配置要求每个节点最大支持6 个 3.5寸 SAS/SATA硬盘Raid0，1，5，6，双千兆网口，每个节点

9、最大支持2硬件配置要求个 PCI-E X8 3.0 插槽 2 个，PCI-E X8 1个，1280W 冗余电源处理器: 每个服务器节点实配_2 个 64 位 8 核处理器，主频_GHz内存：每个服务器节点实配_64_GB DDR4，内存主频2133MT/s硬盘： 每个服务器节点实配至少_5 块 4T 3.5 7200RPMSAS 企业级硬盘每个独立物理计算节点的技术要求如下：1)系统扩展性和扩容性采用横向扩展的架构，可随着节点的增加而使得CPU、内存、存储、网络等均在一种平衡模式上增加，确保扩展没有瓶颈。支持在线升级，保证随数据存储和计算需求的增长而平滑升级。平台由多个单机组成的大数据集群 架

10、构， 所有组件 可选配 万兆以 太网或者Infiniband 网络或者千兆以太网互联。为保证平台 724 小时连续可用性，系统必须支持在线扩展，系统扩展时不需要停机，系统扩展时，平台序号序号技术指标技术指标要求要求整体性能保持基本同比增长关键应用的高可用性采用工程化设计，可提供高级别的高可用性。所有故障类型均可得到防护，包括磁盘、 服务器、网络等简单故障，以及站点故障和人为失误等复杂故障。拥有完整的冗余的硬件保护，包括冗余的供电电源、冗余的风扇等。通过中断优化、内核优化、BIOS 优化、NUMA 优化实现分布式处理能力提升，提供相应的功能证明材料。为自主研发的产品，拥有独立知识产权，提供相应的

11、证明材料。投标人须承诺保证根据招标人技术需求所做出的设备配置项的完整性，包括但不限于提供本标段设备连接投标响应投标响应所有一切电缆、接头、配件、机柜，以及设备微码、驱动程序等软件。如果缺漏或不符，应免费补充或更换。投标大数据平台的软件产品需具备：两年以上 (含两年) Gartner 数据仓库相关魔力象限入围的发行版厂商，并提供证明文件。投标大数据平台的软件产品需具备：中华人民共和国国家版权局自主知识产权的电脑软件著作权等级证书，并提供证明文件。大数据平台软件基于 Apache 开源社区，保持开放性，软件配置要求并在可靠性、安全性、管理性、高效性方面进行了增强。提供标准 JDBC包括 JDBC

12、type 4 driver 、ODBC 驱动，ODBC 驱动至少兼容 linux、windows64 位 。*支持 Oracle、DB2、Teradata、HiveSQL 等多种数据库/数据仓库方言。兼容Oracle PL/SQL、IBM DB2 SQLPL、Teradata 宏，包括函数、流程控制、 Package、游标、异常处理以及动态 SQL 等语法。支持 SQL2003 语法，支持存储过程。支持多种数据输入输出管理，包括：序号序号技术指标技术指标要求要求1)多种数据类型接入存储，例如结构化数据、半结构化数据、非结构化数据、常见字符集、常见数据格式、常见压缩类型。2)多种加载方式，例如批

13、量模式、增量模式、准实时接入模式、实时接入模式等。3)多种数据类型输出，例如常见数据类型、常见数据格式、常见导出方式。*具备统一数据存储管理能力，基于统一数据存储管理让多种数据存储引擎的差异透明化。统一数据存储管理能够支持使用一种计算引擎对接多种分布式存储系统/引擎，包括分布式文件系统、基于内存或固态硬盘的列式存储、搜索引擎、分布式NoSQL 数据库等。*支持半结构化(JSON/BSON 形式存储)和非结构化文本数据的高效存储与搜索，支持全文索引功能，实现文本数据等非结构化数据的搜索。支持使用 SQL 接口进行半结构化数据JSON/BSON 形式存储的查询、更新与删除。支持海量影像数据或文件数

14、据等大对象数据的存储与检索，提供稳定高效的入库和检索能力，支撑非结构化数据内容管理。产品具有高性能：按关键字检索单表记录延时小于500ms,单个节点并发度超过 200。 按关键字检索多表关联记录延时小于 2s, 单个节点并发度超过200。系统中不允许存在单点故障，任何一个角色故障后都应有备份机器承担原失效节点工作，并在监控页面上对错误状态进行显示标识。*投标人需承诺，软件功能科研根据大数据研究所进行科研和教学的需求进行定制开发。投标响应投标响应3 3、大数据平台深度机器学习节点、大数据平台深度机器学习节点序号序号技术指标技术指标*数量要求要求1 台服务器，1 个计算节点原厂软硬件一体化设备，

15、大数据软件和硬件为同一家制造商。要求配置企业级机架式非刀片式服务器，模块化架构， 可堆叠。 通过软硬件一体化装置实现计算、存储、网络、虚拟化和应用融合的紧密集成的大数据平台。每套一体机的技术要求如下：平台要求：高度 2U 包括 1 个服务器节点，每个服务器节点: 支持2 颗 Intel Xeon E5-2600v3、v4系列处理器每个节点最大 16 根内存插槽，支持2TB 16个硬件配置要求配置要求DIMM插 槽 DDR4ECC投标响应投标响应2400/2133/1866/1600MHz 内存，支持12 块 3.5寸 SAS/SATA/SSD 硬盘 支持 SAS Raid0， 1， 5， 6

16、，四千兆网口，3 个 PCI-E 3.0 x16 插槽 (FH, 10.5L),3 个 PCI-E 3.0 x8 插槽，1000W 冗余电源，VGA接口2，RJ-45 管理口1处理器: 每个服务器节点实配_2 个 64 位 8 核处理器，主频_GHz内存：每个服务器节点实配_64_GB DDR4，内存主频2133MT/s硬盘：每个服务器节点实配至少_3 块 2T 3.5企业级硬盘GPU 加速卡：内存8GB，CUDA 核心2560，内存带宽192GB/S每个设备的技术要求如下：系统扩展性和扩容性配置要求采用横向扩展的架构，可随着节点的增加而使得CPU、内存、存储、网络等均在一种平衡模式上增加，确

17、保扩展没有瓶颈。支持在线升级，保证随数据存储和计算需求的增长而平滑升级。 平台由多个序号序号技术指标技术指标要求要求单机组成的大数据集群架构， 所有组件可选配万兆以太网或者 Infiniband 网络或者千兆以太网互联。为保证平台 724 小时连续可用性， 系统必须支持在线扩展，系统扩展时不需要停机，系统扩展时，平台整体性能保持基本同比增长关键应用的高可用性采用工程化设计，可提供高级别的高可用性。 所有故障类型均可得到防护，包括磁盘、 服务器、网络等简单故障， 以及站点故障和人为失误等复杂故障。拥有完整的冗余的硬件保护， 包括冗余的供电电源、冗余的风扇等。通过中断优化、内核优化、BIOS 优化

18、、NUMA 优化实现分布式处理能力提升， 提供相应的功能证明材料。为自主研发的产品， 拥有独立知识产权， 提供相应的证明材料。投标人须承诺保证根据招标人技术需求所做出的投标响应投标响应配置项完整性承诺设备配置项的完整性， 包括但不限于提供本标段设备连接所有一切电缆、接头、配件、机柜，以及设备微码、驱动程序等软件。如果缺漏或不符，应免费补充或更换。投标大数据平台的软件产品需具备：两年以上(含两年) Gartner数据仓库相关魔力象限入围的发行版厂商，并提供证明文件。投标大数据平台的软件产品需具备： 中华人民共和国国家版权局自主知识产权的电脑软件著作权等级证书，并提供证明文件。大数据平台软件基于

19、Apache 开源社区，保持开放性，并在可靠性、安全性、管理性、高效性方面进行了增强。*提供丰富的分布式统计算法以及机器学习基础算法库，包括数据预处理，数值分析，特征工程相关序号序号技术指标技术指标要求要求分布式算法以及基础的分类、 聚类、预测等机器学习算法， 方便数据分析人员进行数据分析与挖掘的相关工作。*提供流数据实时分析预测能力，进行流式机器学习。*支持自定义分布式数据挖掘算法，用户可以根据生产需求自定义开发分布式数据挖掘算法。数据分析开发语言与接口支持：1)提供 R 语言开发接口支持。2)提供 Python 语言开发接口支持。3)提供 API 开发接口支持。支持主流深度学习框架， 包括 Tensorflow、 MXNet，通过将深度学习框架与 Hadoop 体系融合，帮助数据科学家以及分析人员敏捷构建DNN， CNN 等模型，使用全量数据样本进行模型训练， 提高算法的精准度。支持挖掘标准 PMML 模型导入导出，方便模型管理与使用。支持模型管理，包括内置行业模板、 自定义模型模板。支持模型协作，多人协作模型开发模式。*提供 3 种以上的脱敏数据源，定制开发 3 个行业大数据分析的业务场景，能完整显示从数据洞察、数据清洗、数据归一化、建立模型、模型验证到模型应用的全过程。*投标人需承诺，软件功能科研根据大数据研究所进行科研和教学的需求进行定制开发。投标响应投标响应