大数据平台内存计算节点

《大数据平台内存计算节点》由会员分享，可在线阅读，更多相关《大数据平台内存计算节点（9页珍藏版）》请在金锄头文库上搜索。

1、1 大数据平台内存计算节点序号1.1技术指标*数量1 台服务器，2 个计算节点要求投标响应原厂软硬件一体化设备，大数据软件和硬件为冋一家制 造商。要求配置企业级机架式（非刀片式）服务器，模块化架 构，可堆叠。通过软硬件一体化装置实现计算、存储、 网络、虚拟化和应用融合的紧密集成的大数据平台。每套设备的技术要求如下：平台要求：高度 2U 包括 2 个服务器节点，每个服务器节点：支持2 颗 Intel Xeon E5-2600v3*1.2.1配置要求、v4 系列处理器每个节点最大 8 根内存插槽，最大支持 512G 内存，每个 节点最大支持 6 个 3.5 寸 SAS/SATA 硬盘（支持 SAS

2、RaidO ,1, 5,6）,双千兆网口，每个节点最大支持 2 个 PCI-E X83.0 插槽 2 个，PCI-E X8 1 个，1280W 冗余电源处理器：每个服务器节点实配_2 个 64 位 8 核处理器，硬 件1.2配 置要 求主频_2.1_GHz内存：每个服务器节点实配_128_GB DDR4 内存主频 2133MT/SSSD 存储：Intel PCIE-SSD 加速卡 2TB硬盘：每个服务器节点实配至少SAS 企业级硬盘_3 块 4T 3.5 7200RPM每个独立物理计算节点的技术要求如下：1）系统扩展性和扩容性采用横向扩展的架构，可随着节点的增加而使得 CPU 内 存、存储、网

3、络等均在种干衡模式上增加，确保扩展 没有瓶颈。支持1.2.2配置要求在线升级，保证随数据存储和计算需求 的增长而平滑升级。平台由多个单机组成的大数据集群 架构，所有组件可选配万兆以太网或者或者千兆以太网互联。为保证平台 7X24 小时连续可用性，系统必须支持在线 扩展，系统扩展时不需要停机，系统扩展时，平台整体 性能保持基本Infini ba nd 网络同比增长序号技术指标要求投标响应关键应用的高可用性采用工程化设计，可提供高级别的高可用性。所有故障 类型均可得到防护，包括磁盘、服务器、网络等简单故障，以及站点故障和人为失误等复杂故障。拥有完整的 冗余的硬件保护，包括冗余的供电电源、冗余的风扇

4、等。支持 PCIE-SSD 闪存加速允许用户将频繁访问的表数据保存在SSD 中缓存中，冋SSD时不常访问的数据仍保存在磁盘中。这种方式兼具的高性能与磁盘的大容量和低成本。数据库表、分区和段的数据驻留在中实现列式存储，更进一步提高允许用户任意 指定SSD 上。在 SSD 闪存SSD 闪存加速效果，在TPC-DS 基准测试中性能提升 10 倍以上。提供第三方测试 机构出具的测试报告。通过中断优化、内核优化、BIOS 优化、NUMA 优化实现分 布式处理能力提升，提供相应的功能证明材料。为自主研发的产品，拥有独立知识产权，提供相应的证 明材料。123配置项完整性承诺投标人须承诺保证根据招标人技术需求

5、所做出的设备配 置项的完整性，包括但不限于提供本标段设备连接所有 一切电缆、接头、配件、机柜，以及设备微码、驱动程 序等软件。如果缺漏或不符，应免费补充或更换。投标大数据平台的软件产品需具备：两年以上（含两年）并提Gartner 数据仓库相关魔力象限入围的发行版厂商，供证明文件。投标大数据平台的软件产品需具备：中华人民共和国国 家版权1.3.11.3软件配置要求局自主知识产权的计算机软件著作权等级证书， 并提供证明文件。大数据平台软件基于 Apache 开源社区，保持开放性，并 在可靠性、安全性、管理性、咼效性方面进行了增强。采用 Spark 作为内存计算引擎，支持基于内存或者固态硬盘高 10

6、 特性优化的列式存储，避免时以提高数据扫描速度。SSD10 带来的延序号技术指标要求投标响应提供基于 SQL 面向海量数据进行任意维度的内存计算交 互式分析能力。*支持在分布式列式存储上建立局部索引，提供力，为大表创建索引，支持多维数据灵活分析。OLAP 能采用全局索引，快速找到精确查询的记录，精确定位数 据。支持物化视图技术，在查询分析时通过划优化，提升交互式分析性能与并发度。MBO 进行执行计*提供内存计算的数据集市开发工具， 支持拖拽方式设计 Cube模型，支持维度/度量/层次结构/级别/属性，支持 星型模型、雪花型模型。*提供全向量化的执行引擎，通过向量化操作可以降低解析传输等操作的开

7、销，提升系统并行化效率，加速内存 计算交互式分析业务场景。提供分布式存储框架，避免各个存储引擎在高可用、接 口抽象、运维等方面的重复，能够对接各种专用存储引 擎。产品具有高性能特性，能对亿级数据进行任意维度、任意过滤条件的聚合分析，秒级响应，同时具有的并发能力。100 以上*在大数据内存计算的数据管理方面， 提供多存储层级支 持，能够将应用表建立在不同 IO 读写速度的不同介质上，包括磁盘、SSD 固态硬盘和内存，其中建立的非易失存储 上的数据表在整个系统重启后能保证数据不丢失。*投标人需承诺，软件功能科研根据大数据研究所进行科 研和教学的需求进行定制开发。2、大数据平台存储节点序号1.1技术

8、指标*数量2 台服务器，4 个存储节点要求投标响应原厂软硬件一体化设备，大数据软件和硬件为冋一家 制造商。要求配置企业级机架式（非刀片式）服务器，模块化 架构，可堆叠。通过软硬件一体化装置实现计算、存 储、网络、虚拟化和应用融合的紧密集成的大数据平 台。每套设备的技术要求如下：平台要求：高度 2U 包括 2 个服务器节点，每个服务器 节点：*1.2.1配置要求支持2 颗 In tel Xeon E5-2600v3、v4 系列处理器每个节点最大 8 根内存插槽，最大支持512G 内存，每个节点最大支持 6 个 3.5 寸 SAS/SATA 硬盘（支持 SASRaidO, 1, 5, 6）,双千兆

9、网口，每个节点最大支持2 个 PCI-EX8 3.0 插槽 2 个，PCI-E X8 1 个，1280W 冗 余电源硬 件1.2配 置要 求处理器：每个服务器节点实配个 64 位 8 核处理器，主频_2.1_GHz内存：每个服务器节点实配_64_GB DDR4 内存主频 2133MT/S硬盘：每个服务器节点实配至少 _5 块 4T 3.5 7200RPMSAS 企业级硬盘每个独立物理计算节点的技术要求如下：1）系统扩展性和扩容性采用横向扩展的架构，可随着节点的增加而使得1.2.2 配置要求CPU内存、存储、网络等均在一种平衡模式上增加，确保 扩展没有瓶颈。支持在线升级，保证随数据存储和计 算需

10、求的增长而平滑升级。平台由多个单机组成的大 数据集群 架构，所有组件 可选配 万兆以 太网或者 Infin iba nd兆以太网互联。为保证平台 7X24 小时连续可用性， 系统必须支持在 线扩展，网络或者千系统扩展时不需要停机，系统扩展时，平台序号技术指标要求投标响应整体性能保持基本冋比增长关键应用的咼可用性采用工程化设计，可提供高级别的高可用性。所有故 障类型均可得到防护，包括磁盘、服务器、网络等简单故障，以及站点故障和人为失误等复杂故障。拥有 完整的冗余的硬件保护，包括冗余的供电电源、冗余 的风扇等。通过中断优化、内核优化、BIOS 优化、NUMA 优化实现分布式处理能力提升，提供相应的

11、功能证明材料。为自主研发的产品，拥有独立知识产权，提供相应的 证明材料。123 配置项完整性承诺投标人须承诺保证根据招标人技术需求所做出的设备 配置项的完整性，包括但不限于提供本标段设备连接 所有一切电缆、接头、配件、机柜，以及设备微码、 驱动程序等软件。如果缺漏或不符，应免费补充或更换。投标大数据平台的软件产品需具备：两年以上（含两年）Gartner数据仓库相关魔力象限入围的发行版厂商，并提供证明文件。投标大数据平台的软件产品需具备：中华人民共和国 国家版权局自主知识产权的计算机软件著作权等级证 书，并提供证明文件。大数据平台软件基于 Apache 开源社区，保持开放性，并在可靠性、安全性、

12、管理性、高效性方面进行了增1.3.11.3软件配置要求强。提供标准 JDBC（包括 JDBC type 4 driver ）、ODBC 驱 动，ODBC 驱动至少兼容 linux、windows （64 位）。* 支持 Oracle、DB2 Teradata、HiveSQL 等多种数据 库/数据仓库方言。 兼容 Oracle PL/SQL、 IBM DB2 SQL PL、Teradata宏，包括函数、流程控制、Package、游标、异常处理以及动态SQL 等语法。支持 SQL2003 语法，支持存储过程。支持多种数据输入输出管理，包括：序号技术指标要求投标响应1） 多种数据类型接入存储，例如结

13、构化数据、半结 构化数据、非结构化数据、常见字符集、常见数 据格式、常见压缩类型。2） 多种加载方式，例如批量模式、增量模式、准实 时接入模式、实时接入模式等。3） 多种数据类型输出，例如常见数据类型、常见数 据格式、常见导出方式。*具备统一数据存储管理能力，基于统一数据存储管理 让多种数据存储引擎的差异透明化。统一数据存储管 理能够支持使用一种计算引擎对接多种分布式存储系 统/引擎，包括分布式文件系统、基于内存或固态硬盘 的列式存储、搜索引擎、分布式NoSQL 数据库等。*支持半结构化（JSON/BSON 形式存储）和非结构化文本 数据的高效存储与搜索，支持全文索引功能，实现文 本数据等非结

14、构化数据的搜索。支持使用SQL 接口进行半结构化数据（JSON/BSON式存储）的查询、更新 与删除。支持海量影像数据或文件数据等大对象数据的存储与 检索，提供稳定咼效的入库和检索能力，支撑非结构 化数据内容管理。产品具有咼性能：按关键字检索单表记录延时小于 500ms,单个节点并发度超过 200。按关键字检索多表关 联记录延时小于 2s,单个节点并发度超过 200。系统中不允许存在单点故障，任何一个角色故障后都 应有备份机器承担原失效节点工作，并在监控页面上 对错误状态进行显示标识。*投标人需承诺，软件功能科研根据大数据研究所进行 科研和教学的需求进行定制开发。3、大数据平台深度机器学习节点

15、序号1.1技术指标*数量要求投标响应1 台服务器，1 个计算节点原厂软硬件一体化设备， 大数据软件和硬件为冋一 家制造商。要求配置企业级机架式（非刀片式）服务器，模块 化架构，可堆叠。通过软硬件一体化装置实现计算、 存储、网络、虚拟化和应用融合的紧密集成的大数 据平台。每套一体机的技术要求如下：平台要求：高度 2U 包括 1 个服务器节点，每个服务器节点：支持2 颗 In tel Xeo n E5-2600v3、v4 系列处理器每个节点最大16 根内存插槽，支持DDR4 ECC2TB （ 16 个 DIMM 插槽）*1.2.1配置要求2400/2133/1866/1600MHZ 内存，支持12

16、 块 3.5 寸SAS/SATA/SSD 硬盘（支持 SASRaidO , 1, 5, 6）, 四千兆网口， 3 个 PCI-E 3.0 x16插槽（FH, 10.5 L）,3 个PCI-E 3.0 x8 插槽，1000W 冗余电源，VGA 接口1 ,USB2.0A2, RJ-45 管理口1处理器：每个服务器节点实配_2 个 64 位 8 核处理器，主频_2.1_GHz硬 件1.2配 置要 求内存：每个服务器节点实配_64_GB DDR4 内存主频2133MT/S硬盘：每个服务器节点实配至少业级硬盘3 块 2T 3.5企GPU 加速卡：内存8GB CUDA核心2560,内存 带宽192GB/S

17、每个设备的技术要求如下：系统扩展性和扩容性1.2.2配置要求采用横向扩展的架构，可随着节点的增加而使得CPU 内存、存储、网络等均在一种平衡模式上增 力口，确保扩展没有瓶颈。支持在线升级，保证随数 据存储和计算需求的增长而平滑升级。平台由多个序号技术指标要求投标响应单机组成的大数据集群架构，所有组件可选配万兆 以太网或者 Infin iba nd联。为保证平台 7X24 小时连续可用性，系统必须支持 在线扩展，系统扩展时不需要停机，系统扩展时， 平台整体性能保持基本同比增长网络或者千兆以太网互关键应用的高可用性采用工程化设计，可提供高级别的高可用性。所有 故障类型均可得到防护，包括磁盘、服务器

18、、网络等简单故障，以及站点故障和人为失误等复杂故 障。拥有完整的冗余的硬件保护，包括冗余的供电 电源、冗余的风扇等。通过中断优化、内核优化、BIOS 优化、NUMA 优化实现分布式处理能力提升，提供相应的功能证明材 料。为自主研发的产品，拥有独立知识产权， 提供相应 的证明材料。投标人须承诺保证根据招标人技术需求所做出的 设备配123配置项完整性承诺置项的完整性，包括但不限于提供本标段设 备连接所有一切电缆、接头、配件、机柜，以及设 备微码、驱动程序等软件。如果缺漏或不符，应免费补充或更换。投标大数据平台的软件产品需具备：两年以上（含两年）Gart ner 数据仓库相关魔力象限入围的发行 版厂

19、商，并提供证明文件。投标大数据平台的软件产品需具备：中华人民共和1.3.1软件配置1.3要求国国家版权局自主知识产权的计算机软件著作权 等级证书，并提供证明文件。大数据平台软件基于 Apache 开源社区，保持开放 性，并在可靠性、安全性、管理性、咼效性方面进 行了增强。*提供丰富的分布式统计算法以及机器学习基础算 法库，包括数据预处理，数值分析，特征工程相关序号技术指标要求投标响应分布式算法以及基础的分类、聚类、预测等机器学 习算法，方便数据分析人员进行数据分析与挖掘的 相关工作。*提供流数据实时分析预测能力，进行流式机器学 习。*支持自定义分布式数据挖掘算法，用户可以根据 生产需求自疋义开

20、发分布式数据挖掘算法。数据分析开发语言与接口支持：1） 提供 R 语言开发接口支持。2） 提供 Python 语言开发接口支持。3） 提供 API 开发接口支持。支持主流深度学习框架， 包括 Tensoflow、MXNet, 通过将深度学习框架与 Hadoop 体系融合，帮助数 据科学家以及分析人员敏捷构建DNN CNN 等模型，使用全量数据样本进行模型训练，提高算法的精准 度。支持挖掘标准 PMML 莫型导入导出，方便模型管理 与使用。支持模型管理，包括内置行业模板、自定义模型模 板。支持模型协作，多人协作模型开发模式。*提供 3 种以上的脱敏数据源，定制开发3 个行业大数据分析的业务场景，能完整显示从数据洞察、 数据清洗、数据归一化、建立模型、模型验证到模 型应用的全过程。*投标人需承诺，软件功能科研根据大数据研究所 进行科研和教学的需求进行定制开发。