大数据系统软件创新平台与生态建设

《大数据系统软件创新平台与生态建设》由会员分享，可在线阅读，更多相关《大数据系统软件创新平台与生态建设（11页珍藏版）》请在金锄头文库上搜索。

1、摘要:针对大数据系统软件开源生态发展现状、大数据系统软件技术与领域应用发展的迫 切需求 与工程化瓶颈，系统地介绍了大数据系统软件共性技术的研发思路以及大数据系统软 件国家工程 验室研制的“数为平台”的技术架构，包括大规模多源异构数据的一体化管理、异构数据的交互 式分析框架、数据可视化与智能数据工程、大数据混源软件可信验证、领域大数据应用开发与运 行环境等。给出了基于平台建设开放的大数据软件创新平台与生态的模 式，并在工业制造业、气 象环保服务领域开展应用示范。关键词:大数据系统软件；开源软件生态；领域大数据应用；国家工程实验室1 引言大数据系统软件连接大数据计算平台与大数据应用软件，是大数据系

2、统的基础。大数据系统软件 对分布式硬件平台资源进行统一抽象，为大数据处理提供一体化存储管理、分析框架、全生命周 期数据工程、安全保障等基础共性功能，为大数据应用提供开发运行环境，是大数 据产业的核 心驱动程序。国际大数据系统软件的发展以开源软件为主导方式，逐渐形成了以 Hadoop、Spark.TensorFlow 生态为代表的、支持大数据应用开发的共性基础软件与工具平台。例如以国际 开源 软件基金会（Apache）等社区为平台，实现了技术的快速演进，IBM等公司也以开源 软件为基 础，包装了各自的商业化发行版本。Hadoop是大数据领域非常重要的开源框架，基于简单的编 程模型，对大型数据集进

3、行分布式处理。Spark是而向大规模数据处理的通用引擎，现已形成包 括批处理、流式处理、统计分析、图计算等在内的数据分析软件栈。TensorFlow 是将复杂的数据结构传输至人工智能神经网进行分析和处理的开源软件平台 ， 用于 语音识别或图像识别等机器学习和深度学习任务。相比于成熟的关系型数据库技术，大数据时代 的数据处理技术与系统更多被认为是负载优化系统”。以谷歌公司为例，针对其网 页搜索服务的需求设il 了分布式存储文件系统（GFS）、基于列族的无模式（schema-less）存储与键值索 引、基于任意数拯切分（ MapReduce） 的髙容错分布式计算框架。顺应大数据系统软件开源实践，聚

4、焦领域化与生态化创新，是大数据系统软件的发展方向。大数 据领域国家工程实验室作为一个公共的平台，通过大数据系统软件关键技术的创新和突 破，促进 大数据与各行业应用的深度融合，以应用带动大数据系统软件技术和产品研发，形成一批代表性 示范应用案例。2 大数据系统软件工程挑战在互联网+”时代，大数据应用正在从消费互联网发展到产业互联网，领域大数据应用与消费互 联网应用有显著区别，数据类型以时序数据、科学数据、过程数据以及非结构化工程数 据等数据 类型为主，英使用者也从互联网公司的高级技术人员转变为传统领域的技术与业务 人员。这对当 前主要基于开源项目的大数拯系统软件技术和产品在领域数据特征、多源知识

5、 融合、数据处理过 程、应用开发效率、安全可控保障等方而提出了新的挑战。大数据系统软件关键技术的研发需求 主要包括以下几个方而。（ 1）针对领域数据特征的挑战为应对开源数据管理引擎产品能力缺失的问题，研发而向设备高频时间序列数据、遥感数据、 科 学数据等领域数据的管理技术，整合多种类型异构数据管理引擎的一体化管理技术以及而 向新型 硬件设备的优化技术，解决“不管用的问题。（ 2） 针对多源知识融合的挑战 为解决开源数据分析框架交互性与异构性支持不足的问题，研 发面向人与机器、算法协同工 作环境，实现差异化数据类型与负载和异构硬件设备的分析框架 自动适配，降低领域人员分 析应用门槛，解决不会用的

6、问题。（ 3） 针对数据处理过程的挑战 为解决开源大数据软件栈中数据工程工具集较为欠缺的问题，研发数据采集、数据集成、数 据 淸理、数据可视化探索分析等丰富的数拯工程支撑工具，提升数据处理的效率，解决不 够用” 的问题。4） 针对应用开发效率的挑战 为应对开源大数据系统软件产品在应用开发上的能力缺失问题，研发支撑大数据应用开发与 运 行一体化、智能化的管理工具，领域大数据实验床以及面向新型硬件设备的优化能力的研 发和 工程化，解决不好用的问题。（5） 针对安全可控保障的挑战 为应对开源软件代码来源（链）难以控制、版本变化迅速、质量缺乏统一标准的问题，研发 而 向大数据应用的混源大数携系统的可信

7、验证体系，实现对大数据系统软件可靠性、可用性、 正 确性等方而的可信验证，解决不敢用”的问题。最终，在大规模多源异构数摇一体化管理、交互式异构数据分析框架、数据可视化与智能数 据 工程、领域大数据应用开发运行环境、大数据混源软件可信验证等领域取得重大突破，通 过以 上 5 个方而形成大数拯系统软件体系，促进中国大数据产业的发展。3 大数据系统软件技术架构以工业领域为例，从领域数据特征角度来看，机器设备产生的高通量时间序列数据、设汁仿 真 阶段的非结构化工程数据等领域数据缺少有效的管理技术，同时对不同种类数据进行一体 化管 理的能力不足，缺少管用的大数据系统软件：从多源知识融合的角度来看，现有大

8、数据 分析软 件使用门槛高、交互性支持不够，仅提供计算框架与分析类库，很难让具有机械、电 子、液 压、自动化等领域知识的技术人员独立使用；从数据处理过程的角度来看，由于大数 据可视 化、数据集成、数据淸理等数据工程工具缺失，工业领域的技术人员会花费大量的时 间反复尝 试手动对数据进行处理，分析效果也受到了制约：从应用开发的角度来看，大数据 应用系统开 发涉及的系统选型、参数配巻、模型选择、运行优化等工作步骤都需要基于专家 知识进行反复 迭代，应用开发使用门槛过高，加大了开发成本;从安全可控保障的角度来看， 混源大数据系统 的安全可信成为大数据开发利用亟待解决的核心问题。大数据系统软件国家 工程

9、实验室针对以 上问题与需求，重点在大规模多源异构数据一体化管理、交互式异构数据 分析框架、数据可视 化与智能数据工程、领域大数据应用开发运行环境、大数据混源软件可 信验证等领域开展研 发，以形成开放的大数据系统软件体系，提升中国大数据产业的实践能 力。3.1 大规模多源异构数据一体化管理技术多源异构数据是指数据源不同、数据结构或类型不同的数据集合。数据源不同、数据类型不 同， 使得这类数拯集的使用变得非常复杂，因此大规模多源异构数据的一体化管理技术变得 十分重 要。需要突破的是针对不同类型数据的存储与査询技术，并在充分考虑多源异构数据的来源和结 构随着时间的推移不断增加与变化的特点的情况下，研

10、究如何形成可扩展的一体 化数据管理系 统。现有大数据系统软件开源社区及商业产品对图数据、关系数据、键值数据等类型已经有比较成熟 的技术。但是对各行业领域中广泛存在的时序数据、科学数据、过程数据以及非结构化工程数据 的管理能力则有所欠缺。此外，随着计算机碾件技术的发展，越来越多的、性能强大的新型存储 硬件加入了大数据管理系统的硬件平台中，如固态硬盘(solid state drives, SSD)、非易失性随机 访问存储器(non-volatile random access memory, NVRAM等，促进了灵活、可泄制的数据中心 架构的出现，这对如何进行异构硬件和系统软件的有效管理 和协同

11、优化提岀了新的挑战。这项研究的重点是多种类型数据的分布式存储技术，重点开发时序数据、过程数据、科学数据、非结构化工程数据等重要领域数据的分布式存储系统：研究多源异构数据的统一存储模型、统一数据査询接口及查询协同优化技术，开发多源异构数据一体化管理系统：研究新型 存储硬件与开放计算平台上的数据管理软硬件协同优化技术。3.2 交互式异构数据分析框架技术对大规模多源异构数据进行高效分析汁算是挖掘大数据价值、发现特殊规律和洞见的关键。 在分析任务中，分析师通过分析算法库运行需要的统汁算法或机理模型，借助分布式或并行 计算框架完成大规模模型训练，并对分析结果进行解释。上述过程不断迭代，得到最终的决 策结

12、论。在此过程中，分析师需要根据任务需求调用不同的算法库，根据不同计算硬件的编 程环境手动编写、调用各种il算资源的程序，并且对黑盒的分析模型进行解释，整个分析流程的关 键步骤没有完整贯通，分析门槛很高。这项研究的重点是开发面向新型计算硬件、国产CPU整机系统、超级计算机集群的髙性能计算框架，研制分布式计算与髙性能汁算的融合计算框架，实现多层异构软硬件汁算资源的 统一调 度和协同优化:开发分析模型可视化工具，实现分析算法的智能调试-与人机交互协同: 开发分析 工作流管理工具，实现大数据分析生命周期的流程化管理，提髙数据分析的易用性。3.3 数据可视化与智能数据工程技术完整的数据分析流程除了数据分

13、析活动外，还有大虽的数据准备活动，包括数据的获取、淸 理、 集成以及分析之前的数据探索和分析之后的结果可视化。在实践中，这些步骤需根据分析目标和 结果进行反复的迭代与试错，流程中需要的工具被统称为数据工程工具集，承担这部分工作的人 员主要是数据分析师和领域专家。数据工程技术在大数据时代遇到的挑战有两 点：首先，现有产 品针对海量异构数据的支持不足，可扩展性差，且对时间序列等新型数据的数据工程方法缺乏支 持：苴次,现有产品的智能化程度不高，在操作中需要大量人工参与， 要求具备较丰富的领域知 识，使用效率不高，过程繁复。针对上述问题，需重点开发支持海量数据的可视化分析工具，研发而向工业、国家安全、

14、公共服 务等领域中的文本、复杂网络、时序数据、髙维特征数据4类典型大数据的可视化工 具。开发多 源异构数据的智能数据获取、数据画像、智能数据淸理、智能数据集成等智能数 据工程工具，解 决传统数据工程任务耗时长、成本高的问题。3.4 大数据混源软件可信验证技术 一个具体的大数据应用解决方案往往由开源系统与闭源系统结合完成，或以黑盒的方式调用 外部 服务，这就形成了大数据混源系统。大数据混源系统的分布式特性、开源/闭源结合的 特性导致 其代码疑庞大，版本匹配、接口匹配、数据安全难以控制，这就对其可信验证提出 了迫切的需求。 现有的可信验证技术体系尚未综合考虑大数据混源系统的上述两种特性，例 如将系

15、统当作黑盒的 基于测试用例的和基于动态测试的方法、基于代码分析的静态分析方 法、基于众包数据的数据挖 掘方法、基于系统设计原理的模拟仿真方法等，都难以支持大数 拯混源软件的可信验证。此外， 大数据系统的复杂性导致其可信验证中难以避免状态空间爆 炸的问题，导致验证效率不髙。 这项研究的重点在于结合分布式系统建模技术和混源系统可信建模技术，研发大数据系统软 件的 综合建模工具，支持分布式环境下节点间的消息传递、任务的异步分发与同步汇总等分布式特征 的建模，支持自主可控代码、第三方开源或闭源代码的混源特征建模，并支持两类建模技术的有 效统一:研究基于高性能讣算的并行可信验证算法，开发高性能可信验证系

16、统, 大幅提升软件验证 的规模和效率。3.5 清华“数为平台”技术框架大数据系统软件国家工程实验室为实现大数据系统软件的快速、自动、智能构造和运维，突破大 数据系统软件技术瓶颈，研发了大数据系统软件与工具栈淸华数为平台，其总体 框架如图 1 所示。数为平台采用模型驱动的软件系统构造方法，提供了交互式的数据建模 与业务建模支 持，是支持可泄制性和可扩展性的大数据应用服务开发平台，降低了领域大数 拯系统研发的代价。 在以HDFS、Kafka、TensorFlow为代表的大数据系统开源软件生态基础上，重点研发了以下大 数据系统软件构件。工业大数据平自KSioneBDIPS气仪大数携平台环保大数抿宰台协议定制组件PAS偵报组件 Deepest MDFS |预测组件()334丫企业应用系统JF企业应用系统QX企业应用系统HB企业应用爲统消华数为”