格力大数据项目工作说明书

《格力大数据项目工作说明书》由会员分享，可在线阅读，更多相关《格力大数据项目工作说明书（14页珍藏版）》请在金锄头文库上搜索。

1、 格力大数据项目工作说明书格力大数据项目工作说明书 北京西塔网络科技股份有限公司 二零一六年一月 格格 力力 大大 数数 据据 项项 目目 工工 作作 说说 明明 书书 ( S O W ) 1项目目标项目目标 3 2建设及服务内容建设及服务内容 .4 2.1需求调研及数据标准化需求调研及数据标准化.4 2.2大数据基础平台搭建大数据基础平台搭建 4 2.3数据采集数据采集.4 2.4分层存储设计分层存储设计5 2.5数据加工处理数据加工处理5 2.6数据分析挖掘数据分析挖掘5 2.7内存数据库内存数据库 .5 2.8交互式探查分析交互式探查分析6 2.9数据可视化应用数据可视化应用6 2.10

2、语音智能分析语音智能分析6 2.11文本、视频、图片存储文本、视频、图片存储.6 2.12大数据平台运维监控大数据平台运维监控 6 2.13大数据平台任务调度大数据平台任务调度 7 2.14ETL 过程可视化过程可视化 .7 2.15培训工作培训工作.7 3建设方案建设方案 8 4时间进度与里程碑时间进度与里程碑.8 5费用支付费用支付 9 格格 力力 大大 数数 据据 项项 目目 工工 作作 说说 明明 书书 ( S O W ) 第 2 页 6需求变更过程需求变更过程9 6.1变更依据变更依据.9 6.2变更请求处理流程变更请求处理流程9 7双方责任双方责任10 8项目组织架构项目组织架构.

3、12 9假定条件假定条件12 格格 力力 大大 数数 据据 项项 目目 工工 作作 说说 明明 书书 ( S O W ) 第 3 页 1项目目标项目目标 在珠海格力电器股份有限公司的范围内，分期实现格力工业大数据平台项目的 数据集成、连接、处理、分析、挖掘等相关功能。本期项目包括设计、搭建大数据 平台，接入商技一部、商技二部、计算机中心的销售订单等相关数据，实现设备故 障诊断、故障预测、产品统计、实时查询、营销支持、智能搜索等功能。 故障诊断的业务目标： 大数据平台处理、分析商用空调运行时采集回传的工况数据，及时、准确定位 运行故障并给出大致原因，为维护部门维修空调设备和系统提供信息支撑，降低

4、故 障定位的时间、范围和工作量，缩短停机时长并提高客户满意度、忠诚度。 故障预测的业务目标： 大数据平台利用数据挖掘、机器学习技术，通过学习业已存在的设备故障数据、 信息，尤其是发生故障的前兆数据，归纳故障发生的特点、规律知识，并利用流计 算相关技术及时发现潜在的故障及风险，及时预警，减少停机的次数及停机时长。 另外发现停机模式、规律可以进一步应用到产品设计、改进过程中。 产品统计的业务目标： 大数据平台利用集成的产品及销售数据进行统计分析，用于分析产品的销售情 况，客户情况，销售规律、特点及变化趋势，用于指导产品的个性化设计及产品的 推广销售。 实时查询的业务目标： 大数据平台利用 New

5、SQL 存储技术存放设备数据，提供特定编号设备、一段 时间内工况信息的实时查询功能，用于业务人员分析、判断特定设备在查询时间范 围内的工作状态，总结、发现业务规律。 营销支持的业务目标： 大数据平台利用集成的产品及销售数据进行分析，发现其中先后、重复购买及 交叉购买情况和规律，提醒、推荐客户购买特定的产品和服务，提高产品和服务的 销量。 智能搜索的业务目标： 格格 力力 大大 数数 据据 项项 目目 工工 作作 说说 明明 书书 ( S O W ) 第 4 页 大数据平台提供通过语音输入完成产品及销售数据的查询、统计及分析的功能。 2建设及服务内容建设及服务内容 以下所有内容基于 1 月 19

6、 日版本的需求文档。详见格力大数据需求说明 1.0文档，建设内容为基于 Hadoop 生态系统构建大数据平台，内容包括商用空调、 家用空调、销售等历史数据的入库，ETL 处理，数据仓库、离线计算、内存计算、 实时计算、即席查询、可视化展示等内容。具体内容如下： 2.1 需求调研及数据标准化需求调研及数据标准化 包括功能商技一部、商技二部、销售、审计部门的需求调研、数据调研以及 数据标准化。 2.2 大数据大数据基础平台搭建基础平台搭建 基于 Hadoop 搭建大数据平台，包括 HDFS、MapReduce、HBase、Hive、Spark，MySql 集群。 使用 HDFS 存储原始数据，供离

7、线分析挖掘； 使用 Spark/MapReduce 执行离线任务； 使用 HBase 做实时查询； 使用 Hive/Spark SQL 做数据仓库； 使用 MySql 集群存储分析结果书，供上层应用查询。 2.3 数据采集数据采集 大数据采集包括非结构化数据、结构化数据的采集，非结构化数据采用 FlumeNG 采集，Oracle/SQLServer/MySQL 关系数据库中的结构化数据采用 Sqoop 收 集。此外还有实时流数据采用分布式消息队列采集。 Flume 收集非结构化数据，Flume 是一个高可用的，高可靠的，分布式的海量 数据采集、聚合和传输的系统，Flume 支持定制各类数据发送

8、方，用于收集数据； 同时，Flume 提供对数据进行简单处理，并写入到 HDFS 中。 Sqoop 收集结构化数据，Sqoop(发音：skup)，主要用于在 Hadoop(Hive)与传 统的数据库(mysql、postgresql.)间进行数据的传递，可以将一个关系型数据库 格格 力力 大大 数数 据据 项项 目目 工工 作作 说说 明明 书书 ( S O W ) 第 5 页 （例如 ： MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也 可以将 HDFS 的数据导进到关系型数据库中。Sqoop，类似于其他 ETL 工具，使用元 数据模型来

9、判断数据类型并在数据从数据源转移到 Hadoop 时确保类型安全的数据处 理。Sqoop 专为大数据批量传输设计，能够分割数据集并创建 Hadoop 任务来处理每 个区块。 实时数据处理，通过采集层数据通过消息队列组件 Kafka 接入到 Spark Streaming 里，Spark Streaming 实时处理后把结果存到 Hbase 或 Mysql 等关系数 据库中供用户查询。 2.4 分层存储设计分层存储设计 通过将给定文件、数据集或应用程序的必需数据特征对数据进行分层存储设 计，满足不同的应用场景。提供数据利用率与使用效率。将常用数据存储在高速设 备上，而不太常用的数据存储在低速设备

10、上。在宏观上，数据可以在不同的设备之 间进行数据复制迁移，分层保存。 2.5 数据加工处理数据加工处理 对数据进行分析和加工。包括对各种原始数据的分析、整理、计算、编辑等 的加工和处理。经过加工清洗后的数据根据不同的数据类型，选择不同数据存储方 式，可以存入 HDFS 供离线挖掘，或者存储到实时性高的 MPP 数据库进行统计分析。 2.6 数据分析挖掘数据分析挖掘 大数据分析系统以机器学习、数据挖掘等作为核心技术，构建于大数据管理 系统和云计算平台之上。其中，大数据管理系统提供数据的存储与查询功能，云计 算平台提供分布式并行计算服务。通过分布式计算与统计分析服务器访问大数据系 统，实现 KPI

11、 与报表统计分析服务。 采用 Spark MLlib 做为数据挖掘和机器学习框架， MLlib 是 Spark 的标准机 器学习框架 ，MLlib 相对于其他机器学习库包具有更加优异的性能或者更容易入门。 MLlib 机器学习库具有完整的机器学习框架和各类别机器学习算法，满足各种场合 的需求。Mllib 随着 Spark 版本一起发布和应用。本系统采用 MLlib 构建在 Hadoop 之上对大数据进行挖掘处理，实现故障诊断、故障预测、配件库存优化等深度挖掘。 格格 力力 大大 数数 据据 项项 目目 工工 作作 说说 明明 书书 ( S O W ) 第 6 页 2.7 内存数据库内存数据库

12、内存数据库是将全部数据驻留内存的分析型数据库系统，采用内存计算技术， 从根本上解决了数据仓库由于磁盘 I/O 导致的性能瓶颈问题，具有性能高、成本低、 灵活、可扩展等众多优良特性，尤其适合做为大数据的计算引擎、分析引擎使用。 把热点数据加载到内存数据库中，提供交互式探查分析、智能查询分析等功能。 2.8 交互式探查分析交互式探查分析 基于内存数据库快速查询，使用明细数据，免去清洗、聚合过程，更快速地 分析和揭露数据中蕴含的问题,直接由业务人员使用，免去提需求、澄清、确认沟通 环节，快速实现分析意图，提高了发现和解决问题的效率使用时可由全部数据快速 过滤出关注的部分数据进行分析；关注数据的特征可

13、进一步由明细数据刻画、佐证； 可按需保存分析场景、导出明细数据付诸解决。 优异的用户体验，以客户体验为中心设计，侧重易理解（业务视角，选择、 过滤、分析）、易用（平铺、图形操作）、去除干扰（功能隐藏）、快速响应（内 存计算）、增加趣味性（改分档数）。 2.9 数据可视化应用数据可视化应用 提供通过实时查询、产品统计功能，不做个性化推送。 2.10语音智能分析语音智能分析 大数据平台提供语言智能分析，通过录入语言，将语言转换为文本，并对文本 进行分词和语义分析，提交到大数据平台完成产品产品及销售数据的查询、统计及 分析的功能。 2.11文本、视频、图片存储文本、视频、图片存储 大数据平台增加文本

14、、音视频、图片等非结构化数据的存储。 2.12大数据平台运维监控大数据平台运维监控 提供格力大数据平台管理、运维工具及说明，包括服务器和运维系统都正常运 行，运维系统可以对集群所有物理机进行性能监控，包括但不限于以下指标： CPU 使用率、内存使用率、硬盘利用率、网络流量、IO 负载、系统负载均值、 格格 力力 大大 数数 据据 项项 目目 工工 作作 说说 明明 书书 ( S O W ) 第 7 页 ETL 监控、数据质量监控、等服务器性能指标进行监控。 运维要考虑大数据平台的可扩展性，支持： 1、在线添加节点 2、服务扩展 3、组件的升级 4、异常处理： 挂了的节点如何恢复，记录日志方便追

15、踪 2.13大数据平台任务调度大数据平台任务调度 任务调度系统能够对各类任务进行配置、启动、跟踪。同时，应并具备任务联 动能力，即可以将多个任务通过流程组装成一个联合任务，各任务之间存在相互制 约关系，任务调度管理能够根据各任务的执行状态、结果来自动的启动后续任务， 任务间允许并发及串行两种模式。 要求各任务的配置应当为可视化的配置。 对于任务启动至少包括定时启动和条件启动两种模式。同时允许管理员进行任 务的手动执行。 任务执行可设定优先级，比如按销售 技术 质量 售后(销售量大的 销售 量小的 生产 检验来设定。 2.14ETL 过程可视化过程可视化 ETL 尽量满足可配置性及可视化操作，如

16、果甲方购买了第三方 ETL 可视化工具 如 kettle、Dataflow、Syncsoft 等工具，乙方应支持甲方做集成工作。 2.15培训工作培训工作 从格力大数据平台未来的使用及运行来看，北京西塔提供的培训将达到如下的 目标： 完成知识的转移 承建单位开发完成一个软件系统后，将通过培训工作实现知识的转移，不仅包 括软件系统的使用方法，同样还包括业务理念、系统运行维护方法、技术开发方法 等满足系统未来业务拓展需要的各项技能与方法。 实现全员的应用 应用系统的建设目标即要建设一个全员参与使用的系统，因此培训的目标之一， 也是要使业务人员均可以熟练使用该系统，增强业务人员的知识储备，提高整个使 格格 力力 大大 数数 据据 项项 目目 工工 作作 说说 明明 书书 ( S O W ) 第 8 页 用应用系统的业务人员素质。 保障系统的安全运行 对格力大数据平台的技术管理人员进行技术培训，使其能掌握有关软件产品及 系统的使用、维护、管理，达到能独立进行管理、故障处理、日常测试维护、个性 化应用开发等工作目的，以保障北京西塔所提供的应用系统能够正常、安全地运行。 通过以上培训使