《格力大数据项目工作说明书》由会员分享，可在线阅读，更多相关《格力大数据项目工作说明书（16页珍藏版）》请在金锄头文库上搜索。
1、格力大数据项目工作说明书格力大数据项目工作说明书北京西塔网络科技股份有限公司二零一六年一月(SOW)格力大数据项目工作说明书(SOW)格力大数据项目工作说明书(SOW)格力大数据项目工作说明书(SOW)1 项目目标在珠海格力电器股份有限公司的范围内，分期实现格力工业大数据平台项目的数据集成、连接、处理、分析、挖掘等相关功能。本期项目包括设计、搭建大数据平台，接入商技一部、商技二部、计算机中心的销售订单等相关数据，实现设备故障诊断、故障预测、产品统计、实时查询、营销支持、智能搜索等功能。故障诊断的业务目标：大数据平台处理、分析商用空调运行时采集回传的工况数据，及时、准确定位运行故障并给出大致原因
2、，为维护部门维修空调设备和系统提供信息支撑，降低故障定位的时间、范围和工作量，缩短停机时长并提高客户满意度、忠诚度。故障预测的业务目标：大数据平台利用数据挖掘、机器学习技术，通过学习业已存在的设备故障数据、信息，尤其是发生故障的前兆数据，归纳故障发生的特点、规律知识，并利用流计算相关技术及时发现潜在的故障及风险，及时预警，减少停机的次数及停机时长。另外发现停机模式、规律可以进一步应用到产品设计、改进过程中。产品统计的业务目标：大数据平台利用集成的产品及销售数据进行统计分析，用于分析产品的销售情况，客户情况，销售规律、特点及变化趋势，用于指导产品的个性化设计及产品的推广销售。实时查询的业务目标：
3、大数据平台利用 New SQL存储技术存放设备数据，提供特定编号设备、一段时间内工况信息的实时查询功能，用于业务人员分析、判断特定设备在查询时间范围内的工作状态，总结、发现业务规律。营销支持的业务目标：第2 页格力大数据项目工作说明书(SOW)大数据平台利用集成的产品及销售数据进行分析，发现其中先后、重复购买及交叉购买情况和规律，提醒、推荐客户购买特定的产品和服务，提高产品和服务的销量。智能搜索的业务目标：大数据平台提供通过语音输入完成产品及销售数据的查询、统计及分析的功能。2 建设及服务内容以下所有内容基于 1 月 19 日版本的需求文档。 详见格力大数据需求说明 1.0 文档，建设内容为基
4、于 Hadoop生态系统构建大数据平台，内容包括商用空调、家用空调、销售等历史数据的入库， ETL处理，数据仓库、离线计算、内存计算、实时计算、即席查询、可视化展示等内容。具体内容如下：2.1需求调研及数据标准化包括功能商技一部、商技二部、销售、审计部门的需求调研、数据调研以及数据标准化。2.2大数据基础平台搭建基于 Hadoop 搭建大数据平台，包括HDFS 、 MapReduce 、 HBase、 Hive 、Spark ，MySql 集群。使用 HDFS存储原始数据，供离线分析挖掘；使用 Spark/MapReduce 执行离线任务；使用 HBase做实时查询；使用 Hive/Spark
5、 SQL做数据仓库；使用 MySql 集群存储分析结果书，供上层应用查询。2.3数据采集大数据采集包括非结构化数据、结构化数据的采集，非结构化数据采用FlumeNG采集， Oracle/SQLServer/MySQL 关系数据库中的结构化数据采用Sqoop 收集。此外还有实时流数据采用分布式消息队列采集。第3 页MPP数据库进行统计分析。格力大数据项目工作说明书(SOW)Flume 收集非结构化数据， Flume 是一个高可用的，高可靠的，分布式的海量数据采集、聚合和传输的系统， Flume 支持定制各类数据发送方， 用于收集数据； 同时， Flume 提供对数据进行简单处理，并写入到 HDF
6、S中。Sqoop 收集结构化数据， Sqoop(发音： skup) ，主要用于在 Hadoop(Hive) 与传统的数据库 (mysql 、postgresql.) 间进行数据的传递， 可以将一个关系型数据库 （例如 ： MySQL,Oracle ,Postgres 等）中的数据导进到 Hadoop的 HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop，类似于其他 ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到 Hadoop时确保类型安全的数据处理。 Sqoop 专为大数据批量传输设计，能够分割数据集并创建 Hadoop任务来处理每个区块。实时数据处理，通过采
7、集层数据通过消息队列组件Kafka 接入到 SparkStreaming里， Spark Streaming实时处理后把结果存到Hbase 或 Mysql 等关系数据库中供用户查询。2.4分层存储设计通过将给定文件、数据集或应用程序的必需数据特征对数据进行分层存储设计，满足不同的应用场景。提供数据利用率与使用效率。将常用数据存储在高速设备上，而不太常用的数据存储在低速设备上。在宏观上，数据可以在不同的设备之间进行数据复制迁移，分层保存。2.5数据加工处理对数据进行分析和加工。包括对各种原始数据的分析、整理、计算、编辑等的加工和处理。经过加工清洗后的数据根据不同的数据类型，选择不同数据存储方式，
8、可以存入 HDFS供离线挖掘，或者存储到实时性高的2.6数据分析挖掘大数据分析系统以机器学习、 数据挖掘等作为核心技术， 构建于大数据管理系统和云计算平台之上。其中，大数据管理系统提供数据的存储与查询功能，云计算平台提供分布式并行计算服务。通过分布式计算与统计分析服务器访问大数据系统，实现 KPI 与报表统计分析服务。采用 Spark MLlib 做为数据挖掘和机器学习框架， MLlib 是 Spark 的标准机器学习框架 ，MLlib 相对于其他机器学习库包具有更加优异的性能或者更容易入门。第4 页格力大数据项目工作说明书(SOW)MLlib 机器学习库具有完整的机器学习框架和各类别机器学习
9、算法，满足各种场合的需求。 Mllib随着 Spark 版本一起发布和应用。本系统采用MLlib 构建在 Hadoop之上对大数据进行挖掘处理，实现故障诊断、故障预测、配件库存优化等深度挖掘。2.7内存数据库内存数据库是将全部数据驻留内存的分析型数据库系统， 采用内存计算技术， 从根本上解决了数据仓库由于磁盘 I/O 导致的性能瓶颈问题，具有性能高、成本低、灵活、可扩展等众多优良特性，尤其适合做为大数据的计算引擎、分析引擎使用。把热点数据加载到内存数据库中，提供交互式探查分析、智能查询分析等功能。2.8交互式探查分析基于内存数据库快速查询，使用明细数据，免去清洗、聚合过程，更快速地分析和揭露数
10、据中蕴含的问题 , 直接由业务人员使用， 免去提需求、澄清、确认沟通环节，快速实现分析意图，提高了发现和解决问题的效率使用时可由全部数据快速过滤出关注的部分数据进行分析；关注数据的特征可进一步由明细数据刻画、佐证；可按需保存分析场景、导出明细数据付诸解决。优异的用户体验， 以客户体验为中心设计， 侧重易理解（业务视角， 选择、过滤、分析）、易用（平铺、图形操作）、去除干扰（功能隐藏）、快速响应（内存计算）、增加趣味性（改分档数）。2.9数据可视化应用提供通过实时查询、产品统计功能，不做个性化推送。2.10 语音智能分析大数据平台提供语言智能分析，通过录入语言，将语言转换为文本，并对文本进行分词
11、和语义分析，提交到大数据平台完成产品产品及销售数据的查询、统计及分析的功能。2.11 文本、视频、图片存储大数据平台增加文本、音视频、图片等非结构化数据的存储。2.12 大数据平台运维监控第5 页格力大数据项目工作说明书(SOW)提供格力大数据平台管理、运维工具及说明，包括服务器和运维系统都正常运行，运维系统可以对集群所有物理机进行性能监控，包括但不限于以下指标：CPU使用率、内存使用率、硬盘利用率、网络流量、IO 负载、系统负载均值、ETL监控、数据质量监控、等服务器性能指标进行监控。运维要考虑大数据平台的可扩展性，支持：1、在线添加节点2、服务扩展3、组件的升级4、异常处理：挂了的节点如何
12、恢复，记录日志方便追踪2.13 大数据平台任务调度任务调度系统能够对各类任务进行配置、启动、跟踪。同时，应并具备任务联动能力，即可以将多个任务通过流程组装成一个联合任务，各任务之间存在相互制约关系，任务调度管理能够根据各任务的执行状态、结果来自动的启动后续任务，任务间允许并发及串行两种模式。要求各任务的配置应当为可视化的配置。对于任务启动至少包括定时启动和条件启动两种模式。同时允许管理员进行任务的手动执行。任务执行可设定优先级， 比如按销售 技术 质量 售后 (销售量大的 销售量小的 生产 检验来设定。2.14 ETL过程可视化ETL尽量满足可配置性及可视化操作，如果甲方购买了第三方 ETL可
13、视化工具如 kettle 、Dataflow 、 Syncsoft 等工具，乙方应支持甲方做集成工作。2.15 培训工作从格力大数据平台未来的使用及运行来看，北京西塔提供的培训将达到如下的目标：? 完成知识的转移承建单位开发完成一个软件系统后，将通过培训工作实现知识的转移，不仅包括软件系统的使用方法，同样还包括业务理念、系统运行维护方法、技术开发方法等满足系统未来业务拓展需要的各项技能与方法。第6 页格力大数据项目工作说明书(SOW)? 实现全员的应用应用系统的建设目标即要建设一个全员参与使用的系统，因此培训的目标之一，也是要使业务人员均可以熟练使用该系统，增强业务人员的知识储备，提高整个使用应用系统的业务人员素质。? 保障系统的安全运行对格力大数据平台的技术管理人员进行技术培训，使其能掌握有关软件产品及系统的使用、维护、管理，达到能独立进行管理、故障处理、日常测试维护、个性化应用开发等工作目的，以保障北京西塔所提供的应用系统能够正常、安全地运行。通过以上
