《XX大数据平台实施项目工作说明书(SOW)》由会员分享，可在线阅读，更多相关《XX大数据平台实施项目工作说明书(SOW)（24页珍藏版）》请在金锄头文库上搜索。
1、附件一：XXXX项目实施工作范说明书xx 年 xx 月X日目录1.1 编写目的 21.2 名词解释 21.3 适用范围 22 工作前提 22.1 合作原则 22.2 一般前提 22.3 人力资源管理前提32.4 业务部门及第三方的配合 43 项目目标 44 项目需求 54.1 项目范围 54.2 产品范围 75 实施方法 86 项目任务 86.1 任务项描述 86.2 输出物 126.3 里程碑划分 136.4 双方职责 137 项目计划 148 项目组织 159 培训和推广 169.1 培训目的 169.2 培训对象 179.3 培训范围 179.4 培训计划和内容 179.5 培训方式 1
2、810 项目管理和资源调度 1911 项目验收 1911.1 验收组织 1911.2 验收方式 1911.3 验收步骤 2012 维保说明 2013 项目所需资源2113.1 办公网络环境 2113.2 软硬件资源需求 2213.3 资源协调 22附录 交付文档基线表 23引言1.1 编写目的此工作说明书描述了由XX公司（以下简称XX公司”，或“乙方”为XX （以下简称“xx”，或“甲方）提供XXXX项目的实施服务（以下简称“本服 务”或“服务”）的内容,以及乙方和甲方就本实施服务有关内容的合作方式的描 述，以下涉及乙方工作内容若非特殊说明，均属于实施服务内容。1.2 名词解释无。1.3 适用
3、范围本工作说明书描述了由XX公司2016年为XX实施XXXX过程中，乙方必须 提供的服务内容和目标，作为双方确定工作范围之用。2 工作前提2.1 合作原则甲、乙双方在本工作说明书的要求下积极配合，对出现的问题与争议双方均 需在充分协商基础上加以解决，以解决问题、完成目标为原则。2.2 一般前提1. 本服务的实施服务地点在青岛市。2. 甲方负责为本服务的实施提供办公环境（包括工位，电话，打印机，传真机等）、相应场地（会议室），并负责有关机房的准备工作，包括：电缆铺设、UPS 系统及其它必要的设备和其他必需工作用品；乙方项目人员的个人电脑 及软件由乙方自行解决，但必须符合甲方办公场所的相关规定。3
4、. 乙方须遵守甲方办公环境管理办法及相关管理制度。4. 所有的本服务相关的工作和会议，原则上在甲方提供的XX办公环境中开展。5. 在本服务实施过程中，甲乙双方均需确保所提供资料及信息的来源合法、内 容真实、有效和准确。6. 在本服务实施过程中，采用甲乙双方同意的通讯方式，可选择的通讯方式包 括：互联网、传真、电子邮件、纸介质等。7. 本服务的所有工作记录和文档以中文为工作语言，如甲、乙双方有不同语种 专家或文件，双方需自行配备翻译。提交的电子文档按双方约定的格式提交。8. 甲方将协调有关项目资源，并根据约定的工作日程向乙方提供本项目有关的 资料。2.3 人力资源管理前提1. 为确保本项目计划的
5、正常执行，乙方针对本项目实施所需要的资源，将按照 适合本项目需要的人员选用标准，调动最适合的业务专家和技术人员根据项 目计划需要和安排来参与本项目的实施服务工作，同时，需保持项目参与人 员的充分性和稳定性。2. 为确保本项目计划的正常执行，甲方将协调银行资源投入到本项目。3. 如果根据工作需要、或甲方/乙方请求、或不可抗拒的原因，需要对于乙方 参与本项目的相关人员进行调整（包括人员的增减和更换）时，双方将本着对工作负责的原则，在进行充分协商并取得甲方同意后稳妥完成人员的调整。另外甲方对于乙方不能胜任本项目工作的人员，有权提出调整要求。乙方项目组成员须遵守甲方作息制度，乙方项目组成员在服务实施期
6、的工作时间内因请假、出差等原因需暂时离开本项目的须至少提前三个工作日（含三 个工作日）通知甲方，并在甲方确认不影响本项目实施进度时方可离开。2.4 业务部门及第三方的配合在项目的实施过程中，需要甲方业务及相关部门提供配合与支持，由甲方负责 协调。由乙方提供的服务如涉及第三方，由乙方负责进行协调。3 项目目标建设XXXX，实现运维部门关键系统相关日志的统一管理、应用和可视化，为运维不同层面人员构建动态的、实时的、差异化的可视化管理平台。平台预期目标包括：1、为领导提供更加直观人性的界面，展示各个业务系统的整体信息；2、为维护人员提供更加简洁的通道识别、定位和分析各类运维异常情况；3、为平台人员提
7、供更加准确的信息了解平台的支撑情况从而帮助XX减少各级人员获取信息的工作量和工作难度提升XX运维管理的智能化水平，促进运维效率的改进和运维质量的提高。4 项目需求4.1 项目范围本项目实施的硬件环境由甲方提供，软件环境为XX公司的XX平台、大数据存储平台，项目实施工作范围如下：序号工作项工作内容和要求运维现状完成运维部门中项目系统的调研，梳理运维部门关键系统的各层级日志，1和需求调包括核心业务系统、企业服务总线、柜面统一登录系统、二代支付系统、研网上银行系统、理财平台，并对其进行归类、整理和总结。基于XX公司的XX平台、大数据存储平台，完成关键系统运维数据的抓9XXXX 平取管理和外部系统的信
8、息同步，通过对运维数据进行数据清洗，完成复杂2台建设故障定位、综合专题分析、实时智能告警数据应用，最终实现业务的整体视图级智能运维。平台培训针对运维团队系统操作和分析人员、系统管理员、中高层管理人员不同角3和应用推色，组织针对性培训，帮助快速上手，并监督在实际工作中的应用效果，广沉淀和积累经验和建议。其中XXXX的功能需求如下:功能 序号子系 统描述模块功能点功能描述1数 据 管 理完成数据的采集和存储，包括：1、完成项目一期内部系统的数据接入，并为 其它内外部数据源预留接口2、提供数据采集和处理逻辑调度功能3、采用大数据技术框架支撑运维过程产生的 海量数据管理数据 采集 和调 度采集代理自有
9、数据探头调度管 理负责数据采集和数据 处理、数据装载、接口 服务等资源分配和调 度4、实现运维数据的高质量管理第三方 数据采 集负责非自有数据探头 的数据源采集数据质量管理数据清 洗数据分 类数据关 联2数 据 分 析识别和梳理运维关键KPI和告警，构建基于动 态基线、日志聚合、多维查询等技术手段的分 析方法，支撑系统数据应用动态基线基础架 构动态 基线预 警业务运 行动态 基线预 警日志 聚合聚类算 法参数修正模式提 取3数 据 应 用引入新技术和新手段进行主动式监控和智能分 析，包括：1通过知识管理完成内部知识有效 传递，提升运维管理水平2通过海量搜索、日志聚合、自动化预案关联 等故障快速
10、定位3.通过logcompare、日志聚合、海量搜索实 现运维异常和专题分析异常信息定位（聚合、搜索）4通过动态基线技术实时跟踪关键服务状态， 实现异常信息的高效捕捉5通过真实时监控保证关键KPI状态信息和关 键告警信息第一时间传达到运维人员手中，提 升我行运维敏捷度知识管理运维预案检索故障定位异常信息定位日志智能聚合专题 分析个性化 决策支 持运维关联信息智能推 荐智能告警 告警动态基线监控基于实时信息的计算 动态识别下一秒可能 发生的告警4系 统 管 理实现系统管理等通用功能，包括：1、实现工单、告警系统的信息同步和联动2、完成数据产品的管理、订阅、发布等操作3、完成平台自身的权限和健康管
11、理4、为外部其它系统提供统一的标准数据服务 接口接口 管理告警同步接口告警输出、状态同步和 关闭等工单同步接口工单状态的同步等数据标准服务运维数据的统一对外 服务总线接口辅助管理资源管理负责运维数据资源的 管控订阅管理使用人员可以通过邮件等方式订阅告警或者关键KPI发布管理用于数据产品的审批 发布消息管理消息通知组件平台管理用户管理权限管理r-i 安土管理提供登录策略设置健康管理XXXX的自我监控和告警4.2 产品范围本项目工作范围同时包括了 XX 公司以下产品的实施：A. XX 大数据存储平台XX大数据存储平台基于最新的大数据开源存储技术（Hadoop、Hive、 Hbase、Spark和E
12、lasticsearch ）进行自主知识产权封装，提供商用产品级 别的易用性、并发性、安全性等保障，并为客户进行全方位的运维技术支持。 在此次运维数据一体化应用项目中，承载日志等大量非结构化数据及结构化 数据的存储和管理工作。B. XXXX 平台XXXX平台采用最新的流式文本采集技术LogStash、Opentsdb、Kafka 等），可以收集不同系统、设备同时产生的大量日志，并进行快速解析和分析，迅速定位问题。在此次运维数据一体化应用项目中，承载对日志进行收 集、处理、挖掘、搜索、分析的工作。5 实施方法本项目实施方法如下：6 项目任务6.1 任务项描述本项目包含以下任务项：A、运维现状和需
13、求调研完成运维部门中项目相关系统的调研，通过梳理运维部门关键系统的各 层级日志，对系统数据进行归类、整理和总结。B、项目设计完成项目系统架构、技术架构、数据架构的设计，基于项目目标构建体系化的产品融合机制。C、开发和部署1) 运维数据采集和存储确定采集方案(kafka /jdbc / odbc / api / ssh/scp等)通过部署探针、 外部接口等方式捕获各类原始数据，完成包括核心业务系统、企业服务总线、 柜面统一登录系统、二代支付系统、网上银行系统、理财平台系统的日志数 据采集，并基于 XX 大数据存储平台进行数据的集中存储和分类管理。运维 数据采集包括两个部分的数据整合： 机器数据整
14、合：关键系统日志/机器运维监控指标/常用应用监控 接口数据/常用应用日志接口数据 探针数据整合：固定机器探针，固定程序探针，固定日志探针，自 定义事件探针等四个层面去覆盖整合所有探针数据运维数据存储包括以下几个功能的应用： 数据存储。根据项目需求和时效性需求，数据会被存储在三个区域 内：实时数据区，存放实时计算和秒级别延时数据；活动数据区， 存放离线计算和T+1业务需要的数据；归档数据区，存放历史数据 作为备份； 数据规范与标准化。根据项目需求，排除重复数据、测试数据、残 缺数据和错误数据，规整数据的标准； 实时计算。本项目实时计算框架基于业界流行的实时计算框架以及 内存库搭建，能够在秒级的延时内进行数据清洗、标准化、结构化 统计分析、数据挖掘和实时索引等任务。 实时计算框架处理好的数据将沉淀到离线计算框架做进一步
