《多数据业务平台统一维护管理系统》由会员分享，可在线阅读，更多相关《多数据业务平台统一维护管理系统（46页珍藏版）》请在金锄头文库上搜索。
1、多数据业务平台统一维护管理系统的研究与实现摘 要随着中国移动数据业务的蓬勃发展，提供数据业务应用的各类系统的数量和种类也在不断地攀升，众多的业务系统增加了日常维护的复杂度，也给维护人员的工作带来了新的挑战。本报告针对中国移动现网各类数据业务系统维护现状进行了分析，阐述了多数据业务平台统一维护管理的必要性，提出了多数据业务平台统一维护管理系统的功能需求, 并对各系统日常监控的内容和通信接口进行了研究和梳理，详细剖析了实现多数据业务系统各指标采集的技术手段, 在此基础上描述了多数据业务平台统一维护管理系统的整体架构和各模块功能，阐述了如何实现各业务系统不同监控指标的统一配置，统一调度，集中告警和统
2、一报表生成, 从而达到多数据业务平台的统一全面自动化维护。目录目录2引言3第一章 数据业务系统维护概述4第一节 数据业务系统简介4第二节 数据业务系统维护现状和统一维护的必要性6第三节 多数据业务平台统一维护系统功能需求7第二章 多数据业务平台监控分析9第一节 监控指标分类描述9第二节 现网设备采集通信接口汇总10第三章 多数据业务统一维护系统的实现13第一节 系统监控开发包14第二节 采集模块15第三节 密码管理模块25第四节 实时告警模块25第五节 存储模块26第六节 报表模块28第七节 配置模块29第八节 监控处理模块34第四章 统一管理平台的现网部署34第一节 硬件部署34第二节 软件
3、部署35第三节 网络部署36第四节 现网监控指标的部署37第五节 软件系统测试39第六节 试运行结果40第五章 项目总结43第一节 预期目标评估43第二节 项目成果带来的效益44引言 系统日常维护的目的在于通过实时监控现网各主机系统以及网络设备的运行状况从而及时发现潜在问题并快速作出响应。系统监控的自动化也随着现网数据业务系统的增多而变得愈加重要。上海移动的数据业务系统仅钦州机房就有400多台主机服务器和网络设备。它们因业务的不同所实现的功能也各不相同，需要监控的内容也各种各样，主要包括系统硬件运行状态指标、系统软件运行状态指标、业务运行容量和质量指标等三类。为全面保障各数据业务系统可靠、稳定
4、、高效地运行，提高日维的工作质量和工作效率，需要对监控任务实现集中化、自动化管理和维护，以协助日维工作人员完成繁杂的日维工作，做到有问题及时发现，防患于未然。本报告将着重阐述如何实现多数据业务平台统一维护系统，以满足现网多数据业务日常维护的需求。文章内容安排如下：第一章主要回顾了现网数据业务系统的维护现状，阐述了对各数据业务平台实施统一维护管理的必要性和迫切性，并根据业务系统维护日常要求提出了实现多数据业务平台统一维护管理系统的功能需求。第二章对现网所需要的各监控指标进行分类描述，并梳理了现网数据业务系统的各类维护通信接口。第三章提出了多数据业务平台统一维护管理系统的设计框架，然后依次对系统监
5、控开发包，采集模块，密码管理模块，实时告警模块，存储模块，报表模块，配置模块和监控处理模块的功能和部分实现进行了详细描述。第四章阐述了该维护管理系统的硬件、软件和网络部署，以及对现网各数据业务系统监控指标的实施方案，并介绍了系统测试和试运行状况。第五章总结了该创新项目创新成果和取得的收益。第一章 数据业务系统维护概述第一节 数据业务系统简介上海移动数据业务机房目前有钦州机房，浦东IDC机房，怒江IDC机房，金桥机房，它们承担上海所有数据业务和部分全网数据业务的业务服务。其中大多数的数据现网业务的业务系统都部署在钦州机房，包括ADC管理平台、手机网游、WAPPUSH、MISC管理平台、彩铃门户、
6、集团总机门户、彩话门户、WWW门户、个人数据门户、企信通、行业网关M模块、IP电话系统、农信通、城管通、小区短信、LBS、闪信、亲子通、天网、信令采集系统、电子商务、流媒体手机电视和视频监控等20多种业务，共有400多台主机和网络设备。众多的业务系统总结下来存在以下特点。、功能各不相同。不同的业务为提供不同的服务实现了不同的功能，这就使得业务系统的各主机和网络设备在功能各有差异。大致可分为数据库服务器，文件服务器，WEB服务器，应用服务器，负载均衡服务器，防火墙服务器，路由设备，交换设备等。、服务器硬件设备类型差异。不同的业务是由不同厂商提供的，这就决定了硬件设备的多样性。目前硬件设备的厂商有
7、3COM，B16，BigIP，Cisco，Compaq，Dell，EMC，HP，IBM，Juniper，NetApp，NetScreen，Redware，Raritan，SDK，Sun，UU，中兴，华为，大华，安氏，思科，港湾，绿盟，融天科技等30多家厂商。、软件类型的差异。不同业务应用是由不同软件开发商提供的，各系统运行的操作系统类型和版本，第三方软件类型和版本，以及业务应用软件使得软件千差万别。如操作系统有Windows，AIX，HP-UNIX，SUNOS，SUSELinux，RedhatLinux。数据库软件有：ORACLE,MYSQL,SQLServer等。WEB服务器软件有IIS，A
8、PACHE，WebLogic等。软硬件的差异决定了日常维护工作的繁杂性，也给日常维护人员带来了挑战。为确保各主机和网络设备稳定、安全、高效的运行，日常维护工作就需要对现网系统进行全方位的监控，通过定时采集各个系统的性能和功能指标，实现对异常问题早发现，早分析，早排除，从而防患于未然。第二节 数据业务系统维护现状和统一维护的必要性通过对目前数据业务系统维护状况的调查，总结起来有以下几个特点。1、日维监控工具分散且不统一。目前一些业务如MISC，小区短信，企信通，天网等系统的监控工具是由业务开发商提供的，只针对单个业务使用，风格各异，且不具有通用性，无法用于其它系统维护使用。另有一些业务的监控工具
9、是由业务负责人自己编写，各自负责运行和维护。分散各异的监控工具之间的协同工作能力较差，使得日常维值人员难以达到同时兼顾，影响维护效率。2、系统安全埋有隐患。部分业务频繁地手工登录访问系统主机查看系统和业务的运行状况，既耗费人力又难以做到安全防护而且易产生误操作从而影响现网业务的正常运行。另外，有些对主机远程访问密码使用明文保存和分散管理的方式，安全性和维护性不高。3、监控指标不全面。各业务主机系统和网络设备既需要有共同的监控指标如硬件运行状态指标CPU利用率、内存空间使用率、磁盘空间利用率和磁盘读写繁忙率等，也需要有根据不同设备和业务的差异而不同的软件运行状态指标和业务运行状态指标。所有指标数
10、据均正常才能确保整个业务的稳定，可靠运行。而目前大多数业务系统对于很多关键性指标均没有达到实时自动化监控，无法做到防患于未然。4、监控指标数据存储分散或无存储。由于监控工具的分散使得监控采集数据各自存放，既增加了软硬件的开销，又难以进行系统和业务的横向指标比较。另外，部分自己开发的简易的监控工具没有存储功能，难以生成数据报表和统计报表进行分析。5、告警系统欠主动。大部分业务仅能将告警汇报在各自的业务维护系统内，需要管理员定期去提取、查看, 可能会导致问题发现不及时。、业务报表数据手工填写和生成。业务报表需日维人员登录到各系统上采集业务指标后，手工填写到报表中，重复性的手工操作既花费了时间，实时
11、性和准确性也无法充分保证。7、监控指标扩展性较弱。对现有的厂商提供的各业务监控工具，如有业务功能扩展或欲新增监控指标，需向厂商提出新的需求，并委托厂商开发，然后进行软件升级，从而增加了时间延迟、费用开销和升级风险。第三节 多数据业务平台统一维护系统功能需求基于以上分析，传统的系统维护方式已经无法满足日益增加的数据业务系统日常维护的要求，我们需要建立一个能够支持多数据业务的统一维护管理系统，来协助日维人员完成繁杂的日常监控任务，从而提高工作效率和工作质量。该系统需要实现以下功能：1、 实现各种数据业务系统下各种监控指标的数据提取，屏蔽各种监控方式的差异，实现采集手段的集中配置，采集任务的统一调度
12、和采集结果的集中化实时展示。2、 支持监控方式的通用性，提取监控方式的共同点，便于将此监控方式快速应用到同类型的其他业务、系统和指标的监控。3、 支持监控方式的可扩展。便于新的采集接口和采集内容的快速开发和部署。4、 实现实时告警和告警方式的多样化，支持基本声音颜色告警，支持扩展的EMAIL，SMS告警，支持企信通平台的实时短信下发。5、 支持告警方式的可定制功能，可以根据需求快速开发和部署，同时支持短信内容和下发对象的自定义功能。6、 支持监控指标数据的统一存储和备份，实现数据汇聚，便于进行统计分析和报表生成。7、 支持业务指标报表的自动化生成。8、 系统自身用户界面友好，部署成本应相对较低
13、，且易于维护和升级。9、 系统设计有前瞻性，能有效应对后续移动数据业务的增长。第二章 多数据业务平台监控分析集中监控是实现统一维护的关键内容，也是集中告警，统一存储和统一报表的功能实现的前提条件。本章将对现网监控指标和通信接口进行梳理。第一节 监控指标分类描述 现网数据业务指标依据业务功能和软硬件的不同而各种各样，既有通用的监控指标也有业务相关的独有的监控指标。归纳起来分为以下三类。1、 系统硬件运行状态指标。系统硬件运行状态指标是指各主机、网络设备的硬件资源的使用情况，包括CPU利用率，内存空间利用率，磁盘利用率，磁盘读写繁忙率和网络带宽利用率等。它们是系统稳定和高效运行的基础，也是最基本的
14、监控指标。当然，根据设备功能的不同对不同的性能监控指标有所侧重，如对于应用服务器，CPU利用率和内存利用率的监控比较重要，它们直接决定了应用程序的运行效率，也会反映业务服务的质量。而对于存储服务器，磁盘利用率和IO读写繁忙率的监控就更重要。系统运行性能指标也会依据操作系统和设备类型的不同而表现为不同的指标数据。详细内容见附件一：系统硬件运行状态指标。2、 系统软件运行状态指标。这类指标主要指业务正常运行在功能和性能上的要求，会因业务的不同而各有差异，包括网络连通性，URL 连通性和有效性，服务运行状态，进程运行实例数，进程运行状态，应用程序运行状态和数据库运行状态等等。通过检查这些指标可以判断
15、各软件在功能和性能上是否正常运行。具体指标详细内容见附件二：系统软件运行状态指标。3、 业务运行容量和质量指标。业务容量和质量指标是评估业务运行情况和运行能力的重要手段，也是部门和中心KPI考核指标，主要分为业务运行成功率和业务并发处理能力两大类。这类指标会因业务的不同而各不相同。具体内容见附件三：日报表业务指标。第二节 现网设备采集通信接口汇总各业务主机从安全性和可维护性上考虑提供了不同的外部访问服务接口，日维人员通过这些服务远程访问现网设备和业务功能。归纳起来有以下几种。1、 远程登录（Telnet ，SSH）服务。远程登录服务是现网所有主机操作系统（Sun Solaris，HP Unix，Windows：Telnet，SUSELinux，RedHatLinux，AIX）和网络设备操作系统（CiscoIOS，HuaWeiVRP）默认支持的服务类型，用户可以通过网络远程登录到远程IP网络计算机上，并以本地虚拟终端方式在远程设备上执行操作。其中，SSH服务实现了网络传输数据的压缩和加密。既能防止网络传输过程中传输内容被截获，也能提高传输效率，它完全实现了Telnet的功能。现网一些主机和网络设备开放了远程登录端口，便于系统维护的日维人员通过网管网络对主机，网络设备的运行状态做日常检查和错误诊断等日常维护工作。2、 文件传输（FTP，SFTP）服务。文件传输服务也是所有现网
