《研发垃圾短信监控核查系统》由会员分享，可在线阅读，更多相关《研发垃圾短信监控核查系统（30页珍藏版）》请在金锄头文库上搜索。
1、海南公司网络维护中心海南公司网络维护中心中国移动通信海南公司网络维护中心中国移动通信海南公司网络维护中心短信短信QCQC小组小组海南公司网络维护中心海南公司网络维护中心小组概况小组概况 秉承秉承 “网络质量是通信企业的生命线网络质量是通信企业的生命线 ”的网络工作核心理念，的网络工作核心理念，全面贯彻落实网络运行维护工作全面贯彻落实网络运行维护工作“质量领先，运行高效，支撑有力质量领先，运行高效，支撑有力 ”战略定位战略定位 ，中国移动海南公司专门成立了以提升短信业务质量，中国移动海南公司专门成立了以提升短信业务质量，追求细节品质为目标的短信追求细节品质为目标的短信QC小组，运用质量管理的理论
2、和方法，小组，运用质量管理的理论和方法，围绕生产活动中出现的实际问题，开展围绕生产活动中出现的实际问题，开展QC活动。小组自成立以来，活动。小组自成立以来，撰写了多个撰写了多个QC课题，其中课题，其中:提高短信接通率提高短信接通率获得了获得了2006年海南年海南省省QC成果一等奖，成果一等奖，2007年国际质量管理小组会议卓越成果年国际质量管理小组会议卓越成果QC成果，成果，短信短信QC小组获得小组获得2006年海南省优秀质量管理小组，年海南省优秀质量管理小组，2006年全国优年全国优秀质量管理小组。秀质量管理小组。海南公司网络维护中心海南公司网络维护中心小组简介小组简介 短信QC小组小组成员
3、 本次课题活动时间姓名文化程度组内职务组内分工冯成交本科组长指挥调度熊海兰硕士组员调查实施李博本科组员调查实施成立时间2005年3月课题：研发垃圾短信监控核查系统时间：2007年11月2008年3月海南公司网络维护中心海南公司网络维护中心相关术语解释相关术语解释垃圾短信垃圾短信垃圾短信垃圾短信指从某一客户端号码（网内或网外）或服务端口号码发起的，带有指从某一客户端号码（网内或网外）或服务端口号码发起的，带有非法或不健康信息内容或未经客户允许而向客户群发的商业、广告非法或不健康信息内容或未经客户允许而向客户群发的商业、广告短信或其他内容的短信。短信或其他内容的短信。 黑名单黑名单黑名单黑名单 指
4、经过指经过BOSS系统核实后，确认需要进行停机处理的用户号码列表系统核实后，确认需要进行停机处理的用户号码列表 海南公司网络维护中心海南公司网络维护中心选择课题选择课题一、一、 提出问题提出问题1.垃圾短信情况：垃圾短信情况： 垃圾短信问题是一个严重的社会问题，已引起各方面甚至中央的高度关注。垃圾短信干扰了客户正常的工作、生活，客户对此已产生不满。同时垃圾短信的泛滥影响了公司的社会形象，很多客户错误地认为垃圾短信的发送与中国移动相关，而事实上，垃圾短信并未为我们带来收益。2.现网垃圾短信拦截平台情况：现网垃圾短信拦截平台情况： 垃圾短信拦截平台运行不稳定，在10月1日10月10日、 11月5日
5、、6日、9日系统发生故障，没有正常出黑名单文件，由于该平台没有网管监控，无法及时发现故障。 11月14日后，网络维护中心对系统进行定时重新应用程序进程方式改善系统情况，系统基本正常，但在11月19日、20日、25日、27日、28日、29日部分时段无法正常提供黑名单。短信中心短信中心垃圾短信拦截平台垃圾短信拦截平台BOSS HLR海南公司网络维护中心海南公司网络维护中心选择课题选择课题一、一、 提出问题提出问题3.垃圾短信情况：垃圾短信情况： 垃圾短信投诉量不断上升问题4.垃圾短信情况：垃圾短信情况： 垃圾短信发送号码高欠费金额问题异常导致异常导致上万元欠上万元欠费费异常导致异常导致某号码上某号
6、码上万元欠费万元欠费07年年10月垃月垃圾短信圾短信1309例投诉例投诉海南公司网络维护中心海南公司网络维护中心选择课题选择课题一、提出问题一、提出问题 本次讨论课题：本次讨论课题：如何有效拦截如何有效拦截垃圾短信呢？垃圾短信呢？ 针对垃圾针对垃圾短信治理存在短信治理存在问题，小组成问题，小组成员需要研究并员需要研究并提出解决办法。提出解决办法。海南公司网络维护中心海南公司网络维护中心选择课题选择课题二、二、 选择突破口选择突破口 针对这个问题，针对这个问题，小组成员运用头脑风小组成员运用头脑风暴法提出了三个可供暴法提出了三个可供选择的突破口：选择的突破口：（1）增加人力进行垃）增加人力进行垃
7、圾短信拦截平台的监圾短信拦截平台的监控；控；（2）要求厂家完善垃）要求厂家完善垃圾短信拦截平台；圾短信拦截平台；（3）研发垃圾短信监）研发垃圾短信监控核查系统。控核查系统。海南公司网络维护中心海南公司网络维护中心选择课题选择课题三、三、 确定课题确定课题研发垃圾短信监控核查系统研发垃圾短信监控核查系统海南公司网络维护中心海南公司网络维护中心目标设定目标设定选择了上述课题后，我们要实现哪些目标呢？选择了上述课题后，我们要实现哪些目标呢？ 1、建立一个独立的垃圾短信处理系统。2、该系统能建立多条件的垃圾短信处理规则。3、提供给业务部门较为准确的现网数据，分析垃圾短信方面的问题。4、做为现网垃圾短信
8、系统的补充，快速拦截垃圾短信。海南公司网络维护中心海南公司网络维护中心提出并选择方案提出并选择方案 小组成员运用头脑风暴法，围绕实现小组活动目标，提出许多想小组成员运用头脑风暴法，围绕实现小组活动目标，提出许多想法和看法，初步归纳成以下三种方案：法和看法，初步归纳成以下三种方案：方案一：旁接信令系统，对短信信令进行分析，若为垃圾短信，则送至方案一：旁接信令系统，对短信信令进行分析，若为垃圾短信，则送至BOSS系统，由系统，由BOSS系统决定是否允许下发。系统决定是否允许下发。方案二：对短信中心话单进行分析，若为垃圾短信，则在短信中心上拦方案二：对短信中心话单进行分析，若为垃圾短信，则在短信中心
9、上拦截该短信，不允许下发。截该短信，不允许下发。方案三：对短信中心话单进行分析，若为垃圾短信，则送至方案三：对短信中心话单进行分析，若为垃圾短信，则送至BOSS系统，系统，由由BOSS系统决定是否允许下发。系统决定是否允许下发。海南公司网络维护中心海南公司网络维护中心提出并选择方案提出并选择方案 经过评估分析，决定经过评估分析，决定采用方案三来研发垃圾采用方案三来研发垃圾短信监控核查系统。短信监控核查系统。海南公司网络维护中心海南公司网络维护中心制定对策制定对策序号对策目标措施时间负责人1硬件平台分析确认可以承载该系统的硬件平台1、调研现有空闲设备；2、对硬件能力进行分析，确认是否有合适的硬件
10、平台2007.12李博2可行性分析确认短信话单是否可以有效分析。1、确定短信话单获取方式；2、确定短信话单存储方式；3、分析短信话单是否可以快速有效分析。2007.12熊海兰3系统规划对各接口及编程工具等进行确定小组讨论确定。2007.12冯成交4 系统实施 研发垃圾短信监控核查系统 编写源代码并进行调试。 2007.12冯成交海南公司网络维护中心海南公司网络维护中心对策实施对策实施 硬件平台分析硬件平台分析原短信监控系统淘汰主机，其配置为：2CPU 280G MEMORY 3G，可以利旧这两台设备。海南公司网络维护中心海南公司网络维护中心对策实施对策实施 可行性分析可行性分析1、原始数据采集
11、分析短信中心存在日志查询系统和流量监控系统2个对短信中心每日数据的实时监控，在原始数据采集上不存在困难。2、采集流程分析短信中心日志查询系统数据采集的流程为：短信中心日志查询系统Oracle数据库。3、表结构分析经分析，该数据库表结构设计相对合理，采用以时间为单位，每小时建立存储分区，在查询时，如果注意引用分区数据，能较小的占用系统资源，提高查询效率。海南公司网络维护中心海南公司网络维护中心对策实施对策实施 系统规划系统规划1、系统使用编程语言：java2、编程工具：eclipse、PL/SQL3、系统实施系统在原短信监控系统主机上实施，数据库基于原日志查询系统数据库SLMS。4、与其他系统接
12、口系统生成可疑用户数据，自动push到垃圾短信系统服务器，在该服务器上运行一个定时脚本，再自动将该文件push到BOSS系统处理。海南公司网络维护中心海南公司网络维护中心对策实施对策实施 系统实施程序设计程序设计为了保证数据库连接的稳定性，DBConnectionManager类建立和oracle数据库的稳定连接，同时，POOL方法建立数据库连接池，数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而再不是重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。MyTimerTask类为一个定时器任务，该类
13、是我们程序的主要部分，垃圾短信用户行为的监控在该类中实现；Writefile和Ftpfile两个类提供了黑名单文件生成和向服务上传黑名单数据的功能；main_pro类为系统主进程类，该类调度系统各个资源，完成系统整体功能。海南公司网络维护中心海南公司网络维护中心对策实施对策实施 系统实施数据库设计数据库设计源表：SLMS_LOG_T;中间表：HN_WGZX_TIME、HN_WGZX_LASTTIME、HN_WGZX_OUTPUT、HN_WGZX_ALLDATE其中SLMS_LOG_T为日志查询系统表数据，该表包含了所有我省短信日志信息；HN_WGZX_ALLDATE为所有历史数据；HN_WGZ
14、X_LASTTIME、HN_WGZX_TIME为临时表数据；HN_WGZX_OUTPUT为实时输出可疑名单数据。系统按照时间分区从SLMS_LOG_T表中按滑动窗口方法，实时取出符合垃圾短信发送用户可疑规则数据送入HN_WGZX_TIME表，HN_WGZX_TIME表和HN_WGZX_LASTTIME核对剔除重复数据后送入HN_WGZX_OUTPUT黑名单输出表，最后汇总到HN_WGZX_ALLDATE表中形成历史数据。Java主程序完成个定时任务的调度，可疑名单文件的生成，同时，调用PL/SQL编程的存储过程，生成相关数据。所有程序完成后，打包成java程序包，在服务器运行。海南公司网络维护
15、中心海南公司网络维护中心对策实施对策实施 系统实施程序设计程序设计主程序类图数据库连接基础类图海南公司网络维护中心海南公司网络维护中心对策实施对策实施系统实施 为了保证数据库连接的稳定性，DBConnectionManager类建立和oracle数据库的稳定连接，同时，POOL方法建立数据库连接池，数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。 MyTimerTask类为一个定时器任务，该类是我们程序的主要部分，垃圾短信用户行为的监控在该类中
16、实现；Writefile和Ftpfile两个类提供了黑名单文件生成和向服务上传黑名单数据的功能；main_pro类为系统主进程类，该类调度系统各个资源，完成系统整体功能。海南公司网络维护中心海南公司网络维护中心源表：SLMS_LOG_T; 中间表：HN_WGZX_TIME、HN_WGZX_LASTTIME、 HN_WGZX_OUTPUT、 HN_WGZX_ALLDATE对策实施对策实施系统实施其中SLMS_LOG_T为日志查询系统表数据，该表包含了所有我省短信日志信息。HN_WGZX_ALLDATE为所有历史超标数据，记录了某个号码每隔5分值的发送量，HN_WGZX_LASTTIME表记录每小
17、时某个号码发送量、HN_WGZX_TIME记录超标号码，HN_WGZX_OUTPUT为实时输出排重的可疑名单数据。海南公司网络维护中心海南公司网络维护中心对策实施对策实施系统实施日记数据库表每5分钟进行流量统计分析汇总超量号码排重生成黑名单送往boss关闭短信功能程序处理流程文件传送脚本more ftp.sh#!/bin/shftp -n!open 172.28.1.130 连接远程服务器user username passwordprompt offlcd /data/file/ 进入传送目录cd /blackdata/file/ 进入本地存放目录mput *.txt 传送文件close b
18、ye!海南公司网络维护中心海南公司网络维护中心在2007年12月正式运行后，通过一段时间的检验，确实发现了现有垃圾短信系统黑名单数据的不全及不准确性，其中包括：1、及时发现了已有垃圾短信系统生成垃圾短信黑名单的不准确性。该系统运行后，在比对2个系统产生名单的情况，及时要就厂家校正拦截系统相关参数阀值，保证了系统数据的准确性。2、发现了已有垃圾短信系统拦截的缺陷。原垃圾短信系统在取拦截原始数据的时候，由于没有考虑到手机群发push短信的情况，没有将该类型数据加以统计，导致大量该类垃圾短信发送号码未被拦截。3、由于现网平台只能实现单一拦截条件，不能对复杂的用户行为加以拦截，在3.15期间，根据业务
19、部门需求，在该系统上实现新的拦截规则，配合现有现网平台实现多规则拦截垃圾短信用户。效果检查效果检查利用监控核查系统我们发现并解决了现网以上3个问题，垃圾短信拦截效果明显提升，控制了垃圾短信泛滥，提高了用户满意度。1海南公司网络维护中心海南公司网络维护中心效果检查效果检查系统上线后，日拦截的用户数从原最高的712降到20个左右，较好的进行了垃圾短信的拦截，控制了垃圾短信蔓延，提升了企业的形象。 2海南公司网络维护中心海南公司网络维护中心效果检查效果检查系统上线后，经过客服投诉平台数据统计，每月垃圾短信的投诉量和排重的发送号码量不断呈下降趋势，达到了明显的效果，减少了用户投诉量 。3 3海南公司网
20、络维护中心海南公司网络维护中心效果检查效果检查系统上线后，经过boss统计，发送垃圾短信的号码欠费金额从原最高的上万元减少到几十元，满足了市场部门要求，控制了号码欠费风险，提高了欠费回收率。3 4海南公司网络维护中心海南公司网络维护中心三大三大三大三大标准化标准化标准化标准化手段手段手段手段制定制定垃圾短信监控核查系统操垃圾短信监控核查系统操作手册作手册，归档保存。，归档保存。手段手段1制定制定垃圾短信监控垃圾短信监控核查系统维护手册核查系统维护手册，归档保存。归档保存。制定制定垃圾短信监控核垃圾短信监控核查系统查系统数据库手册数据库手册，归档保存。归档保存。巩固措施巩固措施手段手段2手段手段3海南公司网络维护中心海南公司网络维护中心总结与下一步打算总结与下一步打算此次QC活动，小组成员通过运用质量管理的方法及工具，紧紧围绕以快速控制垃圾短信的群发，研究系统软件研发等一系列活动，取得了很大的成功。活动中，小组成员集思广益，提高了创新和质量管理意识。以下是小组自我评价图海南公司网络维护中心海南公司网络维护中心总结与下一步打算总结与下一步打算 集团业务为集团公司重点发展的业务，针对集团短信下发成功集团业务为集团公司重点发展的业务，针对集团短信下发成功率低的问题，我们下一个课题是：率低的问题，我们下一个课题是：提 高 集 团短信成功 率海南公司网络维护中心海南公司网络维护中心
