《基于Hadoop的移动用户综合业务分析与监控平台》由会员分享，可在线阅读，更多相关《基于Hadoop的移动用户综合业务分析与监控平台（88页珍藏版）》请在金锄头文库上搜索。
1、基于Hadoop的移动用户综合业务分析与监控平台 目 录院 系：软件学院专 业： 软件工程姓 名：指 导 教 师： 完 成 日 期： 2017年8月30日III目 录摘 要IVABSTRACTV第一章 绪 论61.1 研究背景及意义61.2 研究目的61.3 国内外研究现状及对比分析71.4 本论文主要工作91.5 论文结构10第二章 系统分析122.1 必要性分析122.2 现状分析122.3 存在问题与解决措施132.4 系统角色分析152.5 功能性需求分析152.5.1 数据采集子系统162.5.2 数据入库子系统172.5.3 数据存储子系统182.5.4 数据查询与分析子系统192
2、.5.5 系统管理子系统202.6 非功能性需求分析212.6.1 高性能212.6.2 稳定性212.6.3 扩展性212.6.4 易用性212.6.5 安全性212.7 本章小结22第三章 系统设计233.1 设计目标与设计原则233.2 系统框架设计243.3 系统网络拓扑设计253.4 系统数据库设计263.5 系统功能结构及子系统设计273.5.1 数据采集子系统283.5.2 数据入库子系统313.5.3 数据存储子系统323.5.4 数据查询与分析子系统363.6 系统性能设计383.7 系统接口设计393.7.1 系统内部接口393.7.2 跨系统接口403.8 系统安全设计4
3、13.8.1 安全目标413.8.2 网络安全设计423.8.3 数据安全设计423.8.4 应用安全设计433.9 本章小结44第四章 系统实现454.1 系统开发环境454.2 Hadoop集群的搭建454.2.1 节点规划配置454.2.2 安装配置OpenSSH454.2.3 安装并运行Hadoop464.3 基于Hadoop的分布式存储的实现474.3.1 文件操作474.3.2 目录操作494.3.3 其他重要的操作504.4 系统功能模块的实现514.4.1 Gn分光采集实现514.4.2 数据汇聚分流设备功能实现524.4.3 采集解析设备功能实现524.4.4 本地FTP服务
4、器设备功能实现524.4.5 数据入库子系统功能实现534.4.6 数据存储子系统功能实现534.4.7 数据查询和分析子系统功能实现534.4.8 用户管理、权限管理、角色管理等辅助功能实现57第五章 系统测试605.1 测试目的605.2 测试方法605.3 测试流程605.4 测试环境625.4.1 硬件环境625.4.2 软件环境625.5 测试人员635.6 系统接口测试645.7 功能测试645.8 性能测试675.8.1测试策略675.8.2并发登录系统675.8.3并发查询话单数据675.8.4测试结果685.8.5测试结论685.9 测试总结695.9.1 系统应用界面展示图
5、705.9.2 本章小结75第六章 系统应用实例766.1 实例背景766.2 平台应用实例766.3 平台记录数据应用实例796.4 对比分析826.5 本章小结83第七章 结论与展望847.1 结论847.2 展望84参考文献85致 谢30应用系统实现 ABSTRACT摘 要伴随当代移动用户数量的不断增加，相关的数据需求也随之而提升，对应的争议以及投诉的数量也有一定的增加，运营商当前的计费体系在投诉解决的过程中有着显著的滞后以及被动问题，这为各方主体都带来了明显的经济损失，显著影响企业的综合形象；并且当代的移动网络存在海量的数据，依靠针对此类数据的深入分析，能够协助相关运营商发掘具备更为丰
6、富价值的行为，进一步为用户带来更为理想的实时服务，增强用户的综合感知，前述要求使得相关运营商迫切需要构建更为精准、稳定的分析和统计平台，进一步高效的分析和监控相关的网络活动。论文以当代用户的移动上网活动作为基础开展分析，综合电信产业的相关技术以及业务，依靠目前最新的大数据（Big Data）技术，采用以Hadoop作为基础的分布式方案，同时引入相关的面向列的HBase数据库，进一步建立关于各种网络活动的众多数据的基础平台，从而达成大量数据的有效检索以及分析操作。综合项目采用价格较为低廉的PC服务器以及配套的存储来达成较为理想的稳定性，相对于传统的IOE方案而言，整体投资幅度显著缩减，并且依靠平
7、台的各方面功能，进一步达成针对网络记录的有效分析，一方面可以为用户带来更为完善的查询方式，同时也能够为企业创造优质的服务奠定良好的基础，对于综合服务素养提升，相关感知的完善等发挥着巨大的影响，从而令相关的运营商得以在新的运动环境中发挥自身应当具备的各项优势。关键词 移动互联网；移动运营商；大数据；Hadoop；上网记录VIABSTRACT With the increasing number of mobile users, the related data requirements are increasing, the number of related disputes and the
8、increasing number of complaints, the operators current billing system in the process of settlement of complaints has a significant lag and passive, which is The main body of the parties constitute a significant economic loss, significantly affect the overall image of the enterprise; and contemporary
9、 mobile network there is a lot of data, relying on such data for in-depth analysis, to help the relevant operators to explore more rich value of the behavior , To further provide users with more real-time real-time services to enhance the users comprehensive perception, the aforementioned requiremen
10、ts of the relevant operators to build a more accurate and stable analysis and statistical platform for further efficient analysis and monitoring of related network activities.Based on the mobile Internet activities of contemporary users, the paper analyzes the related technologies and services of th
11、e telecom industry, and adopts the latest data (Big Data) technology, using Hadoop as the basis of the distributed scheme, and the introduction of the relevant oriented HBase database, to further establish a variety of network activities on the basis of a large number of data platform, so as to achi
12、eve a large number of effective data retrieval and analysis operations. The integrated project adopts the relatively low cost PC server and the matching storage to achieve the ideal stability. Compared with the traditional IOE scheme, the overall investment rate is significantly reduced, and rely on
13、 all aspects of the platform function, to further achieve the network record Effective analysis, on the one hand can bring more perfect for the user query, but also for enterprises to create high quality services to lay a good foundation for the comprehensive service literacy, related to improve the
14、 perception of such a great impact, so that Related operators to the new sports environment to play their own should have the advantages.Keywords Mobile web; Mobile Carrier; Big Data、Hadoop; Online activity基于Hadoop的移动用户综合业务分析与监控平台 第一章 绪 论第一章 绪 论1.1 研究背景及意义伴随当代移动终端的快速发展以及推广，3/4G网络的相关用户的流量使用数量大幅提升，随之而产生的问题是相关争议以及投诉的数量不断增加。目前的计费体系仅仅可以统计相关流量的大小数据，而无法提供用户需求的详单数据，所以有着显著的滞后以及被动性，难以有效的界定分歧。部分情况下只能选择退费的方式来进行处理，使得运营商面临显著的损失，还有部分用户通过诉讼来主张权益，对于企业形象带来了显著的负面影响；而且当代移动网络在运转环节中，每日都有着众多的数据产生，在大数据环境中相关的互联网企业依靠自身具备的技术优势而开展数据挖掘工作，而运
