《专升本毕业报告-计算机科学与技术-大数据分析关键技术研究》由会员分享，可在线阅读，更多相关《专升本毕业报告-计算机科学与技术-大数据分析关键技术研究（13页珍藏版）》请在金锄头文库上搜索。
1、 南开大学成人高等教育 专升本毕业报告大数据分析关键技术研究学 号：姓 名：学 院：现代远程教育学院学习中心：教学站：专 业：计算机科学与技术完成日期：专升本毕业报告要求毕业报告写作是本科教学计划的重要组成部分，是培养学生理论联系实际和锻炼学生独立分析问题、解决问题能力的有效手段。通过毕业报告写作的形式，可以使学生在综合能力、创新能力等方面得到锻炼，使之进一步理解所学习的专业知识，扩大知识面，提高专业理论素质，同时也是对学生掌握和运用所学基础理论、基本知识、基本技能以及独立工作能力的综合考核。因此，要求全体学生必须严肃对待、认真按要求独立完成，严禁抄袭、弄虚作假。毕业报告被评定为抄袭的，写作无
2、效，成绩一律按不及格记录。一、请同学们在下列题目中任选一题，写成毕业报告1.Web信息管理系统功能分析和关键技术研究2.移动APP软件开发关键技术研究3.微信公众号服务平台开发技术研究4.数据可视化关键技术研究5.GIS软件开发关键技术研究6.动态图表开发技术研究7.数据挖掘关键技术研究8.个性化推荐算法研究9.自然语言处理关键技术研究10.计算机视觉关键技术研究11.软件测试方法研究12.5G网络关键技术研究13.物联网关键技术研究14.信息安全关键技术研究15.局域网搭建关键技术研究16.虚拟现实关键技术研究17.社交网络大数据分析方法研究18.SEO搜索引擎优化技术研究19.大数据分析关
3、键技术研究20.数据库关键技术研究二、毕业报告写作要求毕业报告题目应为专业教师指定题目，正文最少分三段撰写，要求内容充实，主题明确，层次清晰，论据充分可靠，论证有力，有独立的观点和见解，文字准确流畅。 毕业报告写作要理论联系实际，同学们应结合所学专业讲授内容，广泛收集与论文有关资料，含有一定案例，参考一定文献资料。 三、毕业报告写作格式要求1.要求学生必须按学院统一格式的编辑模板进行排版，毕业报告封面的字体和字号编辑模板已经设好，学习中心、专业和学号要求填写全称，且要求准确无误。2.毕业报告正文字体要求统一使用宋体，小4号字；页边距采取默认形式（上下2.54cm，左右3.17cm，页眉1.5c
4、m，页脚1.75cm），行间距取多倍行距（设置值为1.5）；字符间距为默认值（缩放100%，间距：标准）；页码打印在页脚的中间。 3.论文字数要控制在50006000字；4.论文标题书写顺序依次为一、 （一） 1. （1） 。正文（填写内容后删除）摘 要：大数据包程序设计和开发工作，是基于网络数据包来进行，对其精准度和速度方面的需求均日渐提升。文章从实际角度出发，详细地阐述了基于大数据的数据包分析程序的设计及研发要点，之后提出高效且优质的设计模式，以期达到最优处理目标，助力网络数据文件的下载速度，使其不断加快。关键词：网络;大数据;分析;数据包;程序设计;开发当前较为流行的数据包技术，可支持多
5、类信息处理，也可完成大量任务。针对发展阶段内滋生的诸多隐患及相应问题等，借助数据分析处理便可实现科学管控。基于大数据任务之下的数据处理工作，程序本体会自动进行处理级别转化，从根本上进行数据处理系统应用效果完善，防止最终功能弱化。目前，广电网络的监播监测，传统DVB方面已比较到位，新媒体方面也日趋完善。但随着网络应用规模和复杂度的不断提高，网络中传输的数据量急剧上升，网络攻防对抗日趋激烈，企业内部新的安全问题开始显现，复杂的网络环境让安全工作无从下手，攻击者即便是大摇大摆地出入企业的敏感数据区域也无人知晓，投入了大量资金建设的安全防御体系可能成为摆设；传统安全技术对APT（高级持续性威胁）无能为
6、力，无论是在安全威胁的检测、发现还是响应、溯源等方面都存在严重不足。要解决这些新的安全问题，企业亟须使用新的技术手段来掌控全局的安全态势，从而优化安全运营过程，将企业网络的安全风险控制在合理的区间。中华人民共和国网络安全法出台后，对日志留存提出了强制要求，如何监督各地做好网络安全日制留存和收集，并对这些日志开展统一的分析，是企业在新的安全形势下提升安全能力的新契机。我们的网络和系统在运行的每一个状况信息都使用文字的方式记录下来，称之为日志，可以理解为这是普通人在虚拟世界的行为的记录和投影。日志的类型很多，包括系统日志、应用日志、操作行为日志和数据库日志等，每条日志都记载着时间戳、相关设备名称、
7、使用者及操作行为等相关的描述，将这些日志统一收集起来进行分析，一是可以监控全网日常运行状态，分析问题、追查错误根源、纠正错误；二是能够快速分析整个应用针对最终用户的服务质量；三是分析出安全风险和入侵攻击，及时干预，解除威胁。网络安全日志大数据分析系统是基于大量网络和系统日志，专用于安全风险和入侵攻击分析的系统，系统主要由数据采集、关联分析、态势感知和可视化呈现四个模块组成：（1）数据采集模块将来自全网几千台设备的日志进行规则化处理，这几千台设备可能是数十个厂商的产品，类型有防火墙、堡垒机、入侵检测等十几种，即使是同一廠商的防火墙，由于生产年代不同，日志格式也可能迥异，要识别这些设备的日志格式，
8、将有效信息入库存储是整个大数据分析系统的基础；（2）关联分析引擎是这个系统的发动机，大数据就如同一座亟待开发的金矿，仅仅存储起来是没有价值的，优秀的分析引擎使用先进的搜索技术，可以迅速感知到异常行为和黑客入侵；（3）态势感知模块是基于威胁情报的辅助手段，将互联网上已知的犯罪手段和特征输入到系统中，让关联分析引擎拥有灵敏的嗅觉；（4）可视化模块要呈现的信息，绝不是简单的IP地址和非专业人士看不懂的告警信息，要能够呈现入侵的源和路径，并将关联的资产、部门、人员名称都显示出来。最终我们的目标是希望这个基于威胁情报和日志的系统，能够对安全大数据进行快速、自动化数据分析，全方位监测、发现威胁和异常、快速
9、处置与响应，并针对安全事件进行深入调查。系统通过可视化分析技术将企业总体安全态势进行整体呈现，使安全管理人员和运维人员能够实时掌握安全态势状况，主动发现安全威胁并及时处理，保障业务的顺畅运行。网络安全日志大数据分析系统的雏形研发完成后，我们选取了一家在全国广电网络公司中技术实力领先的企业-浙江华数共同开展探索和实践。在实践过程中，通过对各地广电网络公司播出、传输等环节和系统的广泛调研，以及和系统研发人员的深入交流，我们提升了以下三个方面的能力，并解决了一个广电特色的日志采集难题。1 影响网络安全的主要因素分析1.1 网络开放性特点存在，目标系统极易受到攻击互联网的最大优点就是其开放性和信息共享
10、，但也给了电脑黑客可乘之机。开放与安全，其实从某种意义来说，这二者是相互矛盾的，假设筛选过多防御办法来维系安全性，那么最终信息沟通、交流的效率必定会下降，有悖于开放和共享的初衷。1.2 软件因素所造成的网站单薄性诸多计算机软件存在漏洞，电脑黑客会凭借这些漏洞对计算机网络展开攻击。软件漏洞难以全面避免，最为常见的便是微软“视窗”系统，正式推出前需要进行大量的内部测试和外部测试操作，就算如此，正式版本发行后也是漏洞百出。视窗操作系统和网络浏览器中，都存在危害整体网络安全的漏洞。网站执行开发程序时，电脑黑客趁虚而入，很多网络书店开发用户在接口程序期间，没有执行科学合理的过滤，电脑黑客通过指令输入便可
11、对数据库造成严重破坏。2 大数据处理系统概述地图缩减（Map Reduce，MR）是现在较为常用的大数据处理系统，处理环节中可以充分满足大规模任务量需求。系统运行过程中，可将不同类型任务进行高效整合，在此基础上形成常态化、正规化大数据处理模型。需要注意的是，此類处理技术为当前主流技术之一，自动化性能达标，运算处理能力合格，操作界面既简单又方便用户理解。MR技术应用期间，在数据处理阶段内，会将复杂处理过程予以隐蔽，只展示简约的显示界面。存在学习记忆功能，同时数据挖掘以及算法应用等功能的深度和广度被不断拓宽和加深，管理计划的环境基础更为坚实，记忆所处理数据的信息内容，而后编入历史数据库资源中。面对
12、大量数据的处理任务，对比大量历史数据，对记忆功能的参照，可有效处理其他数据信息。这样一来，时间便能得到节省。技术在发展，时代在进步，大数据处理系统数量不断增加，使得不同高端数据处理要求被满足1。3 大数据分析传统网络数据包3.1 BSP数据信息处理，筛选周期性模式。在分析系统中，会将整体原始数据分解为多个小的单元格，以此达到单元格处理目标，精准度大大提升。但因为此时所划分单元格数量众多，面对大量数据信息处理研究需要消耗大量时间，时间和效率上难以实现双向最优。数据在单元格内分析计算，对计算过程中的不同任务进行分析处理，在数据包支撑下进行大量任务处理，这是比较常用的技术操作模式，但弊端犹存。3.2
13、 BSP劣势板级支持包（Board Support Package，BSP）内含超级步骤，在这个环节内使用处理器进行数据信息处理和数据信息传输，但是消耗时间多，与此同时，还要应对各类信息处理时信息量的上限，开发过程中很难让使用效果达到最优。基于网络环境进行大数据分析程序的开发与设计，理论上应拥有正规化、科学化存储环境作为支撑。所以，从这一点来说，BSP运行模式尚未达到这样的效果，解决问题的能力备受影响。在超级处理过程中，由于对存储空间要求严格，数据传输过程会占用更多网络存储位置，信息所有者在信息传输过程中常会存在延迟状况，不能在规定时间内完成相关分析任务2。另外，在BSP模式中，主要问题便是处
14、理的量和对应网络需求度之间存在矛盾。在运算模式层面，未来仍需要不断改进和创新，如此才能达到最优运行效果。针对运算过程中可能出现的问题，更加需要筛选有效的防控手段予以操作，以防止整体功能稳定性遭受消极影响与阻碍。4 网络数据包的大数据分析程序设计及开发在实践中我们发现，网络的物理出入口并不是攻击者进入到网络的唯一途径，因此，单纯依靠安全设备串行防护以及安全设备日志统计是不足以发现高级风险，从这一点上来说，我们把PC、智能终端、企业员工、应用软件、企业对外开放的网络服务的全终端采集；从汇聚层交换、核心层交换以及接入层交换的全流量数据采集；从系统级别日志、数据日志、安全设备日志、告警日志的全日志采集
15、。通过三种方式实现“全方位”的能力。其次，要充分利用云端的安全资源，在新的安全防御体系中，云端的安全资源是整个安全防御的核心，威胁情报和大数据的利用和关联分析，这些数据给未知威胁发现和APT攻击检测提供了完全真实网络环境下的大量数据支撑，通过全貌特征“跟踪”攻击者，持续的发现未知威胁，最终确保发现的未知威胁的准确性，进而实现和完善了数据分析的全面性，提高预警发现的能力。计算机网络系统中，潜藏威胁犹存，所以网络安全维护就显得十分关键和重要。4.1 SAT模型逻辑分层SAT模型逻辑分层结构组成分为3类：（1）S层主要针对数据分割操作，防止分析处理阶段内滋生数据互相干扰现象。（2）A层表示数据在分析处理过程中操作的稳定性，期间依照数据处理的特征对信息资源进行规划，之后在此基础上达到预期处理目标。（3）T层则是分析阶段内的加工整合数据和基础性包装态势，和实际情况之间是相互对应的关系，按照不同数据信息来分析任务特征，而后予以相应包装优化，才能符合网络数据包中使用的大量信息的特征，最终控制任务细节，使其更为高效。SIM应用工具箱（SIM/USIM Application Toolkit，
