《基于大数据的就业服务系统》由会员分享，可在线阅读，更多相关《基于大数据的就业服务系统（10页珍藏版）》请在金锄头文库上搜索。
1、 基于大数据的就业服务系统 忻桓辰 张书娟 李建敦 王祥祥 李刚 吴与同 朱星颖【摘要】近年来，由于大学毕业生数量的增加以及劳动力市场的结构性失衡，随之而来就是就业难的问题，即当前设置岗位的数量满足不了如此规模的毕业生的就业需求。其原因是相当多的毕业生未能对口工作，导致一些岗位无人问津，而另一些岗位供不应求。因此，在毕业季，往往对就业工作造成巨大压力。鉴于此，本文通过分析当今社会的职位需求，优化就业体系，建立一个合理、科学的就业服务系统，对于高校的教育工作发展有着积极的意义。【关键词】就业服务系统 高校就业系统 大数据分析一、引吾我国在实行教育改革之后，高校大规模扩招，使得大学生的数量从200
2、1年的114万陡然提升至2018年的820万，再创近10年毕业生人数新高值。虽然近十几年扩招为国家培养出了更多的大学生的，但由于诸多原因，也导致了毕业生出现有业不就，或慢就业的现象不断加剧。高校专业重复设置，专业设置没有充分调研社会需求，加剧了结构性的就业难问题，表现为部分专业供过于求，部分专业供不应求，部分专业毕业生对未来比较迷茫、职业规划不清晰等。根据数据调查，被调查人群中有超过21%的大学生找工作相对困难，平均求职过程超过5个月;只有大约35%的大学生求职非常顺利，平均求职时间为2个月。并且求职难人群的平均心理薪资要比求职顺利者的平均薪资要低1000元左右。而在求职期间投递简历的数量方面
3、，超过55%的学生投递简历数量在10-30份之间，更有23%的学生投递了30-50份简历才找到工作。这两个数字与求职时长成相应趋势，反映了就业难人群的构成比例。相比学校而言，专业给就业大学生群体造成的压力更为巨大，在我国高校目前数百个专业中，调查显示最难就业的专业前五分别为：历史学、经济学、土木工程、美术学以及工商管理;而绿牌专业前五位则为：计算机类、交通运输类、电气与自动化类、中国语言文学以及食品科学与工程类。现在大学生的就业问题已经成为社会的热点问题，大学生作为国家的优质人力资源，对大学生的就业问题妥善解决不仅有助社会的安定，更有助于我国经济的持续发展。二、系统方案2.1问题分析分析上述应
4、届生就业问题后，得出问题的根本是学生没有做充分的职业规划以及学生对规划职业的认知度不够，导致毕业后不知道自己能干什么而海投简历，或者职位需要的技能自己不能满足，面试被拒。所以我们想到做一个系统帮助学生去归纳总结专业对应的职业，以及职业的能力需求，以供学生参考借鉴。2.2系统方案本系统通过网络爬虫技术从互联网招聘网站中获取社会求职信息，信息包括薪资，证书要求，学历要求，职位技能要求等。通过对清理过后信息的统计分析、以及对技能关键字的分析，得出一个就业概况，以可视化的形式展示给学生。当然如果只是自顾自的分析互联网数据并没有意义，系统也考虑到学生自身的情况，通过系统的导入本地数据、问卷调查功能，可以
5、让学生把自身和岗位做直接的对比。三、相关技术3.1 HttpClientHttpChent是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新的版本和建议。它提供了四个核心功能：1）实现了所有HTTP的方法2）支持自动转向3）支持HTTPS协议4）支持代理服务器等HttpClient可以通过虚拟登陆、发送模拟请求实现网络爬虫功能，其优点有：1）Api全面：HttpClient对Http的请求方法（GET，POST，PUT，DELETE）做了完整的封装，对模拟登陆时用到的Session自动管理，降
6、低了开发成本。2）兼容性：HttpChent是基于JAVA语言开发，可以很好的融入JAVA的开发生态环境，如可以用jsoup对获取的超文本进行解析、配合keep-alive使用減少TCP握手开销。3）线程安全性：HttpChent是线程安全的，程序中不用担心多并发引起的异常。4）灵活性：HttpClient支持自定义请求头、指定请求IP功能。对爬虫开发提供了很大的便利。3.2 EchartsEcharts是由百度开源团队开发的前端数据展示框架，他提供大量的图表样式以及生态支持（如官方论坛、Google地图等），使用JsON格式承接和解析数据。他有如下优点：1）兼容性：Echarts是使用Js开
7、发的前端开源框架，可以整合到React、Vue等主流前端框架。2）易用性：Echarts使用JsON格式来装载数据，在JAVA开发环境中可以使用fastjson、GSON等开源工具进行对象序列化。3）全面：Echarts提供了相当多的图表格式，使用户可以从不同角度展示数据。3.3 SpringSpring是J2EE开发的流行框架，一开始它主要解决了开发过程中的高耦合问题。随着版本的更新，其基于MVC开发的SpringMVC框架、为了减少开发成本的Springboot、云服务SpringCloud都在一点点完善J2EE的开发生态。四、基于大数据的就业服务系统设计基于当前就业难的问题，本文基于大数
8、据设计就业服务系统，提出了系统的系统框架。4.1大学生就业方向数据统计系统的整体架构如图1所示，各层的定位为：1）OS：选择Linux为服务器系统，搭配engix和keep-alive可以避免服务器以外宕机。2）Mysql：系统使用Mysql作为数据库，本数据库相比于oracle是一个小型的关系型数据库，提供大量数据类型，并且对JAVA提供了数据库驱动。3）Redis：处于MySQL前，做高速缓存。它是一个key-value存储系统，主要用于降低数据库Io。主要原理是把常用查询数据存储在内存中，加快客户的读取速度的同时，减少数据库的访问次数。4）Web服务：本系统是基于J2EE编写的，所以We
9、b服务层也使用了三层框架，分别是表现层，业务逻辑层和数据持久层。本系统中表现层和业务逻辑层的交互使用Spring MVC框架实现，业务逻辑层和数据持久层之间使用Mybatis实现，用Spring框架控制反转，实现多个框架的整合。服务的核心是两个功能，一是获取到表现层所需要查询的参数，然后据此到数据库中获取到相应的数据，经过处理后把数据返回前端，用Echarts等给用户一个体验良好的结果;二是通过httpclient爬数据，清洗后存到数据库，该操作所需处理时间较长，所以在空闲时间定期执行。5）WebUI：系统会以Jsp的响应页面和用户实现交互，并以Echarts生成可视化框架。4.2数据的获取流
10、程如图2所示，其中各个环节的功能和作用如下：1）数据采集：使用httpclient从互联网上获取岗位相关的超文本格式数据（hreal），将原始数据存人数据库中。2）数据规范化：由于渠道不同，每种数据的格式都不同，这样对后续的数据批量分析有着很大障碍，所以需要在获取数据之后要第一时间对数据进行规范化，让其实现本系统所规定的统一接口。3）数据清理：数据预处理，对把一些值不全的或冗余数据剔除，比如工资过低、需求非应届生等，保证存人数据库中的数据为皆为有价值的。4）数据存储：把数据格式化并且清理之后获得到的vojo对象通过FastJson序列化成JsON格式字符串存入数据库中。4.3数据的访问流程如图
11、2所示，服务器接收到查询某一专业的请求之后回去Redis缓存中查看时候已经存在，如果存在则直接返回Redis中的Json字符串由前端js解析。否则在数据库中查询出该专业的所有信息，并存入Redis。五、基于大数据的就业服务系统的实现系统主要在一台装载64位Centos操作系统的Tomcat 9.13服务器上运行，服务器上安装了engix来保证访问的负载均衡。服务器配置如下：系统采用定时器，定时从互联网上采集近3万条招聘信息，定时器会过滤过早的数据，以避免影响数据的准确性。系统一共提供8种数据展示模型通过8个学生较为关注的模型，可以让学生较早的认识自己未来想从事的职业，尽早的为自己做完善的职业规
12、划，达到了本次研究的目的。六、系统展望6.1广度拓宽由于专业和职业的对应关系并非绝对，所以系统现在只是对特定的专业（软件工程、物联网工程、计算机工程）做了分析。但是系统的本意就是改善这种非绝对关系，我们认为专业所学必然有特定职业可以用到，而不是大学中学到的东西不能用到职业生涯中。系统未来可以和相关企业以及学校专业学院合作，提供更多面的数据。6_2深度拓宽系统现数据的来源只有互联网，虽然数量充足，但是无法完全保证数据的准确性。而且如果只参考招聘信息得到的技能要求、薪资要求是片面的，因为人职后做的和招聘信息上写的也并非完全一致，所以系統打算和职业岗位上的从业人员交流、并在系统上开启一个平台供专业人
13、员提供更可靠的数据。6.3更注重学生自身设计系统的目的是解决学生就业难的问题，所以注重学生自身的情况是系统成功的关键。现在系统只是提供了调查问卷来了解学生自身的情况，而我问你答的问卷式调查并不能完全反应学生的现实状况。系统未来希望提供一个平台让对职业生涯迷茫的同学可以直接和已经毕业的同专业学长直接沟通，获取宝贵意见。七.总结大学生就业提升是政府、高校、企业、大学生群体共同的责任，该就业分析系统以大学生为本位观察现实境遇，通过大量数据支持，分析问题出现的深层原因。大学生就业率的提升不但是学术增长任务的完成，而且是通过数据监测，完成就业质量与劳动力市场的适应，与市场需求、教育规律具有方向性上的一致，顺应社会知识化、信息网络化、学习社会化的形势。虽然大学生的择业观念在总体上是倾向于实物化与理性化，但由于初入社会，择业观念尚在转化，存在着众多的不良观念。部分大学生在择业标准中将工作条件、收入等眼前实在利益放在首位，而对自我的职业兴趣、能力、职业的发展前景等因素置之不理，因而极易选择到不适合自己的职业。本系统通过对当代大学生就业问题进行理性化的分析，得出大学生就业主要存在对自身就业能力要求过高、缺乏经验与规划目标。同时面对心理问题时，难以端正自己的心态。因此，未来还应进一步加强对当代大学生就业问题的研究，进而促进大学生顺利就业。 -全文完-
