《基于web招聘信息的文本挖掘系统研究》由会员分享，可在线阅读，更多相关《基于web招聘信息的文本挖掘系统研究（49页珍藏版）》请在金锄头文库上搜索。
1、合肥工业大学 硕士学位论文 基于Web招聘信息的文本挖掘系统研究 姓名：钟晓旭 申请学位级别：硕士 专业：计算机技术 指导教师：胡学钢；吴玉 2010-10 基于基于Web招聘信息的文本挖掘系统研究招聘信息的文本挖掘系统研究 摘摘 要要 随着计算机的普及以及互联网技术的飞速发展，Web 上的招聘信息量越来越庞 大，同时越来越多的高校毕业生倾向于从网络搜寻招聘信息。这些信息反映了用人单 位对人才的使用要求，同时，为高等院校及时了解社会对人才的需求，开设专业，安 排课程，提供了有价值的信息，也对学生的学习起到了促进的作用。为此，如何从海 量的 Web 信息中快速有效地获取所需要的招聘信息，如何发现
2、这些信息中隐含的知 识模式，是一个非常值得研究的课题，这也使得 Web 文本挖掘技术成为数据挖掘中 一个研究的热点。 本文首先介绍了 Web 文本挖掘的研究背景、研究意义和国内外的研究现状，以 及文章的主要研究内容和结构安排。 其次，研究了 Web 文本挖掘的一般过程，主要包括网页采集、预处理、网页净 化、分词、特征表示、特征选取和文本聚类技术。 接着，本文探讨了相关性分析技术。介绍了相关性分析的概念和相关关系，给出 了相关系数的计算方法和显著性检验。 然后，针对中文文本的聚类，本文设计了 Web 招聘信息挖掘系统。对文本挖掘 系统中各个功能模块进行了详细的分析和设计。 最后，对 Web 招聘
3、信息挖掘系统进行了实现，并进行了实验分析研究。实验结 果表明，本系统主要的性能指标基本令人满意，具有较好的实际应用价值。 关键词：关键词：Web 招聘信息；数据挖掘；相关性分析 Research on Text Mining System Based on The Recruitment Information In The Web ABSTRACT Along with the popularity of computers and the rapid development of internet technology, the recruitment information in the
4、 web is incresingly huge,and meanwhile,more and more college graduates are prone to search recruitment information from the internet. All the messages reflects the employing units requirement on employees,which has provided the colleges with the prompt knowledge about the social needs toward talents
5、 so as to be heleful in colleges specialism ,course arrangements ,and college students learning on campus.Thus, it is a siginificant and worthy issue to discuss how to get the needed recruitment messages from the huge amout of web information, and how to find out the implicated knowledge schema,whic
6、h enables Web text mining technology to be a popular issue among researches on text mining. This essay has firstly introduced the Web text minings research background, its siginificance ,the present situation at home and abroad, and the research content and structures. Next, the general process of W
7、eb text mining has been studied, including the techonologies such as Web pages gathering, preprocessing and Web pages purification,words separation and feature expression, feature selection and text clustering. Then, this essay has explored the correlation analysis techonology, introducing the conce
8、pt of the correlation analysis,and the corelationship, and givng the calculating methods of the relative factors and siginificance testing. Moreover, the Web recruitment information text mining system has been developed for the Chinese texts clustering.Each function module of text mining system has
9、been analyzed and designed in details. Finally, the Web recruitment information text mining system has been experimented, whose analysis has been given. And the experiment result proves that the property index of this system is satisfactory and practical. Key word: Web employment information; Data m
10、ining; Correlation analysis 插图清单插图清单 图 2.1 Web 文本挖掘的一般处理过程. 5 图 2.2 文本预处理过程 . 5 图 3.1 完全正相关. 16 图 3.2 完全负相关. 16 图 3.3 完全不相关. 16 图 3.4 完全不相关. 16 图 3.5 正线型相关. 17 图 3.6 负线型相关. 17 图 4.1 文本挖掘系统模块结构图 . 20 图 4.2 网页采集模块系统结构图 . 21 图 4.3 K-means 算法流程图 . 27 图 5.1 系统软件机构图 . 29 图 5.2 学历结构图. 30 图 5.3 工资结构图. 31 表格清单表格清单 表 3.1 抛物线上对应点 . 17 表 4.1 网页块的属性及其含义 . 22 表 5.1 按学历分组结果 . 30 表 5.2 按工资分组结果 . 31 表 5.3 计算机类相关职位需求量比例. 32 表 5.4 职位对计算机类学历明确标注需求量. 32 表 5.5 职位对计算机类专业明确标注需求量. 33 表 5.6 专业间相关系数 . 34 表 5.7 职位间相关系数 . 34
