《主题爬虫论文：主题爬虫 学习型爬虫 隐马尔可夫模型 万维网》由会员分享，可在线阅读，更多相关《主题爬虫论文：主题爬虫 学习型爬虫 隐马尔可夫模型 万维网（3页珍藏版）》请在金锄头文库上搜索。
1、 主题爬虫论文：基于隐马尔科夫模型的主题爬虫性能提高主题爬虫论文：基于隐马尔科夫模型的主题爬虫性能提高与应用与应用【中文摘要】互联网在不断的飞速发展,然而利用爬虫在浩瀚如海的网络世界里对高效提取相关的目标网页信息显得越来越力不从心。为解决通用搜索引擎可扩展性限制,主题爬虫是有效的解决方案。主题爬虫可以预测并提取相关 URL 链接,并有效地抓取与目标主题网页内容高度相关的网页。文章通过和分析比较几种爬虫的收获率,用收获率作为性能指标来评价主题爬虫的性能,并结合分析研究与开发之间的偏差可以得到它的最优性能。本文还分析了各种不同类型的爬虫算法,且讨论了他们的性能表现。近年来,隐马尔科夫模型的应用范围
2、越来越广,且有先驱拿该模型来指导主题爬虫的爬行过程。前人已将隐马尔科夫模型应用于主题爬虫,取得了一定的效果,实践证明,将隐马尔科夫模型应用于主题信息采集领域是可行的。在此基础上,本文对现有隐马尔科夫模型主题爬虫进行了详细的分析,且和现在流行的一些主题爬虫做了性能对比,由此发现了隐马尔科夫模型主题爬虫的很多不足。所以提出了几个改进的方法来改进隐马尔科夫模型主题爬虫的性能,此性能主要指收获率的提高。实践证明改进后的爬虫收获率有很大的提高。将改进后的隐马尔科夫模型主题爬虫和 Nutch 搜索引擎结合使用,替换掉 Nutch 系统原有的爬虫系统,得到一个主.【英文摘要】With the high sp
3、eed development of the internet, general purpose web crawler become increasingly unable to extract the information of the web page effectively while their crawling in this vast network. Topical crawlers are increasingly seen as a way to remove the scalability limitations of universal search engines.
4、 The context available to such crawlers can guide the navigation of links with the goal of efficiently locating highly relevant target pages. Through analysis and comparison of several reptiles ha.【关键词】主题爬虫 学习型爬虫 隐马尔可夫模型 万维网【英文关键词】Focused Crawler Learning Crawler Hidden Markov Model World Wide Web 【
5、索购全文索购全文】联系联系Q1Q1：138113721138113721 Q2Q2：139938848139938848 同时提供论文写作一对一辅导和论文发表服务同时提供论文写作一对一辅导和论文发表服务. .保过包发保过包发【目录】基于隐马尔科夫模型的主题爬虫性能提高与应用 摘要 4-5 Abstract 5 目录 6-7 1 绪论 7-14 1.1 前言 7 1.2 搜索引擎概述 7-11 1.3 目前国内外研究现状 11-12 1.4 本文的研究目的意义与组织结构 12-14 2 爬虫的理论基础及相关技术研究 14-20 2.1 通用爬虫 14-15 2.2 主题爬虫 15-16 2.3
6、主题爬虫相关技术概述及爬行算法策略 16 2.4 基本的爬行算法 16-19 2.5 小结 19-20 3 隐马尔科夫模型爬虫相关研究 20-29 3.1 隐马尔科夫模型模型研究 20-24 3.2 隐马尔科夫模型在主题爬虫中的应用 24-28 3.3 小结 28-29 4 隐马尔科夫模型爬虫的改进策略 29-41 4.1 隐马尔科夫模型主题爬虫的缺点研究 29-33 4.2 页面训练集的聚类策略 33-35 4.3 页面的主题相关度 35-36 4.4 建模方式的改进 36-40 4.5 小结 40-41 5 改进后的隐马尔科夫爬虫试验分析及实践 41-52 5.1 新型隐马尔科夫模型主题爬虫的设计框架 41-42 5.2 新型隐马尔科夫模型主题爬虫的实现 42-45 5.3 新型隐马尔科夫模型主题爬虫实验结果及分析 45-48 5.4 构建基于新型隐马尔科夫模型主题爬虫的搜索引擎 48-51 5.5 小结 51-52 6 总结和展望 52-54 6.1总结 52-53 6.2 展望 53-54 参考文献 54-57 攻读硕士期间发表的学术论文 57-58 致谢 58
