《hadoop平台的教育资源垂直搜索系统的设计与实现大学课程》由会员分享，可在线阅读，更多相关《hadoop平台的教育资源垂直搜索系统的设计与实现大学课程（91页珍藏版）》请在金锄头文库上搜索。
1、分类号 密级 UDC 编号 学 位 论 文 基于 Hadoop 平台地教育资源垂直搜索系统地设计与实现 Implementation of Education Resource Vertical Searching System Based on Hadoop资料个人收集整理，勿做商业用途 分分 类类 号号 ： 密密 级级 ： 文档收集 自网络，仅用于个人学习 U D C ： 编编 号号 ： 文档收集 自网络，仅用于个人学习 学学 位位 论论 文文 基于 Hadoop 平台地教育资源垂直搜索系统地设计与实现 Implementation of Education Resource Vertic
2、al Searching System Based on Hadoop文档收集自网络，仅用于个人学习 学科专业：学科专业： 计算机应用技术 计算机科学与通信工程学院 2 0 11 年年 04 月月 江 苏 大 学 工 程 硕 士 学 位 论 文 I 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文地规定,同意学校保 留并向国家有关部门或机构送交论文地复印件和电子版,允许论文被查阅和借阅. 本人授权江苏大学可以将本学位论文地全部内容或部分内容编入有关数据库进 行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文.文档收集自网 络，仅用于个人学习 保密 , 在 年
3、解密后适用本授权书. 本学位论文属于 不保密 . 学位论文作者签名： 指导教师签名： 年 月 日 年 月 日 毕业设计（论文）原创性声明和使用授权说明毕业设计（论文）原创性声明和使用授权说明 原创性声明原创性声明 本人郑重承诺：所呈交地毕业设计（论文）,是我个人在指导教 师地指导下进行地研究工作及取得地成果.尽我所知,除文中特别加以 标注和致谢地地方外,不包含其他人或组织已经发表或公布过地研究 成果,也不包含我为获得 及其它教育机构地学位或学历而 使用过地材料.对本研究提供过帮助和做出过贡献地个人或集体,均已 在文中作了明确地说明并表示了谢意.文档收集自网络，仅用于个人学习 作 者 签 名：
4、日 期： 指导教师签名： 日 期： 使用授权说明使用授权说明 本人完全了解 大学关于收集、保存、使用毕业设计（论 文）地规定,即：按照学校要求提交毕业设计（论文）地印刷本和电 子版本；学校有权保存毕业设计（论文）地印刷本和电子版,并提供 目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复 制手段保存论文；在不以赢利为目地前提下,学校可以公布论文地部 分或全部内容.文档收集自网络，仅用于个人学习 作者签名： 日 期： 学位论文原创性声明 本人郑重声明：所呈交地论文是本人在导师地指导下独立进行 研究所取得地研究成果.除了文中特别加以标注引用地内容外,本论文 不包含任何其他个人或集体已经发表
5、或撰写地成果作品.对本文地研 究做出重要贡献地个人和集体,均已在文中以明确方式标明.本人完全 意识到本声明地法律后果由本人承担.文档收集自网络，仅用于个人学习 作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文地规定, 同意学校保留并向国家有关部门或机构送交论文地复印件和电子版, 允许论文被查阅和借阅.本人授权 大学可以将本学位 论文地全部或部分内容编入有关数据库进行检索,可以采用影印、缩 印或扫描等复制手段保存和汇编本学位论文.文档收集自网络，仅用于个人学习 涉密论文按学校规定处理. 作者签名：日期： 年 月 日 导师签名： 日期： 年
6、月 日 指导教师评阅书指导教师评阅书 指导教师评价：指导教师评价： 一、撰写（设计）过程 1、学生在论文（设计）过程中地治学态度、工作精神 优 良 中 及格 不及格 2、学生掌握专业知识、技能地扎实程度 优 良 中 及格 不及格 3、学生综合运用所学知识和专业技能分析和解决问题地能力 优 良 中 及格 不及格 4、研究方法地科学性；技术线路地可行性；设计方案地合理性 优 良 中 及格 不及格 5、完成毕业论文（设计）期间地出勤情况 优 良 中 及格 不及格 二、论文（设计）质量 1、论文（设计）地整体结构是否符合撰写规范？ 优 良 中 及格 不及格 2、是否完成指定地论文（设计）任务（包括装订
7、及附件）？ 优 良 中 及格 不及格 三、论文（设计）水平 1、论文（设计）地理论意义或对解决实际问题地指导意义 优 良 中 及格 不及格 2、论文地观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格 3、论文（设计说明书）所体现地整体水平 优 良 中 及格 不及格 建议成绩：建议成绩： 优优 良良 中中 及格及格 不及格不及格 （在所选等级前地内画“”） 指导教师：指导教师： （签名） 单位：单位： （盖章） 年年 月月 日日 评阅教师评阅书评阅教师评阅书 评阅教师评价：评阅教师评价： 一、论文（设计）质量 1、论文（设计）地整体结构是否符合撰写规范？ 优 良 中 及格 不及格 2、
8、是否完成指定地论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格 二、论文（设计）水平 1、论文（设计）地理论意义或对解决实际问题地指导意义 优 良 中 及格 不及格 2、论文地观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格 3、论文（设计说明书）所体现地整体水平 优 良 中 及格 不及格 建议成绩：建议成绩： 优优 良良 中中 及格及格 不及格不及格 （在所选等级前地内画“”） 评阅教师：评阅教师： （签名） 单位：单位： （盖章） 年年 月月 日日 江苏大学硕士研究生毕业论文 I 教研室（或答辩小组）及教学系意见教研室（或答辩小组）及教学系意见 教研室（或答辩小组）
9、评价：教研室（或答辩小组）评价： 一、答辩过程 1、毕业论文（设计）地基本要点和见解地叙述情况 优 良 中 及格 不及格 2、对答辩问题地反应、理解、表达情况 优 良 中 及格 不及格 3、学生答辩过程中地精神状态 优 良 中 及格 不及格 二、论文（设计）质量 1、论文（设计）地整体结构是否符合撰写规范？ 优 良 中 及格 不及格 2、是否完成指定地论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格 三、论文（设计）水平 1、论文（设计）地理论意义或对解决实际问题地指导意义 优 良 中 及格 不及格 2、论文地观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格 3、论文（
10、设计说明书）所体现地整体水平 优 良 中 及格 不及格 评定成绩：评定成绩： 优优 良良 中中 及格及格 不及格不及格 （在所选等级前地内画“”） 教研室主任（或答辩小组组长）：教研室主任（或答辩小组组长）： （签名） 年年 月月 日日 江苏大学硕士研究生毕业论文 II 摘 要 互联网地出现改变了我们地生活、工作、学习乃至娱乐地方式.网上丰富地 基础教育资源为广大基础教育工作者、学生以及学生家长提供了充足地参考资 料和教育信息,然而由于缺乏行之有效地整合标准和手段,目前这些资源地分布呈 现高度分散状态,内容庞杂无序,结构化程度低,用户往往难以快速准确地获取到 自己需要地信息.所以我们必须研究和
11、设计出针对教育资源搜索地网络平台,以提 高用户获取教育资源信息地速度和准确度.文档收集自网络，仅用于个人学习 本文通过对现有地互联网搜索平台地分析,借鉴其他应用领域地垂直搜索平 台所采用地架构和设计方法,通过使用 Hadoop 平台地分层分布地架构和聚焦蜘 蛛地爬行技术,提出基于 Hadoop 平台地 B/S 多层分布式架构系统模型,给出提高 搜索运行效率地若干关键技术,并基于该架构地设计实现了系统.本文地主要工作 包括：文档收集自网络，仅用于个人学习 (1) 通过对 Hadoop 平台地基本原理和架构以及 Hadoop 平台地两个核心组 件 HDFS 与 Map/Reduce 地分析,选择
12、Hbase 对系统地数据进行管理,并对可视化 系统地 Hbase 数据模型地设计以及条件查询地改进进行阐述.文档收集自网络，仅用于个 人学习 (2) 基于抽样调查和教育经验,进行 MDVSP 地软件需求分析,设计基于 Hadoop 平台地教育资源垂直搜索(MDVSP)架构模型.该架构模型把业务处理服 务器与 Web 服务器分开,采用并行计算提高业务处理能力,使得基于该架构模型 下地系统具有良好地可伸缩性、可扩展性、可维护性和更高地安全性.文档收集自网 络，仅用于个人学习 (3) 研究基于 Hadoop 平台地教育资源搜索系统所采用地关键技术,包括聚焦 蜘蛛地爬行技术、网页信息结构化提取技术、远
13、程过程调用(RPC)技术、基于 Hadoop 地 Map/Reduce 技术和基于 Hadoop 地负载均衡技术.文档收集自网络，仅用于个人 学习 教学系意见：教学系意见： 系主任：系主任： （签名） 年年 月月 日日 江苏大学硕士研究生毕业论文 III (4) 以 Hadoop 为基础架构,采用 Java 开发语言,设计并实现 Hadoop 平台地 教育资源搜索系统.经过详细地系统测试,系统在实现效率、搜索地准确率和可扩 展性等方面较有代表性地垂直搜索平台先进.文档收集自网络，仅用于个人学习 关键词：垂直搜索引擎；Hadoop；网页信息抽取；抽取规则；索引库 江苏大学硕士研究生毕业论文 IV
14、 Abstract The WWW has been a tremendous impact on the way of human beings lives, works, and studies, even entertainments. Especially in education realm, educators, students and their parents can get more and more references and education resources with the help of internet. However, theres still an unresolved a problem, for lacking of suitable
