《《基于弹性云计算的开源海量数据处理平台》-公开DOC·毕业论文》由会员分享，可在线阅读，更多相关《《基于弹性云计算的开源海量数据处理平台》-公开DOC·毕业论文（48页珍藏版）》请在金锄头文库上搜索。
1、西 安 邮 电 大 学毕 业 设 计（论 文）题 目： 基于弹性云计算的开源 海量数据处理平台院 （系）： 计算机学院专 业： 软件工程班 级： 软件0901起止时间：2012年9月17日至2013年 5 月31日毕业设计（论文）诚信声明书本人声明：本人所提交的毕业论文基于弹性云计算的开源海量数据处理平台是本人在指导教师指导下独立研究、写作的成果，论文中所引用他人的文献、数据、图件、资料均已明确标注；对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式注明并表示感谢。本人完全清楚本声明的法律后果，申请学位论文和资料若有不实之处，本人愿承担相应的法律责任。论文作者签名： 时间： 年 月 日
2、指导教师签名： 时间： 年 月 日西 安 邮 电 大 学毕业设计(论文)任务书学生姓名王 哲指导教师 李晓戈职称教授院(系)计算机学院专业软件工程题目基于弹性云计算的开源海量数据处理平台 任务与要求1. 分析研究亚马逊弹性Map Reduce平台构架。2. 运用云计算开源技术框架，搭建动态虚拟的云计算环境。3.运用hadoop 开源技术；安装制作hadoop虚拟服务器模板。4.运用wordCount算法进行map reduce海量文本数据测试。开始日期2012年9月17日完成日期2013年5月31日院（系）主任(签字)2012年9月20日西 安 邮 电 大 学毕 业 设 计 (论文) 工 作
3、计 划 学生姓名_王哲 _指导教师_ 李晓戈_职称_教授院（系）_计算机学院_专业_软件工程题目 基于云计算的开源海量数据处理平台_ 工作进程起 止 时 间工 作 内 容2012.9.17 2012.11.1查阅资料文献，完成开题报告2012.11.2 2012.12.1阅读了解hadoop亚马逊弹性Map Reduce 平台架构 。2012.12.2 2013.02.1搭建多节点的hadoop,并研究相关算法，实施方案2013.02.2 2013.03.1 提交中期汇报表，编写代码2013.03.2 2013.04.1进行测试，分析结果2013.04.2 2013.05.31编写论文，修改装
4、订主要参考网站1，http:/ http:/ installation.pdf4，Hadoop Cluster Setup 主要仪器设备及材料 服务器4台，PC机论文(设计)过程中教师的指导安排每两周学生提交进度报告，并开会讨论。对计划的说明西安邮电大学毕业设计(论文)开题报告 计算机 院（系） 软件工程 专业 09 级 01 班课题名称： 基于弹性云计算的开源 海量数据处理平台 学生姓名： 王哲 学号： 04095004指导教师： 李晓戈报告日期： 2012年11月5日1 本课题所涉及的问题及应用现状综述 当今时代，互联网高速发展，上网人群急剧上升，必然会出现信息大爆炸。对提供网络服务的互联
5、网公司来说，这些海量信息的存储，实时处理，数据检索，数据挖掘与智能应用等信息处理能力将面临新的挑战。技术架构也迫切需要以动态可伸展为特点的支持海量数据处理的新的存储计算模式。 这种存储计算模式因为弹性可伸缩的特性，现在受到谷歌，亚马逊、IBM等为代表的众多高科技公司的重视，成为各公司应对海量数据处理的利器。比如说，应用在线服务托管领域的亚马逊弹性云，Zoho在线办公，著名的谷歌搜索等。本文的主要目的是构建一个分布式海量数据处理系统来存储和处理这些数据。2 本课题需要重点研究的关键问题、解决的思路及实现预期目标的可行性分析搭建开源EMR系统。利用XenServer/XenCenter搭建开源EM
6、R系统，在XenServer上安装三台虚拟机，一个充当NameNode,两个充当DataNode。然后在该系统上运行wordcount作为测试。分析亚马逊EMR架构。在亚马逊平台上免费注册一个账号，然后先体验下亚马逊的EC2。然后分析和我所搭建的EMR系统做一些异同点的分析。分析EMR计算模式的优势，并用具体的实例数据证明EMR计算模式的优势。在单机上运行某个大数据应用。然后将相同的应用放在hadoop上运行，然后分析一些计算机的性能。3完成本课题的工作方案2012.9.17 2012.11.1查阅资料文献，完成开题报告2012.11.2 2012.12.1阅读了解hadoop亚马逊弹性Map
7、 Reduce 平台架构 。2012.12.2 2013.02.1搭建多节点的hadoop,并研究相关算法，实施方案2013.02.2 2013.03.1 提交中期汇报表，编写代码2013.03.2 2013.04.1进行测试，分析结果2013.04.2 2013.05.31编写论文，修改装订4指导教师审阅意见指导教师(签字)： 年 月 日说明： 本报告必须由承担毕业论文(设计)课题任务的学生在毕业论文(设计) 正式开始的第1周周五之前独立撰写完成，并交指导教师审阅。 西安邮电大学毕业设计 (论文)成绩评定表学生姓名 王哲性别 男学号 04095004专 业班 级 0901班课题名称 基于弹性
8、云计算的开源海量数据处理平台课题类型软件开发难度适中毕业设计（论文）时间2012年9月17日2013年 5月31 日指导教师李晓戈(职称 教授 )课题任务完成情况论文 11 (千字)； 设计、计算说明书 (千字)；图纸 21 (张)；其它(含附件)：指导教师意见分项得分：开题调研论证 分； 课题质量（论文内容） 分； 创新 分；论文撰写（规范） 分； 学习态度 分； 外文翻译 分指导教师审阅成绩：指导教师(签字)： 年 月 日评阅教师意见分项得分：选题 分； 开题调研论证 分； 课题质量（论文内容） 分； 创新 分；论文撰写（规范） 分； 外文翻译 分评阅成绩： 评阅教师(签字)： 年 月 日
9、验收小组意见分项得分：准备情况 分； 毕业设计（论文）质量 分； （操作）回答问题 分验收成绩：验收教师(组长)(签字)： 年 月 日答辩小组意见分项得分：准备情况 分； 陈述情况 分； 回答问题 分； 仪表 分答辩成绩： 答辩小组组长(签字)： 年 月 日成绩计算方法(填写本院系实用比例)指导教师成绩 () 评阅成绩 () 验收成绩 () 答辩成绩 ()学生实得成绩(百分制)指导教师成绩 评阅成绩 验收成绩 答辩成绩 总评 答辩委员会意见毕业论文(设计)总评成绩(等级)： 院（系）答辩委员会主任(签字)： 院（系）(签章) 年 月 日备注西安邮电大学毕业论文(设计)成绩评定表(续表)目 录摘
10、 要IAbstractII1 引言12 云计算概论22.1 什么是云计算22.2 云计算背景及平台结构22.3 云计算的优势33 亚马逊EMR分析43.1 亚马逊EC243.2 亚马逊 S353.3 亚马逊 AWS64 开源系统设计与实现74.1 系统概要设计74.2 搭建动态虚拟的云计算环境84.3安装制作Hadoop虚拟服务器模板104.4 分布式环境运行144.5 运行wordcount测试系统154.6 hadoop常见问题及其解决方案175 用 Hadoop 进行分布式并行编程195.1 hadoop简介195.2 Map/Reduce计算模型195.3 hadoop上C语言开发215.4 hadoop平台上编写map/reduce分布式并行计算程序226 结论
