《网络工程专业毕业论文(设计)》由会员分享，可在线阅读，更多相关《网络工程专业毕业论文(设计)（34页珍藏版）》请在金锄头文库上搜索。
1、毕业论文毕业论文(设计设计)题题 目目 MeteCloudMeteCloud 平台下基于平台下基于 HiveHive 的气象数据仓库构建的研究的气象数据仓库构建的研究 学生姓名 学 号 院 系 计算机与软件学院专 业 网络工程指导教师 二一三年五月十五日二一三年五月十五日0声声 明明本人郑重声明：1、持以“求实、创新”的科学精神从事研究工作。2、本论文是我个人在导师指导下进行的研究工作和取得的研究成果。3、本论文中除引文外，所有实验、数据和有关材料均是真实的。4、本论文中除引文和致谢的内容外，没有抄袭其他人或其他机构已经发表或撰写过的研究成果。5、其他同志对本研究所做的贡献均已在论文中作了声明
2、并表示了谢意。作者签名： 日 期： 1目 录1 引言 .11.1 研究背景 .11.2 研究现状 .21.3 研究意义 .32 相关工具 .32.1 VMware Workstation 8.32.2 Hadoop.52.3 Hive.62.4 Eclipse.73 MeteCloud 架构分析.73.1 MeteCloud 的架构 .73.2 MeteCloud 平台存储体系结构中的 Hive.73.3 AvartarNode 机制 .84 Hive 结构分析 .104.1 Hive 与 Hadoop 的关系 .104.2 Hive 的数据存储 .124.3 Hive 的实现过程 .144.
3、4 Hive 与数据库的比较 .155 气象数据处理 .155.1 气象数据集介绍 .155.2 处理数据存储的多维分析模块 .1625.3 数据的直存与转存实现 .175.4 对数据的其他直接操作 .186 数据仓库的实现与测试 .186.1 数据仓库工具配置 .186.1.1 配置 Hive .186.1.2 基于 Eclipse 搭建 Hive 开发平台 .206.2 测试结果 .236.2.1 Hive CLI 处理气象数据 .236.2.2 基于 Eclipse 平台处理气象数据 .278 小结.29致谢.29参考文献.300MeteCloud 平台下基于 Hive 的气象数据仓库构
4、建的研究南京信息工程大学计算机与软件系，南京 摘要：摘要：气象存储系统是气象的核心系统，是集气象资料的收集与处理、气象数据的存储管理及检索等多环节的综合应用系统。云计算是分布式计算，并行计算和网格计算的发展成果，这将对气象行业有重大而深远的影响。本文首先对 MeteCloud（Meteorological Cloud，气象云平台）的架构和其中具体的一些构成进行了分析；然后分析了 Hive 的数据存储过程和实现过程；并且还研究了对气象日值数据的转存实现。通过进行实验测试，结果分析表明，Hive 是一种可以存储、查询和分析大规模数据的机制，更好管理大量气象数据资料。关键字：关键字：云平台；Mete
5、Cloud；Hive；气象数据；数据仓库1 1 引言引言1.11.1 研究背景研究背景气象行业是一个资源极其丰富、数据极其庞大的行业。随着气象事业现代化水平不断提高，特别是现代气象业务体系不断地发展和完善，气象业务、科研和管理活动中累积和收集了大量的气象信息资源。而且随着自动站、雷达、雨量标校站、卫星站等气象观测站的建立，气象资料数据也在与日剧增。气象业务数据主要包括气象台站的各类要素资料，如降水量、气温、相对湿度、日照时数等以及云图、各时次格点场、雷达以及其它图像数据等，可看出气象数据其庞大程度Error! Reference source not found.。省级单位气象数据的来源主要有
6、卫星通道、国际互联网、内部业务系统和单位交换等，其中通过卫星通道接收的气象数据量最大，每日可达 700 兆左右。然各级的气象台站手机的各种资料每天都有若干时次，收集存储的的数据资料数据总量达上百兆，总的资料甚至可达 GB 量级。而雷达、卫星云图以及相关预报产品数据，每天能达到 20GB 左右，主要是图片数据和气象专用格式的格点数据。由此可以看出，气象业务数据不仅种类繁多，数据信息量十分庞大，而且用户服务响应时效和对资源分配结构的合理程度要求也非常高Error! Reference source not found.。气象存储系统是气象的核心系统，是集气象资料的收集与处理、气象数据的存储管理及检
7、索等多环节的综合应用系统。因此建立一个可进行数据抽取，转化，加载，共享大量数据的气象信息数据库非常有必要而且意义重大。云计算是一种近几年提出的计算模式，是分布式计算、并行计算和网格计算的发展。目前，亚马逊、微软、谷歌、IBM、英特网等的公司纷纷提出了“云计划” ，例亚马逊、IBM 和谷歌联合进行的“蓝云”计划等Error! Reference source not found.。这对云计算的商业价值给1予了巨大的肯定。同时学术界也纷纷对云计算进行深层次研究，不可回避的是，云计算将给依托信息处理交换的各行各业带来巨大变革，同样将对气象领域产生重大而深远的影响。1.21.2 研究现状研究现状（1）
8、气象数据存储技术系统现状目前国内外许多气象部门都是采用文件系统作为气象资料存储方式，不同科学数据采用不同格式，同时有相应存储管理系统用来完成数据的读写和检索。我国气象数据存储依旧是以观测点和气象资料接收设备终端为主，所应用的存储系统还是具有商业化性质的Oracle、Sybase 和 Informix 等的数据库系统。但是，这些系统目前还不能够很适应气象资料书目的庞大和其类型的复杂性。于是便想可以把庞大的气象资料用文件形式来存储。美国的 AWIP 的格点数就是采用 NetCDF 的格式存储的，而云图和雷达数据是直接存储为原始数据文件；我国气象部门使用的 MICAPS 是采用了类似的存储方式Err
9、or! Reference source not found.。以文件形式的气象资料可以采用先进的文件压缩技术进行压缩，这样可以大大节省磁盘的空间。国内的气象存储一般都采用单一的数据库存储或者简单的文件库，但是每个气象部门的气象资料都是有所不同的，事实上每个气象部门都会设立不同的气象存储系统。现在已经提出采用数据库与文件库结合的方式，这样小数据采用关系数据库存储，大的文件数据采用文件库存储并且辅以数据库进行索引管理。近几年来，公共需求的不断增长，气象数据也是在不断增长，气象行业不断地需要买进昂贵的网络设备，而云计算存储可以提供无限的廉价存储和计算能力，利用云计算存储模式，数据存储在云端，再由专
10、业的服务商提供维护，把分布在大量分布式计算机上的存储内存集中在一起成为一个虚拟的资源池，并通过网络为用户提供使用存储服务，这样气象科技人员只要用廉价的终端设备连接到云存储上面，就可以分享到所需要的数据资料了。云计算可以存储大量的气象信息数据，并且可以节省很大一部分的经济开支，这对气象事业有很大的影响。（2）云存储系统现状云存储（cloud storage）是与云计算同时兴起的概念，存储在云计算中的基础支撑作用和地位正被业界广泛认同的。云存储技术在各行各业的应用正如火如荼的开展着，例如在谷歌的应用平台里，用户只要登录后就可以使用应用平台里的各种功能，还可以进行文档编辑和修改并保存在个人的存储空间
11、里；还有像最近恨过的苹果公司推出了 iCloud 云服务，只要用户有一台 ios5 操作系统的苹果设备并开启 iCloud 就可以在苹果所提供的 5GB 空间中备份很多内容；在国内云存储行业也正在加速升温，酷盘、金山快盘、华为 Dbank 网盘等免费的云存储服务企业正在大幅扩张业务。本段内容更改（3）Hive 使用现状在商业智能行业，被收集到并分析的数据集的规模正在快速增长，这使得传统的数据2仓库解决方案费用变得十分昂贵。Hadoop 是当下流行的分布式计算开源框架，其正被Yahoo，Facebook 等公司广泛使用。Hadoop 能存储和处理非常大的数据量。然而，Hadoop中的 map-r
12、educe 编程模型水平比较低，需要开发人员编写自定义的程序，这使得难以维护和重新使用。于是提出了 Hive，建立在 Hadoop 之上的一个开源数据仓库解决方案。若本来是执行在 Hadoop 上的被编译成 mapreduce 的工作操作，Hive 支持使用类似 SQL 语句的HQL 语句进行该查询操作。此外，HQL 语句允许用户插入自定义的 mapreduce 到查询的脚本。HQL 语言包括了原始类型表支持的类型系统，类似数组和 maps 的集合，或者相同嵌套组成的集合。Hive 还包括了一个包含元数据模式和统计的仓库的系统目录，这有益于数据的探索，查询优化和查询的编写。在 Facrbook 公司，Hive 的仓库包含了超过 700TB 的数据量和成千上万的数据表，这些数据被广泛用于每月超过 200 的用户的报告和 AD-hoc分析中Error! Reference source not found.。1.31.3 研
