《2023年春国开《大数据技术导论》实验报告1-5题目》由会员分享，可在线阅读，更多相关《2023年春国开《大数据技术导论》实验报告1-5题目（5页珍藏版）》请在金锄头文库上搜索。
1、实验1 Linux操作系统部署Linux操作系统应用日益广泛，现已成为主流的网络操作系统。云计算、物联网、移动互联网和大数据等研究热点与应用领域的出现与发展，都应用了Linux操作系统。随着互联网的广泛应用，用户也迅速扩展，操作系统发挥出越来越大的作用。1.实验目的通过Linux操作系统部署的实验，学生可以掌握虚拟机平台VirtualBox及扩展包安装方法、创建Linux虚拟机方法、安装Linux操作系统方法，进而为大数据Hadoop环境部署奠定基础。2.实验要求在了解Linux操作系统安装的相关知识基础之上，通过实例完成下述任务。（1）虚拟机平台VirtualBox及扩展包安装。（2）创建虚
2、拟机。（3）安装Ubuntu操作系统。3.实验内容（1）制订实验计划。（2）虚拟机平台VirtualBox及扩展包安装。（3）创建虚拟机。（4）安装Ubuntu操作系统。（5）熟悉操作系统的基本命令使用方法。4.实验总结通过本实验，使学生了解Linux操作系统的特点和过程，理解其基本命令使用方法，掌握虚拟机平台VirtualBox及扩展包安装方法，以及安装Linux操作系统的方法。5.思考拓展（1）为什么Linux操作系统得到了广泛的应用？（2）说明Linux操作系统的安装步骤和简单配置方法。（3）什么是虚拟机？在Linux操作系统安装过程中为什么使用虚拟机？（4）Java虚拟机与在安装Lin
3、ux操作系统中所创建的虚拟机有何区别？实验2 Hadoop开发环境部署Hadoop是一个能够对大数据进行分布式处理的软件架构，其可以通过可靠、高效、可伸缩的方式进行数据处理。Hadoop技术是推动大数据应用的重要引擎之一，可以使用该技术收集、清洗和分析大量结构化、半结构化和非结构化数据。运行环境部署是一项技术要求较高，但必须掌握的技术。Hadoop是大数据分布式处理平台，在大数据离线处理方面，尤其是批处理中得到了广泛的应用。1.实验目的通过Hadoop环境部署实验练习，学生可以掌握Hadoop系统安装方法、伪分布式Hadoop的安装方法和Eclipse开发环境的安装具体过程与使用方法，并能够灵
4、活运用，进而为解决大数据分析问题奠定环境构建与部署的基础，不仅为后续的基于Hadoop环境的各个实验建立基础，而且可以提高工程实践能力。2.实验要求在理解本实验相关理论的基础上制订安装计划，独立完成Hadoop开发环境部署过程，主要内容如下所述。（1）制订安装计划。（2）安装SSH协议。（3）安装OpenJDK1.8开发环境。（4）Hadoop系统部署。（5）伪分布式Hadoop环境部署。（6）Eclipse开发环境的安装。3.实验内容（1）制订实验计划。（2）完成SSH协议安装。（3）完成OpenJDK1.8安装。（4）完成Hadoop系统部署。（5）完成伪分布式Hadoop环境部署。（6）
5、完成Eclipse开发环境的安装。4.实验总结通过本实验，使学生了解Hadoop的特点和总体结构，理解MapReduce程序的执行过程，掌握伪分布式Hadoop的安装方法和Eclipse开发环境的安装与使用方法。5.思考拓展（1）为什么需要安装SSH协议？说明SSH协议功能及安装方法。（2）为什么需要安装OpenJDK1.8软件？说明OpenJDK1.8功能及安装方法。（3）结合MapReduce程序执行过程，说明其并行处理的特性。（4）结合Hadoop的处理过程，说明其离线处理特点。（5）说明分布式Hadoop处理与伪分布式Hadoop处理的区别。（6）说明Eclipse开发环境的优势。实验
6、3 网页数据获取数据获取是数据生命周期中的第一个环节，数据抽取过程是搜索全部数据源，按照某种标准选择合乎要求的数据，并将其进行适当的格式转换之后，传送到目的地中存储。为了克服被抽取的数据源分布广泛、异构、非结构化等问题，数据抽取技术和抽取工具应运而生。学习数据科学与大数据技术不仅需要掌握其理论，更重要的是能够运用工具和方法来完成数据的获取。1.实验目的通过网页数据获取的实验，学生可以理解网络爬虫的工作过程，掌握网页数据获取的方法，并能够灵活运用，进而解决网页数据获取的实际问题。2.实验要求理解爬虫软件的原理与方法，独立完成网页数据获取的实验，主要内容如下。（1）前嗅ForeSpider爬虫软件
7、安装。（2）选择频道。（3）网页数据采集过程。3.实验内容（1）制订实验计划。（2）完成爬虫软件安装。（3）选择网页。（4）完成爬虫软件数据采集过程。4.实验总结通过本实验，使学生了解爬虫软件的特点、总体结构和分类，理解爬虫软件程序的执行过程，掌握应用爬虫软件获取网页数据的方法。5.思考拓展（1）结合爬虫软件的结构说明其主要功能。（2）通过举例，说明csv格式文件的特点。（3）应用前嗅ForeSpider爬虫软件能够采集非结构化数据吗？为什么？（4）我们能够在网络上爬取什么数据？实验4 大数据去重1.实验目的通过Hadoop数据去重实验，学生可以掌握准备数据、伪分布式文件系统配置方法，以及在集
8、成开发环境Eclipse中实现Hadoop数据去重方法。2.实验要求了解基于Hadoop处理平台的大数据去重过程，理解其主要功能，并能够在Hadoop环境下独立完成。（1）制订实验计划。（2）准备数据。（3）伪分布式文件系统配置。（4）在集成开发环境Eclipse中实现Hadoop数据去重。3.实验内容（1）制订实验计划。（2）进入“/usr/local/hadoop”目录。（3）准备数据。（4）修改“/usr/local/hadoop/etc/hadoop/”目录下的Hadoop配置文件。（5）NameNode格式化。（6）在集成开发环境Eclipse中实现Hadoop数据去重。4.实验总结
9、通过本实验，使学生了解Hadoop数据去重的特点和过程、理解MapReduce程序的执行过程，掌握NameNode的格式化方法、Hadoop的配置文件的修改和Eclipse开发环境下实现Hadoop数据去重的方法。5.思考拓展（1）为什么需要NameNode格式化？说明NameNode格式化方法。（2）为什么需要数据去重？说明Hadoop数据去重的主要优势。（3）结合MapReduce程序执行过程，说明Hadoop数据去重是离线处理还是在线处理。（4）说明在集成开发环境Eclipse中实现Hadoop数据去重的主要过程。实验5 大数据可视化1.实验目的通过大数据可视化的实验，学生可以掌握Ech
10、arts.js可视化方法，直方图、饼图和标签云可视化方法，进而为大数据分析结果展现奠定基础。2.实验要求了解数据可视化技术的主要内容，理解Echarts.js的主要功能，并能够独立完成以下内容。（1）构建Echarts.js环境。（2）准备实验数据。（3）柱状图。（4）折线图。（5）饼图。3.实验内容（1）制订实验计划。（2）选择可视化工具，并进入基于选中工具环境。（3）准备数据。（4）实现可视化。4.实验总结通过本实验，使学生了解大数据可视化的特点和过程，掌握一种可视化工具，学习通过可视化实现柱状图、饼图、折线图的方法。5.思考拓展（1）为什么需要数据可视化？（2）常用的数据可视化工具有哪些？（3）结合一种可视化工具，说明制作可视化饼图的过程。
