《实验13 sqoop数据集成》由会员分享，可在线阅读，更多相关《实验13 sqoop数据集成（6页珍藏版）》请在金锄头文库上搜索。
1、广州犬学华软软件学院5outh 匚hiria Institute of 5oftiuar（? bnginBering.GU实验报告封面课程名称:Hadoop大数据处理课程代码：JY1124任课老师:陈宁穗实验指导老师：陈宁穗实验报告名称:实验13 sqoop数据集成学生姓名:学号:教学班:递交日期:签收人:我申明，本报告内的实验已按要求完成，报告完全是由我个人完成，并没有抄袭行为。我已经保留了这份实验报告的副本。申明人（签名）:实验报告评语与评分:评阅老师签名:一、实验名称：sqoop数据集成二、实验日期： 2015年 月曰三、实验目的：熟悉sqoop数据集成。四、实验用的仪器和材料：硬件：P
2、C电脑一台；配置：内存，4G及以上 硬盘250G及以上软件环境：操作系统 XP, vmware, ubuntu，jdk, hadoop五、实验的步骤和方法：请用命令完成以下操作一、安装mysql,准备数据。1、安装 mysql：sudo aptget install mysqlserver mysqlclient 安装过程中，会提示设置root用户密码。2、登录 MySQL：mysql -uroot -p （用root账户登录），然后输入密码；3、查看所有的数据库名字：show databases;4、 选择一个数据库操作：use test;5、查看当前数据库下所有的表名：show table
3、s;6、创建测试表，插入测试数据。use testDatabase changedmysql show tables- :Empty set (0*00 sec)mysql create table mytestfid i_nt(5) not null,name varchar(lO);Query OK, 0 rows affect亡d (0.57 sec)mysql insert into mytest values(10091,1 Jake 1)；Query OK, 1 row affected (0*23 sec)mysql insert into mytest values(10092
4、,1 rose*):Query OK, 1 row affected (0*04 sec)二、安装Sqoop及将mysql的数据导入到HDFS中1.解压Sqoop以及jar包拷贝1）下载sqoop，解压。2）将mysql-connector的jar包复制至sqoop解压后的lib目录下。3) 把sqoop根目录下的sqoop-1.4.4.jar以及mysql-connector的jar包复制到hadoop根目录下 的lib目录4) 修改 sqoop 的 bin 目录下的 configure_sqoopif N$HADDOP_COMMDN_HOMEn ； thenif -n ri$HADOOP_
5、HDMEnr ; thenHADOOP_CDMMON_HOME=$HADOOP_HOMEelseif -z n$HADOOP_MAPRED_HaME,r ; then if -n Rr$HADOOP_HOME,r ; then HADOOP_MAPRED_HOME=$HADOOP_HOME elseHADDOP_MAPRED_HOME-/home/grid/h6doop1.2.1 ftftif -z ri$HBASE_HOME,r ; thenHBASE_HaME=/home/grid/hbaseft _if -z SfHCAT-HOME ; thenHCAT_HOME=/hone/grtcl
6、/hcatalogft _在/etc/profile里配置sqoop环境变量：export SQOOP_HOME=/home/grid/sqoopexport HADOOP_COIylMON_HaME=/home/grid/h6doop 1.2,1export HADOOP_HAPRED_HOME=/home/grid/hadoop-1.2.11export PATH=,r$JAVA_HOME/bin:$JRE_HOME/bin:$SQOOP_HOME/bin:$PATHM2、使用sqoop从mysql中导入数据到HDFS中。1) bin/sqoop help2) 测试连接gridyln-vi
7、rtual-machine:/sqoop$ bin/sqoop list-databases -connect jdbc:mysql: /localhost:3306/ -username root -password master14/05/17 01:11:18 WARN tool.BaseSqoopTool: Setting your password on the command-line ts insecure * Consider using -P instead *14/05/17 01:11:18 INFO manager.MySQLManager: Preparing to
8、use 3 MySQL streaming resultse t.infomationschemamysqlperformanceschematestI3）导入HDFS数据gridyln-virtual-machine:/sqoop$ bin/sqoop import -connect jdbc:mysql:/localhost:3396/test -table fnytest -usernare root -password master -n 14）回到hadoop目录下，检验HDFS上是否存在相应表及数据。gridgyIn-virtual-machine:-/hadoop-1*2*1$
9、bin/hadoop fs -IsWarning: $HADOOP_HOME is deprecated*Found 2 itemsdrwxr-xr-x- grid supergroup0 2014-04-08 16:24 /user/grid/indrwxr-xr-x- grid supergroup0 2014-05-20 17:22 /user/grid/mytestgridyIn-virtual-machine:-/hadoop-1.2.1$ bin/hadoop fs -cat /user/grid/mytest Warning: $HADOOP_HOME is deprecated
10、.cat: File does not exist: /user/gid/nytestgrtdyln-virtual-machine:-/hadoop-1.2.1$ fs -cat /user/grid/mytest/part-mOOOOO 程序“佔”尚末安装您可以使用以下命令安装：sudo apt-get install openafs-clientgrtdyln-virtual-machine:-/hadoop-1.2.1$ bin/hadoop fs -cat /user/grid/mytest/p rt-n-BflBflBWarning: $HADOOP_HOME is deprecated.10901,jake19902,rose六、数据记录和计算：写语句及截图七、实验结果或结论：即根据实验过程中所见到的现象和测得的数据，作出结论。八、备注或说明：可写上实验成功或失败的原因，实验后的心得体会、建议等。九、引用参考文献：1.陆嘉恒Hadoop实战.机械工业出版社
