《sqoop命令参数中文手册.docx》由会员分享，可在线阅读，更多相关《sqoop命令参数中文手册.docx（12页珍藏版）》请在金锄头文库上搜索。
1、Sqoop中文手册1.概述本文档主要对SQOOP的使用进行了说明，参考内容主要来自于Cloudera SQOOP的官方文档。为了用中文更清楚明白地描述各参数的使用含义，本文档几乎所有参数使用说明都经过了我的实际验证而得到。2.codegen将关系数据库表映射为一个Java文件、Javaclass类、以及相关的jar包，作用主要是两方面：1、 将数据库表映射为一个Java文件，在该Java文件中对应有表的各个字段。2、 生成的Jar和class文件在metastore功能使用时会用到。基础语句：sqoop codegen connect jdbc:MySQL:/localhost:3306/hi
2、ve username root password 123456 table TBLS2参数说明bindir 指定生成的java文件、编译成的class文件及将生成文件打包为JAR的JAR包文件输出路径class-name 设定生成的Java文件指定的名称outdir 生成的java文件存放路径package-name包名，如nic，则会生成cn和cnnic两级目录，生成的文件（如java文件）就存放在cnnic目录里input-null-non-string在生成的java文件中，可以将null字符串设为想要设定的值（比如空字符串）input-null-string同上，设定时，最好与上面的
3、属性一起设置，且设置同样的值（比如空字符串等等）。map-column-java数据库字段在生成的java文件中会映射为各种属性，且默认的数据类型与数据库类型保持对应，比如数据库中某字段的类型为bigint，则在Java文件中的数据类型为long型，通过这个属性，可以改变数据库字段在java中映射的数据类型，格式如：map-column-java DB_ID=String,id=Integernull-non-string在生成的java文件中，比如TBL_ID=null?”null”:”，通过这个属性设置可以将null字符串设置为其它值如ddd，TBL_ID=null?”ddd”:”null
4、-string同上，使用的时候最好和上面的属性一起用，且设置为相同的值table 对应关系数据库的表名，生成的java文件中的各属性与该表的各字段一一对应。3.create-hive-table生成与关系数据库表的表结构对应的HIVE表基础语句：sqoop create-hive-table connect jdbc:mysql:/localhost:3306/hive -username root -password 123456 table TBLS hive-table h_tbls2参数说明hive-home Hive的安装目录，可以通过该参数覆盖掉默认的hive目录hive-over
5、write覆盖掉在hive表中已经存在的数据create-hive-table默认是false,如果目标表已经存在了，那么创建任务会失败hive-table后面接要创建的hive表table指定关系数据库表名4.eval可以快速地使用SQL语句对关系数据库进行操作，这可以使得在使用import这种工具进行数据导入的时候，可以预先了解相关的SQL语句是否正确，并能将结果显示在控制台。查询示例：sqoop eval connect jdbc:mysql:/localhost:3306/hive -username root -password 123456 -query “SELECT * FRO
6、M tbls LIMIT 10数据插入示例：sqoop eval connect jdbc:mysql:/localhost:3306/hive -username root -password 123456 -e “INSERT INTO TBLS2VALUES(100,1375170308,1,0,Hadoop,0,1,guest,MANAGED_TABLE,abc,ddd)”-e、-query这两个参数经过测试，比如后面分别接查询和插入SQL语句，皆可运行无误，如上。5.export从hdfs中导数据到关系数据库中sqoop export connect jdbc:mysql:/loca
7、lhost:3306/hive username root password123456 table TBLS2 export-dir sqoop/test参数说明direct快速模式，利用了数据库的导入工具，如mysql的mysqlimport，可以比jdbc连接的方式更为高效的将数据导入到关系数据库中。export-dir 存放数据的HDFS的源目录-m,num-mappers 启动N个map来并行导入数据，默认是4个，最好不要将数字设置为高于集群的最大Map数table 要导入到的关系数据库表update-key 后面接条件列名，通过该参数，可以将关系数据库中已经存在的数据进行更新操作，
8、类似于关系数据库中的update操作update-mode 更新模式，有两个值updateonly和默认的allowinsert，该参数只能是在关系数据表里不存在要导入的记录时才能使用，比如要导入的hdfs中有一条id=1的记录，如果在表里已经有一条记录id=2，那么更新会失败。input-null-string 可选参数，如果没有指定，则字符串null将被使用input-null-non-string 可选参数，如果没有指定，则字符串null将被使用staging-table 该参数是用来保证在数据导入关系数据库表的过程中事务安全性的，因为在导入的过程中可能会有多个事务，那么一个事务失败会影
9、响到其它事务，比如导入的数据会出现错误或出现重复的记录等等情况，那么通过该参数可以避免这种情况。创建一个与导入目标表同样的数据结构，保留该表为空在运行数据导入前，所有事务会将结果先存放在该表中，然后最后由该表通过一次事务将结果写入到目标表中。clear-staging-table如果该staging-table非空，则通过该参数可以在运行导入前清除staging-table里的数据。batch该模式用于执行基本语句（暂时还不太清楚含义）6.import将数据库表的数据导入到hive中，如果在hive中没有对应的表，则自动生成与数据库表名相同的表。sqoop import connect jdb
10、c:mysql:/localhost:3306/hive username root password123456 table user split-by id hive-importsplit-by指定数据库表中的主键字段名，在这里为id。参数说明append将数据追加到hdfs中已经存在的dataset中。使用该参数，sqoop将把数据先导入到一个临时目录中，然后重新给文件命名到一个正式的目录中，以避免和该目录中已存在的文件重名。as-avrodatafile将数据导入到一个Avro数据文件中as-sequencefile将数据导入到一个sequence文件中as-textfile将数据导
11、入到一个普通文本文件中，生成该文本文件后，可以在hive中通过sql语句查询出结果。boundary-query 边界查询，也就是在导入前先通过SQL查询得到一个结果集，然后导入的数据就是该结果集内的数据，格式如：boundary-query select id,creationdate from person where id = 3，表示导入的数据为id=3的记录，或者select min(), max() from ，注意查询的字段中不能有数据类型为字符串的字段，否则会报错：java.sql.SQLException: Invalid value forgetLong()目前问题原因还未
12、知columns指定要导入的字段值，格式如：columns id,usernamedirect直接导入模式，使用的是关系数据库自带的导入导出工具。官网上是说这样导入会更快direct-split-size在使用上面direct直接导入的基础上，对导入的流按字节数分块，特别是使用直连模式从PostgreSQL导入数据的时候，可以将一个到达设定大小的文件分为几个独立的文件。inline-lob-limit设定大对象数据类型的最大值-m,num-mappers启动N个map来并行导入数据，默认是4个，最好不要将数字设置为高于集群的节点数query，-e从查询结果中导入数据，该参数使用时必须指定tar
13、get-dir、hive-table，在查询语句中一定要有where条件且在where条件中需要包含$CONDITIONS，示例：query select * from person where $CONDITIONS target-dir/user/hive/warehouse/person hive-table personsplit-by表的列名，用来切分工作单元，一般后面跟主键IDtable 关系数据库表名，数据从该表中获取target-dir 指定hdfs路径warehouse-dir 与target-dir不能同时使用，指定数据导入的存放目录，适用于hdfs导入，不适合导入hive
14、目录where从关系数据库导入数据时的查询条件，示例：where id = 2-z,compress压缩参数，默认情况下数据是没被压缩的，通过该参数可以使用gzip压缩算法对数据进行压缩，适用于SequenceFile, text文本文件, 和Avro文件compression-codecHadoop压缩编码，默认是gzipnull-string 可选参数，如果没有指定，则字符串null将被使用null-non-string可选参数，如果没有指定，则字符串null将被使用6.1增量导入参数说明check-column (col)用来作为判断的列名，如idincremental (mode)append：追加，比如对大于last-value指定的值之后的记录进行追加导入。lastmodified：最后的修改时间，追加last-value指定的日期之后的记录last-va
