其他分享
首页 > 其他分享> > 1.16 sqoop options-file参数进行运行任务

1.16 sqoop options-file参数进行运行任务

作者:互联网

sqoop的options-file参数可以像hive的-f 参数那样,执行一个脚本文件,而不是直接在命令行执行;

其中,此脚本文件要遵循一定的格式;参考链接:http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html

1、options-file参数使用

复制代码
##准备一个脚本文件,可以是txt、sql结尾文件
##vim /opt/datas/sqoop-import-hdfs.txt
import 
--connect
jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test 
--username
root 
--password
123456 
--table
my_user 
--target-dir
/user/root/sqoop/imp_my_user_option 
--num-mappers
1 



##sqoop执行
[root@hadoop-senior sqoop-1.4.5-cdh5.3.6]# bin/sqoop --options-file /opt/datas/sqoop-import-hdfs.txt



##在hdfs上查看,已经有数据了
[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs -ls -R /user/root/sqoop/imp_my_user_option
-rw-r--r--   1 root supergroup          0 2019-05-07 14:18 /user/root/sqoop/imp_my_user_option/_SUCCESS
-rw-r--r--   1 root supergroup        128 2019-05-07 14:18 /user/root/sqoop/imp_my_user_option/part-m-00000


#这种方式比较方便,就算出错了,也很容易修改,而且还可以直接把sqoop执行的这条命令放到脚本中执行;
#sqoop-import-hdfs.txt这个脚本文件中,还可以写注释,用#注释;

 转自:https://www.cnblogs.com/weiyiming007/p/10825291.html

标签:1.16,hdfs,--,my,sqoop,user,file,root
来源: https://www.cnblogs.com/javalinux/p/14993696.html