1.16 sqoop options-file参数进行运行任务
作者:互联网
sqoop的options-file参数可以像hive的-f 参数那样,执行一个脚本文件,而不是直接在命令行执行;
其中,此脚本文件要遵循一定的格式;参考链接:http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html
1、options-file参数使用
##准备一个脚本文件,可以是txt、sql结尾文件 ##vim /opt/datas/sqoop-import-hdfs.txt import --connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test --username root --password 123456 --table my_user --target-dir /user/root/sqoop/imp_my_user_option --num-mappers 1 ##sqoop执行 [root@hadoop-senior sqoop-1.4.5-cdh5.3.6]# bin/sqoop --options-file /opt/datas/sqoop-import-hdfs.txt ##在hdfs上查看,已经有数据了 [root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs -ls -R /user/root/sqoop/imp_my_user_option -rw-r--r-- 1 root supergroup 0 2019-05-07 14:18 /user/root/sqoop/imp_my_user_option/_SUCCESS -rw-r--r-- 1 root supergroup 128 2019-05-07 14:18 /user/root/sqoop/imp_my_user_option/part-m-00000 #这种方式比较方便,就算出错了,也很容易修改,而且还可以直接把sqoop执行的这条命令放到脚本中执行;
#sqoop-import-hdfs.txt这个脚本文件中,还可以写注释,用#注释;
转自:https://www.cnblogs.com/weiyiming007/p/10825291.html
标签:1.16,hdfs,--,my,sqoop,user,file,root 来源: https://www.cnblogs.com/javalinux/p/14993696.html