首页 > TAG信息列表 > cloudera-cdh

java-SqoopOptions类是否有替代方法

我正在尝试使用SqoopOptions类的Java代码将数据从MySQL导入Hive,但是它说该类(com.cloudera.sqoop.SqoopOptions)已弃用,Class SqoopOptions.我用google替代了它,但没有找到任何东西,有人可以建议我可以采取什么替代措施.我想通过我的Java程序使用sqoop命令.解决方法:当Sqoop进入Ap

java-使用–jars提交spark-submit yarn-cluster不起作用?

我正在尝试通过以下命令将火花作业提交给CDH纱簇 我尝试了几种组合,但都无法正常工作… 现在,我所有的poi jars都位于本地/ root以及HDFS / user / root / lib中,因此我尝试了以下操作 spark-submit --master yarn-cluster --class "ReadExcelSC" ./excel_sc.jar --jars /root/poi

java – 如何在YARN Spark作业中设置环境变量?

我试图通过使用带有newAPIHadoopRDD的AccumuloInputFormat从Apache Spark作业(用Java编写)访问Accumulo 1.6.为了做到这一点,我必须通过调用setZooKeeperInstance方法告诉AccumuloInputFormat在哪里找到ZooKeeper.此方法采用ClientConfiguration对象,该对象指定各种相关属性. 我正

java – CDH5.2:MR,无法初始化任何输出收集器

Cloudera CDH5.2快速入门VM Cloudera Manager显示所有节点state = GREEN 我在Eclipse上做了一个MR工作,包括Build Path中的所有相关cloudera jar:Avro的-1.7.6-cdh5.2.0.jar,Avro的-mapred-1.7.6-cdh5.2.0-hadoop2.jar,Hadoop的共同-2.5.0-cdh5.2.0.jar,Hadoop的MapReduce的客户核心

java – Hadoop安装目录

在Cloudera发行版中安装了哪个Hadoop目录?它在/usr/bin/hadoop中吗? [cloudera@quickstart opt]$which hadoop /usr/bin/hadoop 我知道软件包将安装在/ opt /目录中. Apache推荐什么?解决方法:实际上,如果您使用Cloudera CDH的包裹(建议的安装方式),它会在/ opt / cloudera / parcel

java – Hadoop CDH5中的垃圾收集持续时间

我们有一个运行CDH5.0.2的四数据节点集群,通过Cloudera Manager parcel安装. 为了将13M用户的行导入HBase,我们编写了一个简单的Python脚本并使用了hadoop-streaming jar.它的工作效果可达100k行.然后……然后,一个接一个地,所有数据节点都崩溃了相同的消息: The health test resul