首页 > TAG信息列表 > jars

hive on spark 关于hive的配置

1.   hive-site.xml    root@hadoop101 conf]# vi hive-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.C

Hive3配置tez引擎

1. 下载 下载地址：https://dlcdn.apache.org/tez/，选择带-bin的，此处下载apache-tez-0.10.1-bin.tar.gz 2. 解压 hive在哪个节点上，就解压到哪个节点 tar -zxvf apache-tez-0.10.1-bin.tar.gz -C /opt/ # 重命名（可选） mv /opt/apache-tez-0.10.1-bin/ /opt/tez-0.10.1/ 3. 上传tez包

Zeppelin中给spark添加第三方jar包

方法一：永久导入jar包 在zeppelin的环境配置文件 "zeppelin-env.sh" 中添加以下内容： export SPARK_SUBMIT_OPTIONS="--jars /moudle/zeppelin-0.9.0/plugins/mysql-connector-java-8.0.21.jar" 也可以将jar包放在HDFS上面 export SPARK_SUBMIT_OPTIONS="--jars hdfs:///spark/j

geotools library

Library The GeoTools library is organized into a series of jars. These jars form a software stack, each building on the services of the others. Individual jars such as “data” are extended with plugins in order to support additional capabilities. For data

docker-logstash 时间异常

早上发现Logstash没有同步数据到ES，最后发现是Logstash定时任务没执行->docker容器时间不正确，于是修改了启动脚本 docker run -it -d -p 5044:5044 -p 5045:5045 -v /usr/local/docker/logstash/config/:/usr/share/logstash/config/ -v /usr/local/docker/logs

[IDEA运行spark|spark sql出错]Error:(4, 8) object SparkConf is not a member of package org.apache.spark

**原因：**实际上问题的根本原因，是因为spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly.jar已经不存在。原来的 jar包分解为：jars/.jar 解决办法：到Saprk官网下载spark安装包，然后解压spark，将jars下的所有jar包添加到项目lib中。 spark下载

2021-04-30

1.编写文档目的 大多数企业在使用CDH集群时，考虑数据的安全性会在集群中启用Sentry服务，这样就会导致之前正常使用的UDF函数无法正常使用。本文主要讲述如何在Sentry环境下使用自定义UDF函数。   文章概述 部署UDF JAR 文件Hive配置授权JAR文件创建临时函数创建永久函数 测试环境

Spark-Streaming hdfs count 案例

Streaming hdfs count 需要先启动 hadoop 集群。 # 启动 hadoop 集群start-dfs.shstart-yarn.sh# 查看是否启动成功 # 命令 jpsjps 　　hadoop 启动成功之后，下面就是关于 stream 的代码，stream 统计代码如下，将下面的代码进行打包，上传到服务器上即可。 import org.apache.spark.Sp

基于小米即时消息云服务(MIMC)的Web IM

michat 一个基于小米即时消息云服务(MIMC)的Web IM。 源码地址github和gitee同步。 截图展示 如何使用 请先双击目录“需要安装的jars”的install.bat，安装自定义的jars。 直接运行类MichatApplication，启动项目。访问http://localhost:8081/login，登录账号。默认配置了以下

Sparksubmit

spark2-submit --master yarn --deploy-mode client --jars /bdpetl_data/app/etl_script/comm/lib/ojdbc6.jar  --executor-cores 1 --num-executors 10  --class webreport.Kafka2Hive /home/webreport.jarspark-submit --master yarn-cluster --jars /bdpetl_data/app/etl_

add jars、add external jars、add library、add class folder的区别

add external jars = 增加工程外部的包add jars = 增加工程内包add library = 增加一个库add class folder = 增加一个类文件夹add jar是表示从你的工程里添加JAR，前提是你把jar已经放到自己的工程目录里。add external jar表示这个jar的位置需要URI来定位，需要给出全路径。add libra