首页 > TAG信息列表 > Metastore

hive on spark 关于hive的配置

1.   hive-site.xml    root@hadoop101 conf]# vi hive-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.C

Hive的基本概念

一、Hive基本概念 1．什么是Hive? hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载。可以存储、查询和分析存储在Hadoop中的大规模数据。 hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。 Hive的

从Hive中使用HQL语句创建DataFrame--常用方式

默认情况下SparkSession不支持读取Hive中的数据，也不支持操作HQL语法， 如果要读取Hive中的数据，需要开启Hive的支持， 构建sparkSession的时候调用一个函数enableHiveSupport() val sparkConf = new SparkConf().setMaster("local[2]").setAppName("demo") val session = Spa

记一次使用“msck repair table 表名”这个命令

背景： 数据导入到hive后，查询不到数据   原因： MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等等信息。如

metastore作用_Hive安装配置

本文介绍Hive安装配置的整个过程，包括MySQL、Hive及Metastore的安装配置，并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章，但是理解都不对，给读者造成了很多误导。本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分，并经过实践，终于填

Hive详解

1 Hive基本概念 Hive是一个构建在Hadoop上的数据仓库框架。最初，Hive是由Facebook开发，后来移交由Apache软件基金会开发，并作为一个Apache开源项目。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 其本质是将SQL转换为MapRedu

hive --service metastore

  hiveserver2：如果要通过jdbc连接hive，则需要启动hiveserver2。常见jdbc客户端：beeline bin/hive --service metastore & metastore：提供一个数据接口，获取hive元数据。获取获取元数据的方式：1直连mysql获取2连接metastore，通过metastore连接mysql

Hive远程模式

前提：hive的本地模式与内嵌模式都已经完成 1. 集群主机Hadoop的core-site.xml文件添加以下内容 <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name&

windows下Hive搭建踩坑汇总

前言：         Hive是一个基于Hadoop的数据仓库工具，以一种类SQL的HQL语句操作Hadoop数据仓库(HDFS等)。所以本地windows安装前需要先搭建Hadoop。前面文章已经大概介绍了环境搭建和踩坑汇总，所以这里也依旧只是介绍基础的安装方法。因为关于Hive的安装，网上其实有很多文章，这里更

大数据hive相关知识学习记录-Hive的安装搭建-丁力士-3

03 Hive的安装搭建 Hive可以从源码中编译安装，也可以直接使用官网下载的安装包，在此处我们选择安装包解压安装的方式。 Hive中最最重要的角色就是metastore 因此按照metastore的管理共有四种hive的安装搭建方式：官网参考地址如下： https://cwiki.apache.org/confluence/display/Hive/A

华为云Centos7搭建hadoop集群四：mysql,hive安装

华为云Centos7搭建hadoop集群四：mysql,hive安装 将mysql，hive上传至/opt/module中 mysql我使用rpm进行安装，节点选择03节点 1.检查当前系统是否安装过mysql rpm -qa|grep mariadb 如果存在通过命令卸载 sudo rpm -e --nodeps mariadb-libs 2.解压mysql包，因为linux可能是最小化

【大数据基础】hive的配置文件

一、vim hive-site.xml <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property>

【大数据基础】五、mysql安装

一、下载系统自带mysql rpm -qa|grep mariadb   sudo rpm -e --nodeps mariadb-libs     二、执行安装包里面的软件 五个   yum install -y libaio sudo rpm -ivh 五个   三、删除mysql库下的信息，初始化mysql cd /var/lib/mysql sudo rm -rf ./*   sudo mysqld --in

Hive入门

第一章 Hive 基本概念 1.1 什么是 Hive Apache Hive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似SQL的查询模型，称为Hive查询语言（HQL），用于访问和分析存储在Hadoop文件中的大型数据集。 Hive

HMS数据库设置和优化

简介：Hive Metastore (HMS) 是一种服务，用于在后端 RDBMS（例如 MySQL 或 PostgreSQL）中存储与 Apache Hive 和其他服务相关的元数据。本文主要分享HMS数据库设置和优化 设置 Metastore 数据库 如果您有本地集群，则需要知道如何为 Hive Metastore (HMS) 设置后端数据库。设置包括安装受

hadoop-hive安装

Hive的安装 1、下载安装包：apache-hive-3.1.2-bin.tar.gz（这是格式）资源在CSDN上可以找到 上传至linux系统/opt/software/路径 2、解压软件 cd /opt/software/ tar -zxvf hive.tar.gz -C /opt/module/ 3、修改系统环境变量 vim /etc/profile 添加内容： cd /opt/software/ tar -

Hive架构及搭建方式

目录前言hive的基础知识基本架构metastore内嵌服务和数据库内嵌服务服务和数据库单独部署hcatalog客户端客户端的本地模式beelinebeeline的自动模式jdbc部署部署hiveserver2在hdfs中创建hive数据存放路径配置hive的环境变量配置日志输出路径hive的临时文件配置配置metastore 的DB

hive原理与实操（一）：hive基本概念与安装

文章目录 1 hive基本概念1.1 hive优缺点1.2 hive架构原理1.3 hive和数据库比较 2 hive安装2.1 hive安装2.2 MySQL安装2.3 hive元数据配置到MySQL2.4 hive的访问 总结 1 hive基本概念 hive是一个基于hadoop的数据仓库工具，将结构化数据映射为一张表，提供类SQL查询功能。这里

Hadoop 生态里，为什么 Hive 活下来了？

作者 | Einat Orr 博士  译者 | Sambodhi Apache Hive 能在下一轮“淘汰”中幸存下来吗？ Apache Hive 在 2010 年作为 Hadoop 生态系统的一部分崭露头角，当时 Hadoop 是一种新颖而创新的大数据分析方法。Hive 的功能就是实现 Hadoop 的 SQL 接口。它的架构包括两个主要服务：一是

10、hive配置完hive.metastore.uris后报错

背景 在配置完hive的hive.metastore.uris之后，报错 Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transport.TTransportException: java.net.ConnectException: Connection refused (Connection refused) 原因分

hive的部署三种模式

内嵌模式 将metastore服务和hive服务内嵌在一起, 无需单独启动metastore服务项,随着客户端的启动而启动,同时在内嵌模式下, 采用元数据库为derby数据库 好处: 安装简单, 解压即可用弊端: 在不同路径下启动hive, 都会单独形成一个derby数据库, 导致元数据无法共享, 会出现脑裂问

Hadoop_Hive远程模式部署/在其他节点上使用hive客户端

目录安装mysql配置hive上传并解压安装包解决hive与hadoop之间的guava版本差异添加mysql jdbc驱动到hive lib目录下修改hive环境变量文件新增hive-site运行metastore服务的几种方式在其他节点上使用hive客户端 安装mysql 远程模式部署安装mysql部分与上文Hadoop_Hive本地模式部署几

Schema initialization FAILED! Metastore state would be inconsistent

一、出现的问题 执行hive初始化源数据库出现问题 schematool -initSchema -dbType mysql -verbose 然后报错 Schema initialization FAILED! Metastore state would be inconsistent 二、解决方法 1、先删除多出来的2个文件/文件夹 有个d***.log(刚才忘了记录一下，忘了叫啥名

Hive tez引擎安装

安装tez引擎 1.解压tez压缩包 mkdir tez tar -zxvf tez-0.10.1-SNAPSHOT.tar.gz 2.上传tez-0.10.1-SNAPSHOT.tar.gz到hdfs hadoop fs -put /opt/tez/tez-0.10.1-SNAPSHOT.tar.gz /tez 3.新建tez-site.xml vim $HADOOP-HOME/etc/hadoop/tez-site.xml 添加 <?xml version="1.0" e

忘记启动metastore服务导致使用hive报错

在/opt/module/hive/conf/hive-site.xml里面添加  <!-- 指定存储元数据要连接的地址 -->  <property>  <name>hive.metastore.uris</name>  <value>thrift://hadoop102:9083</value>  </property> 使用hive报错  查看日志发现 需要开启服务  输入bin/hive --service