首页 > TAG信息列表 > hadoop101

Hadoop3.x高可用集群,HDFS、Yarn集群

集群环境规划 将整个 ha 搭建完成后,集群将形成以下模样 hadoop101 hadoop102 hadoop103 NameNode NameNode NameNode JournalNode JournalNode JournalNode DataNode DataNode DataNode Zookeeper Zookeeper Zookeeper ZKFC ZKFC ZKFC ResourceManager Resource

分发、免密配置

分发、免密配置 SCP全量 # 语法:scp -r 本机文件夹 目标机用户@目标机地址:目标机文件夹 # hadoop101推到hadoop102: scp -r /opt/module root@hadoop102:/opt/module # hadoop103从hadoop101拿数据: scp -r root@hadoop101:/opt/module /opt/module # hadoop3 把数据从hadoop101

Atlas2.1.0实战:安装、配置、导入hive元数据、编译排坑

背景 随着公司数据仓库的建设,数仓hive表愈来愈多,如何管理这些表? 经调研,Atlas成为了我们的选择对象,本文是Atlas实战记录,感谢尚硅谷的学习视频 1.Atlas概述 1.1 Apache Atlas 的主要功能 元数据管理和治理,提升团队间对于数据资产的协作功能 具体功能详细介绍元数据分类支持对

MOBA使用,hadoop完全分布式搭建

Moba使用创建 打开moba创建新的连接服务出现以下页面 你之前ping192.168.1.100成功没有,没有这就打不开如果你是ping192.168.1.128成功,那个这个new session就要连接192.168.1.128如果虚拟机没有启动也是出现下面情况,请直接输入R就可刷新 链接成功之后 差不多就是这样 我们需要

Hadoop运行环境搭建

Hadoop运行环境搭建 1.准备一台虚拟机(最小化安装作为模板机) 修改主机名(hadoop101) [root@localhost ~]# vi /etc/hostname 固定IP地址(192.168.2.101) [root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPROTO=“static” IPADDR=192.168.2.101 GATEWAY=1

Linux命令

虚拟机安装 硬件 步骤如图所示: 软件-->安装Linux系统 在安装过程中可以设置root密码和创建用户 一直前进 设置IP地址 使用cd /etc/sysconfig/network-scripts命令,发现ifcfg-ens33文档的操作权限是root,所以需要从普通用户切换到root 使用su root命令,从

Linux常用命令

Linux常用基本命令 1.1 帮助命令 1.1.1 man 获得帮助信息 1.基本语法 ​ man [命令或配置文件] (功能描述:获得帮助信息) 2.显示说明 ​ 表1-6 信息功能NAME命令的名称和单行描述SYNOPSIS怎样使用命令DESCRIPTION命令功能的深入讨论EXAMPLES怎样使用命令的例子SEE ALSO相关主题(通

Hbase2.0安装部署

一、前提:已经安装了ZK、KAFKA、Hadoop 二、架构图:   hadoop101 hadoop102 hadoop103 HDFS NameNode   SecondaryNameNode DataNode DataNode DataNode YARN   ResourceManager   NodeManager NodeManager NodeManager ZK zookeeper zookeeper zookeeper KAFKA

【转载】Phoenix

  第1章 Phoenix简介 1.1 Phoenix定义 Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表,插入数据和查询HBase数据。 1.2 Phoenix特点 容易集成:如Spark,Hive,Pig,Flume和Map Reduce。 性能好:直接使用HBase API以及协处理器和自定义过滤器,可以为小型

大数据技术之Hadoop编译源码

1 前期准备工作 1)CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意:采用root角色编译,减少文件夹权限出现问题 2)jar包准备(hadoop源码、JDK8、maven、ant 、protobuf) (1)hadoop-2.7.2-src.tar.gz (2)jdk-8u144-linux-x64.tar.gz (3)apache-ant-1.9.9-b

大数据之Hadoop-安装JDK和Hadoop--2

在Linux系统下的opt目录中查看软件包是否导入成功 ls /opt/software/         看到如下结果: 解压JDK到/opt/module目录下 tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/ 5. 配置JDK环境变量 (1)新建/etc/profile.d/my_env.sh文件 sudo vim /etc/profile.d/my_en

11HDFS的命令操作(开发重点)

1.基本语法 bin/hadoop fs 具体命令   OR  bin/hdfs dfs 具体命令 dfs是fs的实现类。 2.命令大全 bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...]

05文件复制

编写集群分发脚本xsync 1)scp(secure copy)安全拷贝 (1)scp定义: scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2) (2)基本语法 scp    -r          $pdir/$fname              $user@hadoop$host:$pdir/$fname 命令   递归       要

【Linux】Shell基础

一、shell概述     shell是一个命令行解释器,他接收应用程序/用户命令,然后调用操作系统内核完成相应操作。   shell是一个功能强大的编程语言,具有易编写、易调试灵活性强等特点 二、shell解析器    Linux提供的shell解析器有: 1 [root@H__D temp]# cat /etc/shells 2 /bi

Linux yum仓库配置

yum仓库配置10.1 概述YUM(全称为 Yellow dog Updater, Modified)是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理,能够从指定的服务器自动下载RPM包并且安装,可以自动处理依赖性关系,并且一次安装所有依赖的软件包,无须繁琐地一次次下载、安装。10.2 yum的常

大数据之Linux(一):常用基本命令10

进程线程类 进程是正在执行的一个程序或命令,每一个进程都是一个运行的实体,都有自己的地址空间,并占用一定的系统资源。 1.1 ps 查看当前系统进程状态 ps:process status 进程状态 基本语法 ps aux | grep xxx (功能描述:查看系统中所有进程) ps -ef | grep xxx (功能描述:可以查看

大数据之Linux(一):常用基本命令6

1)、 用户管理命令 1.1 useradd 添加新用户 基本语法 useradd 用户名 (功能描述:添加新用户) useradd -g 组名 用户名 (功能描述:添加新用户到某个组)案例实操 (1)添加一个用户 [root@hadoop101 ~]# useradd tangseng [root@hadoop101 ~]#ll /home/ 1.2 passwd 设置用户密码 基本语

【hadoop】-linux下配置配置主机名

LINUX配置主机名 1、输入:hostnamectl或者hostname查看主机名 2、Root 用户 vim /etc/sysconfig/network  添加NETWORKING=yes HOSTNAME=hadoop101 克隆虚拟机只需修改HOSTNAME 3、vi /etc/hostname 修改主机名 4、vim /etc/hosts 配置IP 与主机名   5、修改完成后reboot重启 生

【hadoop】安装JDK

1、配置LINUX 用户具有root权限 Root用户输入vim /etc/sudoers 将 root的权限复制一下。用户名改为hadoop101 2、安装JDK 2.1卸载系统自带的openJDK 查看java版本  java –version 查看java安装软件  rpm -qa|grep java 卸载openjdk  .noarch可以不用删除  使用rpm -e --nodep

从零开始学习大数据系列之Hadoop-01Hadoop运行环境的搭建

Hadoop完全分布式运行环境的搭建 所需资源链接:https://pan.baidu.com/s/1g6A-m86ApIEMDhTFSqmlCw 提取码:e8fq 复制这段内容后打开百度网盘手机App,操作更方便哦–来自百度网盘超级会员V2的分享 环境准备 虚拟机环境准备 1. 克隆三台虚拟机 在vm左上方“虚拟机”选项选择“管理

常见端口 - 大数据

1. hadoop (1)指定 HDFS 中 NameNode 的地址 <!-- 指定 HDFS 中 NameNode 的地址 --> <!-- core-site.xml --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop101:9000</value> </property> (2) HDFS

数仓项目(一)--- 环境准备

文章目录 环境准备一、虚拟机准备1.配置要求2.修改主机名3.关闭防火墙4.创建普通用户5.配置普通用户具有root权限6.在/opt下创建module、software文件夹7.重启 二、集群分发脚本准备1.创建bin文件夹2.创建xsync文件3.修改脚本,使其具有执行权限4.测试 三.SSH无密登录配置1.

CentOS7使用集群同步脚本对文件同步分发

1.介绍 使用集群同步脚本对文件同步分发 2.操作 1)安装rsync [root@hadoop101 ~]$ yum install rsync 2)在/root目录下创建bin目录,并在bin目录下创建文件xsync,文件内容如下: [root@hadoop101 ~]$ mkdir bin [root@hadoop101 ~]$ cd bin/ [root@hadoop101 bin]$ vi xsync 在该文件

spark读取HDFS目录时报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferException

提交命令sc.textFile(“hdfs://hadoop101:50070/data/wordcount.txt”).collect() spark报异常     这里时HDFS端口问题,将50070端口改为8020再提交sc.textFile(“hdfs://hadoop101:8020/data/wordcount.txt”).collect()     单独安装的Hadoop的fs.defaultFS默认端口号为50

HDFS文件Shell操作命令

基本格式: hdfs dfs -cmd hadoop fs -cmd(已过时) 查看可用命令:hdfs dfs [root@hadoop60 ~]# hdfs dfs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] #追加文件 [-cat [-ignoreCrc] <src> ...] #查看文件内容 [-c