首页 > TAG信息列表 > hadoop101

Hadoop3.x高可用集群，HDFS、Yarn集群

集群环境规划 将整个 ha 搭建完成后,集群将形成以下模样 hadoop101 hadoop102 hadoop103 NameNode NameNode NameNode JournalNode JournalNode JournalNode DataNode DataNode DataNode Zookeeper Zookeeper Zookeeper ZKFC ZKFC ZKFC ResourceManager Resource

分发、免密配置

分发、免密配置 SCP全量 # 语法：scp -r 本机文件夹 目标机用户@目标机地址:目标机文件夹 # hadoop101推到hadoop102： scp -r /opt/module root@hadoop102:/opt/module # hadoop103从hadoop101拿数据： scp -r root@hadoop101:/opt/module /opt/module # hadoop3 把数据从hadoop101

Atlas2.1.0实战：安装、配置、导入hive元数据、编译排坑

背景 随着公司数据仓库的建设，数仓hive表愈来愈多，如何管理这些表？ 经调研，Atlas成为了我们的选择对象，本文是Atlas实战记录，感谢尚硅谷的学习视频 1.Atlas概述 1.1 Apache Atlas 的主要功能 元数据管理和治理，提升团队间对于数据资产的协作功能 具体功能详细介绍元数据分类支持对

MOBA使用，hadoop完全分布式搭建

Moba使用创建 打开moba创建新的连接服务出现以下页面 你之前ping192.168.1.100成功没有，没有这就打不开如果你是ping192.168.1.128成功，那个这个new session就要连接192.168.1.128如果虚拟机没有启动也是出现下面情况，请直接输入R就可刷新 链接成功之后 差不多就是这样 我们需要

Hadoop运行环境搭建

Hadoop运行环境搭建 1.准备一台虚拟机（最小化安装作为模板机） 修改主机名（hadoop101） [root@localhost ~]# vi /etc/hostname 固定IP地址（192.168.2.101） [root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPROTO=“static” IPADDR=192.168.2.101 GATEWAY=1

Linux命令

虚拟机安装 硬件 步骤如图所示： 软件-->安装Linux系统 在安装过程中可以设置root密码和创建用户 一直前进 设置IP地址 使用cd /etc/sysconfig/network-scripts命令，发现ifcfg-ens33文档的操作权限是root，所以需要从普通用户切换到root 使用su root命令，从

Linux常用命令

Linux常用基本命令 1.1 帮助命令 1.1.1 man 获得帮助信息 1.基本语法 ​ man [命令或配置文件] （功能描述：获得帮助信息） 2．显示说明 ​ 表1-6 信息功能NAME命令的名称和单行描述SYNOPSIS怎样使用命令DESCRIPTION命令功能的深入讨论EXAMPLES怎样使用命令的例子SEE ALSO相关主题（通

Hbase2.0安装部署

一、前提：已经安装了ZK、KAFKA、Hadoop 二、架构图：   hadoop101 hadoop102 hadoop103 HDFS NameNode   SecondaryNameNode DataNode DataNode DataNode YARN   ResourceManager   NodeManager NodeManager NodeManager ZK zookeeper zookeeper zookeeper KAFKA

【转载】Phoenix

  第1章 Phoenix简介 1.1 Phoenix定义 Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。 1.2 Phoenix特点 容易集成：如Spark，Hive，Pig，Flume和Map Reduce。 性能好：直接使用HBase API以及协处理器和自定义过滤器，可以为小型

大数据技术之Hadoop编译源码

1 前期准备工作 1）CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意：采用root角色编译，减少文件夹权限出现问题 2）jar包准备(hadoop源码、JDK8、maven、ant 、protobuf) （1）hadoop-2.7.2-src.tar.gz （2）jdk-8u144-linux-x64.tar.gz （3）apache-ant-1.9.9-b

大数据之Hadoop-安装JDK和Hadoop--2

在Linux系统下的opt目录中查看软件包是否导入成功 ls /opt/software/         看到如下结果： 解压JDK到/opt/module目录下 tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/ 5. 配置JDK环境变量 （1）新建/etc/profile.d/my_env.sh文件 sudo vim /etc/profile.d/my_en

11HDFS的命令操作（开发重点）

1．基本语法 bin/hadoop fs 具体命令   OR  bin/hdfs dfs 具体命令 dfs是fs的实现类。 2．命令大全 bin/hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...]

05文件复制

编写集群分发脚本xsync 1）scp（secure copy）安全拷贝 （1）scp定义： scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） （2）基本语法 scp    -r          $pdir/$fname              $user@hadoop$host:$pdir/$fname 命令   递归       要

【Linux】Shell基础

一、shell概述　　 　　shell是一个命令行解释器，他接收应用程序/用户命令，然后调用操作系统内核完成相应操作。 　　shell是一个功能强大的编程语言，具有易编写、易调试灵活性强等特点 二、shell解析器 　　 Linux提供的shell解析器有： 1 [root@H__D temp]# cat /etc/shells 2 /bi

Linux yum仓库配置

yum仓库配置10.1 概述YUM（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装。10.2 yum的常

大数据之Linux(一):常用基本命令10

进程线程类 进程是正在执行的一个程序或命令，每一个进程都是一个运行的实体，都有自己的地址空间，并占用一定的系统资源。 1.1 ps 查看当前系统进程状态 ps:process status 进程状态 基本语法 ps aux | grep xxx （功能描述：查看系统中所有进程） ps -ef | grep xxx （功能描述：可以查看

大数据之Linux(一):常用基本命令6

1）、 用户管理命令 1.1 useradd 添加新用户 基本语法 useradd 用户名 （功能描述：添加新用户） useradd -g 组名 用户名 （功能描述：添加新用户到某个组）案例实操 （1）添加一个用户 [root@hadoop101 ~]# useradd tangseng [root@hadoop101 ~]#ll /home/ 1.2 passwd 设置用户密码 基本语

【hadoop】-linux下配置配置主机名

LINUX配置主机名 1、输入：hostnamectl或者hostname查看主机名 2、Root 用户 vim /etc/sysconfig/network  添加NETWORKING=yes HOSTNAME=hadoop101 克隆虚拟机只需修改HOSTNAME 3、vi /etc/hostname 修改主机名 4、vim /etc/hosts 配置IP 与主机名   5、修改完成后reboot重启 生

【hadoop】安装JDK

1、配置LINUX 用户具有root权限 Root用户输入vim /etc/sudoers 将 root的权限复制一下。用户名改为hadoop101 2、安装JDK 2.1卸载系统自带的openJDK 查看java版本  java –version 查看java安装软件  rpm -qa|grep java 卸载openjdk  .noarch可以不用删除  使用rpm -e --nodep

从零开始学习大数据系列之Hadoop-01Hadoop运行环境的搭建

Hadoop完全分布式运行环境的搭建 所需资源链接：https://pan.baidu.com/s/1g6A-m86ApIEMDhTFSqmlCw 提取码：e8fq 复制这段内容后打开百度网盘手机App，操作更方便哦–来自百度网盘超级会员V2的分享 环境准备 虚拟机环境准备 1. 克隆三台虚拟机 在vm左上方“虚拟机”选项选择“管理

常见端口 - 大数据

1. hadoop （1）指定 HDFS 中 NameNode 的地址 <!-- 指定 HDFS 中 NameNode 的地址 --> <!-- core-site.xml --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop101:9000</value> </property> （2） HDFS

数仓项目（一）--- 环境准备

文章目录 环境准备一、虚拟机准备1.配置要求2.修改主机名3.关闭防火墙4.创建普通用户5.配置普通用户具有root权限6.在/opt下创建module、software文件夹7.重启 二、集群分发脚本准备1.创建bin文件夹2.创建xsync文件3.修改脚本，使其具有执行权限4.测试 三.SSH无密登录配置1.

CentOS7使用集群同步脚本对文件同步分发

1.介绍 使用集群同步脚本对文件同步分发 2.操作 1）安装rsync [root@hadoop101 ~]$ yum install rsync 2）在/root目录下创建bin目录，并在bin目录下创建文件xsync，文件内容如下： [root@hadoop101 ~]$ mkdir bin [root@hadoop101 ~]$ cd bin/ [root@hadoop101 bin]$ vi xsync 在该文件

spark读取HDFS目录时报错Failed on local exception: com.google.protobuf.InvalidProtocolBufferException

提交命令sc.textFile(“hdfs://hadoop101:50070/data/wordcount.txt”).collect() spark报异常     这里时HDFS端口问题，将50070端口改为8020再提交sc.textFile(“hdfs://hadoop101:8020/data/wordcount.txt”).collect()     单独安装的Hadoop的fs.defaultFS默认端口号为50

HDFS文件Shell操作命令

基本格式： hdfs dfs -cmd hadoop fs -cmd（已过时） 查看可用命令：hdfs dfs [root@hadoop60 ~]# hdfs dfs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] #追加文件 [-cat [-ignoreCrc] <src> ...] #查看文件内容 [-c