首页 > TAG信息列表 > hadoop000
redis学习小结
安装 Redis 1、下载源码，解压缩后编译源码。# wget http://download.redis.io/releases/redis-5.0.5.tar.gz tar xzf redis-5.0.5.tar.gz cd redis-5.0.5 make make install 2、编译完成后，在Src目录下，有四个可执行文件redis-server、redis-benchmark、redis-cli和redis.confHive入门+示例
1、安装mysql5.7 （1）安装步骤：centos7 下安装 mysql5.7 - 亚萌 - 博客园 (cnblogs.com) （2）镜像中已有 2、进入MySQL （1）注意与hive-site.xml里的mysql jdbc:mysql://hadoop000:3306/hadoop_hive?createDatabaseIfNotExist=true 指定mysql，相当于在hadoop000这台机器上的3306端口，3306提交example案例到YARN上运行
0、使用官方例子，将MapReduce提交到YARN上运行 1、进入文件夹 [hadoop@hadoop000 mapreduce]$ pwd/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreduce[hadoop@hadoop000 mapreduce]$ lshadoop-mapreduce-client-app-2.6.0-cdh5.15.1.jarhadoop-mapreduce-client-comYARN资源调度框架环境部署
1、步骤 https://archive.cloudera.com/p/cdh5/cdh.hadoop-2.6.0-cdh5.15.1 （1）进入文件夹 [hadoop@hadoop000 hadoop]$ pwd /home/hadoop/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop （2）复制文件，更名为mapred-site.xml [hadoop@hadoop000 hadoop]$ cp mapred-site.xml.template mapreHadoop集群部署实战
模块 以三台机器为例，分别为 hadoop000 ，hadoop001，hadoop002 。在这些机器上我需要部署哪些模块呢？ HDFS: NameNode，DataNode YARN: ResourceManager，NodeManager 如下图所示： 修改 hostname 与 hosts 以机器1为例，其它机器类似。 修改hostname vim /etc/hostname hadoop000 修改ip映Hadoop基础-03-HDFS基本概念
目录HDFS概述(Hadoop Distributed File System)HDFS架构详解文件系统NamespaceHDFS副本机制Linux环境介绍Hadoop部署JDK1.8部署详解ssh无密码登陆部署详解Hadoop安装目录详解及hadoop-env配置HDFS格式化以及启动详解Hadoop命令行操作详解HDFS的存储扩展 HDFS概述(Hadoop DistributHadoop集群部署
集群规划 HDFS需要部署NameNode和DataNode YARN需要部署ResourceManager和NodeManager 假设现在有三台服务器，规划方式如下： hadoop000 192.168.199.234 NameNode DataNode ResourceManager NodeManager hadoop001 192.168.199.235 NameNode DataNode hadoop002 192.168.1190518
20190518遇到的问题虚拟机centos 主机 win10 网络配置问题改正复制后叫eth2变为eth0 谷歌改正不能指定静态ip的毛病过程文件目录 遇到的问题 虚拟机centos 主机 win10 网络配置问题 vmnet8 centos里面的配置 [hadoop@hadoop000 ~]$ cat /etc/sysconfig/network-scriptsHadoop停止集群以及如何单个进程启动
hadoop软件包常见目录说明 bin:hadoop客户端名单 etc/hadoop:hadoop相当的配置文件粗存放目录 sbin: 启动Hadoop相关进程的脚本 share：常用列子 注意： start/stop-dfs.sh与hadoop-daemons.sh的关系 start-dfs.sh = hadoop-daemons.sh start namenode hadoop-daemons.sh startHadoop安装目录
/root/software/hadoop-2.6.0-cdh5.15.1/etc/hadoop 第一步骤 vi core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop000:8020</value> </property> <property> <name>hadoop.tSpark的Monitoring
一、启动历史页面监控配置: $ vi spark-defaults.conf spark.eventLog.enabled true spark.eventLog.dir hdfs://hadoop000:8020/g6_directory $ vi spark-env.sh SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://hadoop000:8020/g6_directoKafka
http://kafka.apache.org/090/documentation.html Kafka概述 和消息系统类似 消息中间件：生产者和消费者 妈妈：生产者 你：消费者 馒头：数据流、消息 正常情况下： 生产一个 消费一个 其他情况：Apache+Strom+Zookeeper集群技术实战(完整)
hadoop伪分布式安装 0）前情提要： 学习中对于远程操纵linux系统存在问题，做笔记如下： xshell是我目前使用的远程操作的软件，将虚拟机开机，保持挂起状态就可以操作。 但需要知道ip地址，所以命令行有ipconfig，查询ip地址 在xshell上输入ssh hadoop@ip地址，接着输入密码 连接