其他分享
首页 > 其他分享> > Flume实现扇出流动

Flume实现扇出流动

作者:互联网

flume扇出流动的过程

 

 

实现过程

首先准备三台机器:hadoop01,hadoop02,hadoop03 (我在三台机器上已配置好hosts)

 

 

 

然后每台机器上配置Agent

配置hadoop01

 

 

 

配置hadoop02和hadoop03一样

 

 

 

配置完了后,首先启动hadoop02和hadoop03上的Agent

flume-ng agent -n a1 -c /usr/flume/conf -f ./fan-out.conf -Dflume.root.logger=INFO,console

我已经配置好了flume的环境变量,所以直接调用flume-ng命令,如下参数说明

-n         agent名称

-c         flume配置文件的的路径

-f          我们创建的fan-out.conf(配置Agent)文件的路径

两台机器执行命令后控制台都回看到如下信息

 

 

 

 

然后在hadoop01机器上也启动flume

flume-ng agent -n a1 -c /usr/flume/conf -f ./fan-out.conf -Dflume.root.logger=INFO,console

成功连接会显示如下信息

 

 

 

 都启动成功了,可以打开另一个hadoop01客户端执行:nc hadoop01 44444 可以发送事件

 

 

打开hadoop02和hadoop03可以看到已经收到事件

 

 

标签:Flume,flume,hadoop03,流动,hadoop01,配置,扇出,conf,hadoop02
来源: https://www.cnblogs.com/jumpkin1122/p/11503662.html