Flume经典案例之自定义Source
作者:互联网
需求分析:
使用flume接收数据,并给每条数据添加前缀,输出到控制台。
操作步骤:
1、打开IDEA,新建maven工程。
2、导入依赖
<dependency>
<groupId>org.apache.flume</groupId>
<artifactId>flume-ng-core</artifactId>
<version>1.6.0</version>
</dependency>
3、编写代码
import org.apache.flume.*;
import org.apache.flume.conf.Configurable;
import org.apache.flume.sink.AbstractSink;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import java.util.Arrays;
public class MySink extends AbstractSink implements Configurable {
//读取到的配置文件中的suffix的内容
private String suffix;
//获取logger对象,可以将数据日志的方式输出
Logger logger = LoggerFactory.getLogger(MySink.class);
/**
* 核心方法,用来处理sink逻辑,将channel中的内容写出去
* @return
* @throws EventDeliveryException
*/
@Override
public Status process() throws EventDeliveryException {
Status status = Status.READY;//表示成功输入一个或多个event
//1、获取channel
Channel channel = getChannel();
//2、从channel中获取事务
Transaction transaction = channel.getTransaction();
try {
Event event = null;
//2.1开启事务
transaction.begin();
//可能获取数据时没有获取到,所以下面的方法是用来保证读取到数据后在向logger中输出
while(true){
//3、获取数据
event = channel.take();
if (event!=null){
break;
}
}
//4、将数据写出
logger.info(new String(Arrays.toString(event.getBody())+suffix));
//5、提交事务
transaction.commit();
} catch (ChannelException e) {
status = Status.BACKOFF;//获取数据失败
//事务回滚
transaction.rollback();
}finally {
//事务关闭
transaction.close();
}
return status;
}
/**
* 获取上下文信息,用来读取配置文件中的内容
* @param context
*/
@Override
public void configure(Context context) {
suffix = context.getString("suffix", "test");
}
}
4、打包代码
使用xftp将包传入Linux中,传入flume目录下的lib目录中。
5、编写配置文件autosink.conf
内容如下:
a1.sources=r1
a1.channels=c1 c2
a1.sinks=k1 k2
a1.sources.r1.type=netcat
a1.sources.r1.bind=node1
a1.sources.r1.port=44444
a1.channels.c1.type=memory
#自定义sink
a1.sinks.k1.type=cn.jit.MySink
#后缀
a1.sinks.k1.suffix=wanjialin
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1
6、执行命令
进入到flume目录下,执行命令flume-ng agent -n a1 -c conf/ -f datas2/autosink.conf -Dflume.root.lo gger=INFO,console
7、查看输出内容
标签:Flume,flume,suffix,自定义,a1,Source,org,import,channel 来源: https://blog.csdn.net/weixin_44911081/article/details/122161167