其他分享
首页 > 其他分享> > 大数据之_数据采集Flume_架构---Flume工作笔记004

大数据之_数据采集Flume_架构---Flume工作笔记004

作者:互联网

然后我们来看flume的基础架构

可以看到,其实就是,web server等产生了日志数据,比如一个日志文件,然后

这个日志文件,会被作为source数据源,这个数据源是一个日志文件,也可以是一个端口数据,

然后source数据源的数据,会走到channel,通过这个通道,传输,然后最终走到,sink中去.

sink(下沉)的作用就是把数据,存储到不同的存储系统中,比如HDFS中.

 

我们来看各个组件的内容,首先agent.

source channel sink

 

标签:Flume,数据源,---,source,sink,004,日志,数据
来源: https://blog.csdn.net/lidew521/article/details/123046665