1 安装flume

 tar -xvf apache-flume-1.6.0-bin.tar.gz  解压

2   flume 架构

flume:收集传输发送数据，没有存储数据的能力；

source (facebook  本地目录  日志系统   netcat  http 上一个flume)>   channel (memory内存通道  file文件通道  ) >  Sink目的地（hdfs  kafka  avro  本地目录）

 

 

3  flume输出

2.1 flume接离线

传输给  分布式HDFS文件系统，以行存储    》再用MapReduce离线批处理 ，需要用java写代码   或者   使用  Hive 类sql  Hql来离线批处理   》  计算结果再存到  HDFS  > 通过Sqoop（ETL）工具把结果数据导入到关系型数据库，供页面用

 

2.2 flume接实时

flume:Storm或者  Spark Streaming 实时计算框架 》 计算结果数据存到HDFS或者HBase或者mysql

 

4 使用工具模拟网络数据输入给flume

4.1  安装 netcat工具，用于发送网络请求给flume

 

rpm  -ivh  nc-11.84-22.el6.x86_64.rpm  

4.2 修改flume如下配置

 

 

 地址：本地   

输出：控制台   

使用内存通道

4.3 启动netcat

 

 

 ctrl+c  退出netcat

4.4 复制连接在另一个连接上给flume发请求数据

4.4.1 发送方式1

 

4.4.2 发送方式2

 

标签：flume,HDFS,收集,4.4,离线,netcat,日志,rpm
来源： https://www.cnblogs.com/hujinhua/p/15724462.html