首页 > 其他分享> > |NO.Z.00038|——————————|BigDataEnd|——|Hadoop&Flume.V01|-------------------------------------------|Fl

|NO.Z.00038|——————————|BigDataEnd|——|Hadoop&Flume.V01|-------------------------------------------|Fl

2022-04-07 15:04:54 作者：互联网

一、Flume概述

### --- [数据采集工具-Flume]

~~~     [Flume简介]
~~~     [Flume拓扑结构]
~~~     [Flume体系架构]
~~~     [Flume内部原理]

### --- 概述(什么是、体系结构、拓扑结构、内部原理)
### --- 安装配置
### --- 应用(基础、高级)

~~~     无论数据来自什么企业，或是多大量级，通过部署Flume，
~~~     可以确保数据都安全、及时地到达大数据平台，用户可以将精力集中在如何洞悉数据上。

二、 Flume的定义

### --- Flume的定义

~~~     Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚合、传输的系统。
~~~     Flume支持在日志系统中定制各类数据发送方，用于采集数据；
~~~     Flume提供对数据进行简单处理，并写到各种数据接收方的能力。

三、简单的说，Flume是实时采集日志的数据采集引擎。

### --- Flume有3个重要组件：Source、Channel、Sink

~~~     # 特点：
~~~     分布式：flume分布式集群部署，扩展性好
~~~     可靠性好: 当节点出现故障时，日志能够被传送到其他节点上而不会丢失
~~~     易用性：flume配置使用较繁琐，对使用人员专业技术要求高
~~~     实时采集：flume采集流模式进行数据实时采集
~~~     适用场景：适用于日志文件实时采集。

### --- 其他数据采集工具还有：dataX、kettle、Logstash、Scribe、sqoop。

~~~     dataX是阿里开源软件异构数据源离线同步工具。
~~~     实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、
~~~     FTP等各种异构数据源之间稳定高效的数据同步功能。

~~~     # 特点：
~~~     易用性：没有界面，以执行脚本方式运行，对使用人员技术要求较高
~~~     性能：数据抽取性能高
~~~     部署：可独立部署
~~~     适用场景：在异构数据库/文件系统之间高速交换数据

### --- kettle开源ETL工具。

~~~     支持数据库、FTP、文件、rest接口、hdfs、hive等平台的据进行抽取、转换、传输等操作，
~~~     Java编写跨平台，C/S架构，不支持浏览器模式。

~~~     # 特点：
~~~     易用性：有可视化设计器进行可视化操作，使用简单
~~~     功能强大：不仅能进行数据传输，能同时进行数据清洗转换等操作
~~~     支持多种源：支持各种数据库、FTP、文件、rest接口、hdfs、Hive等源
~~~     部署方便：独立部署，不依赖第三方产品
~~~     适用场景：数据量及增量不大，业务规则变化较快，要求可视化操作，对技术人员的技术门槛要求低。

### --- Logstash。

~~~     应用程序日志、事件的传输、处理、管理和搜索的平台。
~~~     可以用它来统一对应用程序日志进行收集管理，提供了Web接口用于查询和统计。
~~~     Scribe是Facebook开源的日志收集系统，它能够从各种日志源上收集日志，存储到
~~~     一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。

===============================END===============================

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ——W.S.Landor

来自为知笔记(Wiz)

标签：Flume,V01,---,采集,v01,日志,数据,###
来源： https://www.cnblogs.com/yanqivip/p/16112318.html