首页 > TAG信息列表 > sink1

flume连接加密MongoDB

现网部署需要MongoDB添加密码验证,一开始以为无法做到。 看了flume-mongodb-sink插件源码, 看到是有权限验证和用户名密码的。 几经波折找到相关配置在flume/conf下面找到conf文件加上如下配置,重启flume即可连上加密后的flume log.sinks.sink1.authenticationEnabled = truelog.sin

大数据离线处理数据项目(一) 网站日志文件数据采集 日志拆分 数据采集到HDFS并进行预处理

简介: 这篇写的是大数据离线处理数据项目的第一个流程:数据采集 主要内容: 1)利用flume采集网站日志文件数据到access.log 2)编写shell脚本:把采集到的日志数据文件拆分(否则access.log文件太大)、重命名为access_年月日时分.log。  此脚本执行周期为一分钟 3)把采集到并且拆分、重命名

每日学习

dir-hdfs.conf: #spooldir:flume中自带的读取目录的source,只要出现新文件就会被读走 #定义三大组件的名称 ag1.sources = source1 ag1.sinks = sink1 ag1.channels = channel1 # 配置source组件 ag1.sources.source1.type = spooldir #官网flume.apache.org ag1.sources.sour

Kafka 与flume的整合

flume与kafka的整合   第一步:配置flume的conf文件 TaildirSource-kafka.conf   agent1.sources = source1 agent1.sinks = sink1agent1.channels = channel1   agent1.sources.source1.type = TAILDIRagent1.sources.source1.positionFile = /home/hadoop/bigdatasoftware/data

日志项目实战(三:配置Kafka/flume)

日志项目实战(配置Kafka/flume) 一:  配置Kafka #:启动zookeeper 登录master、slave1、slave2上分别执行启动zookeeper命令:zkServer.sh start #:启动Kafka (首先要先进入到Kafka的安装目录:cd /export/servers/kafka_2.11-0.10.1.0/) 登录master、slave1、slave2上分别执行

flume日志收集

1、flume日志收集架构如下      2、解压安装包,修改文件夹名称,配置环境变量 tar -zxvf apache-flume-1.6.0-bin.tar.gz  export FLUME_HOME=/soft/flume  export PATH=$PATH:$FLUME_HOME/bin 修改conf下的flume-env.sh,在里面配置JAVA_HOME 3、从netcat收集日志 1、先在flume

采集数据到HDFS

采集数据到HDFS 安装flume在虚拟机hdp-1中, 打开SFTP-hdp-1窗口,将fllume压缩包导入到虚拟机hdp-1的/root/目录中.   解压flume压缩包到/root/apps/下,命令:    tar -xvzf apache-flume-1.6.0-bin.tar.gz -C apps/ 并将apache-flume-1.6.0-bin文件夹重命名为flume-1.6.0, 命令