elk filebeats+kafka

ELK + filebeats 集群

1.1 部署框架

这里我们使用框架四：https://www.cnblogs.com/liwenchao1995/p/15986171.html

1.1.1 机器分布

整个系统一共含有10台主机（filebeat部署在客户端，不计算在内），其中Logstash有四台，Elasticsearch有二台，Kafka集群三台，kibana一台并配置Nginx代理。

1.1.1.1 Kafka的加入原因与作用

整个架构加入Kafka，是为了让整个系统更好的分层，Kafka作为一个消息流处理与持久化存储软件，能够帮助我们在主节点上屏蔽掉多个从节点之间不同日志文件的差异，负责管理日志端（从节点）的人可以专注于向 Kafka里生产数据，而负责数据分析聚合端的人则可以专注于从 Kafka内消费数据。
而且使用Kafka进行日志传输的原因还在于其有数据缓存的能力，并且它的数据可重复消费，Kafka本身具有高可用性，能够很好的防止数据丢失，它的吞吐量相对来说比较好并且使用广泛。可以有效防止日志丢失和防止logsthash挂掉。综合来说：它均衡了网络传输，从而降低了网络闭塞，尤其是丢失数据的可能性，

1.1.1.2 双层的Logstash作用

这里为什么要在Kafka前面增加二台logstash呢？是因为在大量的日志数据写入时，容易导致数据的丢失和混乱，为了解决这一问题，增加二台logstash可以通过类型进行汇总分类，降低数据传输的臃肿。
如果只有一层的Logstash，它将处理来自不同客户端Filebeat收集的日志信息汇总，并且进行处理分析，在一定程度上会造成在大规模日志数据下信息的处理混乱，并严重加深负载，所以有二层的结构进行负载均衡处理，并且职责分工，一层汇聚简单分流，一层分析过滤处理信息，并且内层都有二台Logstash来保障服务的高可用性，以此提升整个架构的稳定性。

1.1.2 架构解释

（1）首先用户通过nginx代理访问ELK日志统计平台，这里的Nginx可以设置界面密码。
（2）Nginx将请求转发到kibana
（3）kibana到Elasticsearch中去获取数据，这里的Elasticsearch是两台做的集群，日志数据会随机保存在任意一台Elasticsearch服务器。
（4）Logstash1从Kafka中取出数据并发送到Elasticsearch中。
（5）Kafka服务器做日志数据的持久化保存，避免web服务器日志量过大的时候造成的数据收集与保存不一致而导致日志丢失，其中Kafka可以做集群，然后再由Logstash服务器从Kafka持续的取出数据。
（6）logstash2从Filebeat取出的日志信息，并放入Kafka中进行保存。
（7）Filebeat在客户端进行日志的收集。

2.1 安装Elk

这里我们先安装好ELK这三个组件，配置文件暂且用文章中的，后面还会修改。
安装前，每台机器上都要安装java

• filbeat参考: https://www.cnblogs.com/liwenchao1995/p/15986282.html #在所有被采集日志的节点安装
• elasticsearch参考：https://www.cnblogs.com/liwenchao1995/p/16017336.html #需要两台作为es集群
• logstash参考：https://www.cnblogs.com/liwenchao1995/p/16018425.html #需要4台，两台
• kibana参考： https://www.cnblogs.com/liwenchao1995/p/16019091.html #需要一台

标签：elk,www,filebeats,1.1,Kafka,日志,kafka,数据,Logstash
来源： https://www.cnblogs.com/liwenchao1995/p/16111794.html