Elasticsearch、Kibana、Beats 和 Logstash,ELK技术栈日志采集基本介绍
作者:互联网
什么是 ELK Stack?
很简单,指的就是 Elastic Stack
ELK 协议栈介绍及体系结构
ELK
其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,Elasticsearch
,Logstash
和 Kibana
。这三款软件都是开源软件,通常是配合使用,而且又先后归于 Elastic.co 公司名下,故被简称为ELK
协议栈
Elasticsearch
Elasticsearch
是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene
基础上的搜索引擎,使用Java
语言编写
主要特点 实时分析 分布式实时文件存储,并将每一个字段都编入索引 文档导向,所有的对象全部是文档 高可用性,易扩展,支持集群(Cluster)、分片和复制(Shards 和 Replicas)。见图 2 和图 3 * 接口友好,支持 JSON
Logstash
Logstash
是一个具有实时渠道能力的数据收集引擎。使用 JRuby 语言编写。其作者是世界著名的运维工程师乔丹西塞 (JordanSissel)
主要特点
- 几乎可以访问任何数据
- 可以和多种外部应用结合
- 支持弹性扩展
它由三个主要部分组成,见图 4:
- Shipper-发送日志数据
- Broker-收集数据,缺省内置 Redis
- Indexer-数据写入
Kibana
Kibana
是一款基于 Apache
开源协议,使用 JavaScript
语言编写,为 Elasticsearch
提供分析和可视化的 Web 平台。它可以在Elasticsearch
的索引中查找,交互数据,并生成各种维度的表图.
Filebeat
ELK
协议栈的新成员,一个轻量级开源日志文件数据搜集器,基于 Logstash-Forwarder
源代码开发,是对它的替代。在需要采集日志数据的 server
上安装Filebea
t,并指定日志目录或日志文件后,Filebeat
就能读取数据,迅速发送到Logstash
进行解析,亦或直接发送到 Elasticsearch
进行集中式存储和分析。
ELK 协议栈体系结构
ELK 常用架构及使用场景介绍
最简单架构
在这种架构中,只有一个 Logstash、Elasticsearch 和 Kibana 实例。Logstash 通过输入插件从多种数据源(比如日志文件、标准输入 Stdin 等)获取数据,再经过滤插件加工数据,然后经 Elasticsearch 输出插件输出到 Elasticsearch,通过 Kibana 展示
Logstash 作为日志搜集器
这种架构是对上面架构的扩展,把一个 Logstash 数据搜集节点扩展到多个,分布于多台机器,将解析好的数据发送到 Elasticsearch server 进行存储,最后在 Kibana 查询、生成日志报表等
标签:ELK,Kibana,Beats,Elasticsearch,日志,数据,Logstash 来源: https://blog.csdn.net/cgy225/article/details/120260982