集中式日志记录与安全性一样，是 IT 基础结构（包括 Web 应用程序和硬件设备）中核心资源监控和健全管理的一个基本方面。有能力的运维团队能够搭建一个日志监控和管理系统，来应对系统故障或应用程序的怪异行为。

为什么日志记录如此重要？

当系统崩溃或应用程序出现故障时，有时需要了解问题真相并找出故障原因。日志文件记录系统活动，并深入了解可能的错误来源和后续故障。它们给出一系列详细的事件，包括导致或导致事件的详细时间戳。
任何系统的诊断和恢复都从检查系统日志开始。分析日志文件可以帮助操作团队找到可疑活动的证据，例如指向安全漏洞的未经授权的登录。它可以帮助数据库管理员调整其数据库以实现最佳性能，还可帮助开发人员解决其应用程序的问题并编写更好的代码。

集中式日志记录

从一台或两台服务器管理和分析日志文件可能很容易。但是拥有数十台服务器的企业环境就很痛苦了。因此，建议使用集中日志记录。集中式日志记录将所有系统中的日志文件整合到一个专用服务器中，以便于进行日志管理。它节省了用于登录和分析各个系统的日志文件的时间和精力。
在本指南中，我们将为 Linux 提供一些最显著的开源集中日志记录管理系统。

1.Elastic Stack ( Elasticsearch Logstash & Kibana)

Elastic Stack，通常缩写为ELK，是一种流行的三位一体日志集中、解析和可视化工具，它把来自多台服务器的大量数据和日志集中到一台服务器中。
ELK堆栈包括 3 种不同的产品：

• Logstash

Logstash是一个免费且开源的数据管道，它收集日志和事件数据，甚至处理数据并将数据转换为所需的输出。使用称为 “beats” 的代理从远程服务器发送到logstash。beats 将大量的系统指标和日志运送到Logstash，然后处理它们。然后，它将数据馈送至Elasticsearch。

• Elasticsearch

Elasticsearch 建立在Apache Lucene之上，是一个开源和分布式搜索和分析引擎，支持几乎所有类型的数据都包括结构化和非结构化数据。例如：文本、数字和地理空间数据。
它于2010年首次发布。Elasticsearch 是 ELK堆栈的核心组件，以其速度、可扩展性和 REST API 而闻名。它存储、索引和分析从Logstash传递的大量数据。

• Kibana

数据最终传递给Kibana，这是一个WebUI可视化平台，与Elasticsearch 一起运行。Kibana允许您从弹性搜索中浏览和可视化时间序列数据和日志。它在直观的仪表板上可视化数据和日志，这些仪表板采取各种形式，如条形图、饼图、直方图等。

2.Graylog

Graylog是另一个流行且功能强大的集中式日志管理工具，它同时附带开源和企业计划。它接受安装在多个节点上的客户端的数据，就像Kibana一样，提供有基于Web 界面的仪表板可视化数据。
Graylogs在做出涉及 Web 应用程序的用户交互的业务决策方面起着巨大的作用。它收集有关应用行为的重要分析，并可视化各种图形（如条形图、饼图和直方图）上的数据。收集的数据为关键业务决策提供信息。
例如，您可以确定客户使用 Web 应用程序下订单的高峰时间。有了这样的见解，管理层就可以做出明智的业务决策，以增加收入。
与 Elastic Search不同，Graylog在数据收集、解析和可视化方面提供了单一应用程序解决方案。它无需安装多个组件，这与ELK 堆栈中不同，您必须单独安装单个组件。Graylog在MongoDB 中收集和存储数据，然后展示在用户友好和直观的仪表板上。
Graylog在应用部署的不同阶段被开发人员广泛使用，用于跟踪 Web 应用程序的状态并获取信息，如请求时间、错误等。这有助于他们修改代码并提高性能。

3.Fluentd

Fluentd以 C 编写，是一个跨平台和开源日志监视工具，可统一来自多个数据源的日志和数据收集。它完全是开源的，在Apache 2.0 许可证下获得许可。此外，还有供企业使用的订阅模型。
Fluentd 的结构化和半结构化数据集。它分析应用程序日志、事件日志、点击流，并旨在成为日志输入和不同类型的输出之间的统一层。
它以JSON 格式结构数据，从而能够无缝统一数据日志记录的所有方面，包括跨多个节点的收集、筛选、解析和输出日志。
Fluentd占用空间小，资源友好，因此您不必担心内存不足或 CPU 过度使用。此外，它拥有一个灵活的插件架构，用户可以利用超过500个社区开发的插件来扩展其功能。

4.LOGalyze

LOGalyze是一款功能强大的网络监视和日志管理工具，可收集和分析来自网络设备、Linux 和 Windows 主机的日志。它最初是商业的，但现在完全免费下载和安装没有任何限制。
LOGalyze是分析服务器和应用程序日志的理想之选，以 PDF、CSV 和 HTML 等各种报告格式呈现这些日志。它还提供广泛的搜索功能和跨多个节点的服务实时事件检测。
与上述日志监控工具一样，LOGalyze还提供整洁简单的网络界面，允许用户登录和监控各种数据源并分析日志文件。

5.NXlog

NXlog是另一个功能强大且用途广泛的日志收集和集中的工具。它是一个多平台日志管理实用程序，专为发现策略违规、识别安全风险和分析系统、应用程序和服务器日志中的问题而定制。
NXlog能够以不同格式（包括 Syslog 和 Windows 事件日志）从多个终结点整理事件日志。它可以执行一系列与日志相关的任务，如日志轮换、日志重写。日志压缩，也可以配置为发送警报。
您可以下载NXlog的两个版本：社区版，这是免费下载和使用，和企业版是基于订阅的。

翻译来自

https://www.tecmint.com/open-source-centralized-linux-log-management-tools/amp/
作者：James Kiarie

标签：管理工具,应用程序,集中式,开源,可视化,服务器,日志,数据
来源： https://blog.51cto.com/u_3423936/2771034