其他分享
首页 > 其他分享> > elk 7.9.3 版本容器化部署

elk 7.9.3 版本容器化部署

作者:互联网

ELK-V7.9.3 部署

平时我们需要进行日志分析的时候,可以直接在日志文件中 grep、awk 就可以过滤出自己想要的信息及关键字,但规模较大的场景中,此方法极大的减低了效率,面临的问题,包括日志量过大,如何归档、文本搜索太慢、如何多维度查询,需要集中化的日志管理,所有服务器上的日志并收集汇总。常见解决思路就是建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问,一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块,构建一套集中式日志系统,可以提高定位问题的效率;
1、收集-能够采集多种来源的日志数据
2、传输-能够稳定的把日志数据传输到中央系统
3、存储-如何存储日志数据
4、分析-可以支持 UI 分析
5、警告-能够提供错误报告,监控机制
ELK是三款开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 新增了一个FileBeat,轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash
1、Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
2、Logstash 主要是日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机,server端负责将收到的各节点日志进行过滤、修改等操作一并发送至elasticsearch。
3、Kibana 是开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。
4、Filebeat 涉及两个组件:查找器prospector和采集器harvester,来读取文件(tail file)并将事件数据发送到指定的输出elasticsearch中或者Kibana;
5、概述:
   filebeat隶属于beats,目前Beats包含工具有:Packetbeat(搜集网络流量数据),Topbeat(搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据)Filebeat(搜集文件,日志数据汇总),Winlogbeat(搜集 Windows 事件日志数据)等;
Filebeat:
https://www.elastic.co/cn/products/beats/filebeat
https://www.elastic.co/guide/en/beats/filebeat/5.6/index.html

Logstash:
https://www.elastic.co/cn/products/logstash
https://www.elastic.co/guide/en/logstash/5.6/index.html

Kibana:
https://www.elastic.co/cn/products/kibana
https://www.elastic.co/guide/en/kibana/5.5/index.html

Elasticsearch:
https://www.elastic.co/cn/products/elasticsearch
https://www.elastic.co/guide/en/elasticsearch/reference/5.6/index.html

elasticsearch中文社区:
https://elasticsearch.cn/
此文档以容器化部署elk,es为集群,除filebeat为源码包的方式

容器化部署elk

# 更新yum源
yum update
# 删除旧版本的docker
yum remove docker  docker-common docker-selinux docker-engine -y
# 安装依赖包
yum install -y yum-utils device-mapper-persistent-data lvm2
# 下载安装docker源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安装docker
yum -y install docker-ce
# 启动docker服务
systemctl start docker && systemctl enable docker
# 查看docker版本
docker version
docker pull elasticsearch:7.9.3
docker pull kibana:7.9.3
docker pull lmenezes/cerebro:latest (es索引管理工具)
# 创建存放配置文件,数据,日志目录
mkdir -p /data/elk/{conf,data,logs}
# 由于我们ES是以集群的方式,所以数据跟日志要创建master,slave1,slave2三个节点目录
mkdir -p /data/elk/data/{master,slave1,slave2}
mkdir -p /data/elk/logs/{master,slave1,slave2}
# master:/data/elk/conf/master/master.yml
cluster.name: yunwei_cluster 
node.name: master
node.master: true
node.data: true
network.host: 0.0.0.0
http.cors.enabled: true
http.cors.allow-origin: "*"
http.port: 9200
transport.port: 9300
discovery.seed_hosts:
  - 172.17.0.2:9300   # master,此处是es容器的ip,,如不缺则容器启动之后查看并修改即可
  - 172.17.0.3:9301   # slave1,此处是es容器的ip,,如不缺则容器启动之后查看并修改即可
  - 172.17.0.4:9301   # slave2,此处是es容器的ip,,如不缺则容器启动之后查看并修改即可
cluster.initial_master_nodes:
  - 172.17.0.2        # 此IP为master容器ip地址,主节点
xpack.security.enabled: false
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
# slave1:/data/elk/conf/slave1/slave1.yml
cluster.name: yunwei_cluster 
node.name: slave1
node.master: true
node.data: true
network.host: 0.0.0.0
http.cors.enabled: true
http.cors.allow-origin: "*"
http.port: 9201
transport.port: 9301
discovery.seed_hosts:
  - 172.17.0.2:9300    # master
  - 172.17.0.3:9302    # slave1
  - 172.17.0.4:9301    # slave2
cluster.initial_master_nodes:
  - 172.17.0.2
xpack.security.enabled: false
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
# slave2:/data/elk/conf/slave2/slave2.yml
cluster.name: yunwei_cluster 
node.name: slave2
node.master: true
node.data: true
network.host: 0.0.0.0
http.cors.enabled: true
http.cors.allow-origin: "*"
http.port: 9202
transport.port: 9302
discovery.seed_hosts:
  - 172.17.0.2:9300   # master
  - 172.17.0.3:9302   # slave2
  - 172.17.0.4:9301   # slave3
cluster.initial_master_nodes:
  - 172.17.0.2
xpack.security.enabled: false
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
# master
docker run -d --name=master -p 9200:9200 -p 9300:9300 -v /data/elk/config/master.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /data/elk/data/master:/usr/share/elasticsearch/data -v /data/elk/logs/master:/usr/share/elasticsearch/logs elasticsearch:7.3.1
# slave1
docker run -d --name=slave1 -p 9201:9201 -p 9301:9301 -v /data/elk/config/slave1.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /data/elk/data/slave1:/usr/share/elasticsearch/data -v /data/elk/logs/slave1:/usr/share/elasticsearch/logs elasticsearch:7.3.1
# slave2
docker run -d --name=slave2 -p 9201:9201 -p 9301:9301 -v /data/elk/config/slave2.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /data/elk/data/slave2:/usr/share/elasticsearch/data -v /data/elk/logs/slave2:/usr/share/elasticsearch/logs elasticsearch:7.3.1
# 进入es容器:master,slave1,slave2
docker exec -it master/slave1/slave2 /bin/bash
# 修改es启动内存
/usr/share/elasticsearch/config/jvm.options
# Xms represents the initial size of total heap space
# Xmx represents the maximum size of total heap space
-Xms3g   # 根据实际内存分配
-Xmx3g
# 重启master,slave1,slave2容器
docker run -d -p 9001:9000 --name=cerebro lmenezes/cerebro
docker run -d -p 5601:5601 --name=kibana -e  "I18N_LOCALE=zh-CN" -e "ELASTICSEARCH_URL=http://物理机的IP地址或域名:9200" kibana:7.3.1
# 登录kibana容器,修改配置文件
docker exec -it kibana /bin/bash
/usr/share/kibana/config/kibana.yml
# 添加elasticsearch
elasticsearch.hosts: [ "http://宿主机IP:9200" ]
# 重启kibana容器
docker restart kibana

在这里插入图片描述

在这里插入图片描述

filebeat 收集汇总日志

# 下载filebeat源码包 -- elk官网下载即可   filebeat-7.9.3-linux-x86_64.tar.gz
日志收集端服务节点:/srv/filebeat-7.9.3-linux-x86_64.tar.gz
# 解压
tar -zxf filebeat-7.9.3-linux-x86_64.tar.gz
cd filebeat-7.9.3
目录结构:
filebeat-7.9.3
   - modules   # 子yml文件、具体某个服务日志
     - asset-service.yml
     - user-service.yml
   - filebeat-new.yml  # 主yml文件
filebeat.config.inputs:
  path:
    modules/*.yml    # 导入子服务配置文件
  reload.enabled: true  # 启动加载
  reload.period: 10s    # 每10秒检查一次

# 自定义索引名
setup.ilm.enabled: false
setup.template.name: "test"
setup.template.pattern: "test-*"
setup.template.overwrite: true

# 删除索引中不需要的字段
processors:
- drop_fields:
    fields: ["input","agent"]
    
# 收集日志输出到elasticsearch
output.elasticsearch:
  hosts: ["IP地址:9200"]
  index: "test-%{+yyy.MM.dd}"
# DEBUG 日志过滤输出
- type: log
  enabled: true
  paths:
    - /home/opsprod/deploy/debug-logs/asset-service/debug-log
  # 过滤debug日志
  include_lines: ['DEBUG']
  # 项目环境
  tags: ["tangpiao","pro"]
  # 定义字段
  fields:
    level: DEBUG
    module: asset
  # 如果设置为true,则在es中新增的字段格式为:"level":"debug","module":"asset"
  fields_under_root: true
  # 处理一行日志占据多行的情况
  # 多行日志开始的那一行的pattern
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}.* \['
  multiline.negate:  true
  multiline.match:   after
  
# ERROR 日志过滤输出
- type: log
  enabled: true
  paths:
    - /home/opsprod/deploy/debug-logs/asset-service/debug-log
  include_lines: ['ERROR']
  tags: ["tangpiao","pro"]
  fields:
    level: ERROR
    module: asset
  fields_under_root: true
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}.* \['
  multiline.negate:  true
  multiline.match:   after

# WARN 日志过滤输出
- type: log
  enabled: true
  paths:
    - /home/opsprod/deploy/debug-logs/asset-service/debug-log
  include_lines: ['WARN']
  tags: ["tangpiao","pro"]
  fields:
    level: WARN
    module: asset
  fields_under_root: true
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}.* \['
  multiline.negate:  true
  multiline.match:   after

# INFO 日志过滤输出
- type: log
  enabled: true
  paths:
    - /home/opsprod/deploy/debug-logs/asset-service/debug-log
  include_lines: ['INFO']
  tags: ["tangpiao","pro"]
  fields:
    level: INFO
    module: asset
  fields_under_root: true
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}.* \['
  multiline.negate:  true
  multiline.match:   after
# 创建新的filebeat收集模板配置文件,不在原有的filebeat.yml修改:  vim filebeat-new.yml
filebeat.inputs:
- type: log
  enabled: true
  # # 指定要监控的日志,可以指定具体得文件或者目录
  paths:
    - /home/opsabc/deploy/debug/user-service/debug-log
  # 定义tags,可设置多个,以逗号分隔
  tags: ["test"]
  # 定义日志级别,添加新的字段
  fields:        
    level: DEBUG
    servicename: user
  # 如果设置为true,则在es中新增的字段格式为:"level":"debug"
  fields_under_root: true
  # 处理一行日志占据多行的情况
  # 多行日志开始的那一行的pattern
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}.* \['
  multiline.negate:  true
  multiline.match:   after

- type: log
  enabled: true
  # # 指定要监控的日志,可以指定具体得文件或者目录
  paths:
    - /home/opsabc/deploy/error/user-service/error-log
  # 定义tags,可设置多个,以逗号分隔
  tags: ["test"]
  # 定义日志级别,添加新的字段
  fields:        
    level: ERROR
    servicename: user
  # 如果设置为true,则在es中新增的字段格式为:"level":"error"
  fields_under_root: true
  # 处理一行日志占据多行的情况
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}.* \['
  multiline.negate:  true
  multiline.match:   after

- type: log
  enabled: true
  # # 指定要监控的日志,可以指定具体得文件或者目录
  paths:
    - /home/opsabc/deploy/info/user-service/info-log
  # 定义tags,可设置多个,以逗号分隔
  tags: ["test"]
  # 定义日志级别,添加新的字段
  fields:        
    level: INFO
    servicename: user
  # 如果设置为true,则在es中新增的字段格式为:"level":"error"
  fields_under_root: true
  # 处理一行日志占据多行的情况
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}.* \['
  multiline.negate:  true
  multiline.match:   after

- type: log
  enabled: true
  # # 指定要监控的日志,可以指定具体得文件或者目录
  paths:
    - /home/opsabc/deploy/warn/user-service/warn-log
  # 定义tags,可设置多个,以逗号分隔
  tags: ["test"]
  # 定义日志级别,添加新的字段
  fields:        
    level: WARN
    servicename: user
  # 如果设置为true,则在es中新增的字段格式为:"level":"error"
  fields_under_root: true
  # 处理一行日志占据多行的情况
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}.* \['
  multiline.negate:  true
  multiline.match:   after
    
# 自定义索引名
setup.ilm.enabled: false
setup.template.name: "test"
setup.template.pattern: "test-*"
setup.template.overwrite: true

# 删除索引中不需要的字段
processors:
- drop_fields:
    fields: ["input","agent"]

# 收集日志输出到elasticsearch
output.elasticsearch:
  hosts: ["IP地址:9200"]
  index: "test-%{+yyy.MM.dd}"
nohup /srv/filebeat-7.9.3/filebeat -e -c /srv/filebeat-7.9.3/filebeat-new.yml &

在这里插入图片描述

标签:elk,容器,data,elasticsearch,master,日志,7.9,true,docker
来源: https://www.cnblogs.com/Anesthesia-is/p/15165917.html