ELK 1.4 logstash各种插件

 

kibana各种插件：

1.过虑插件 kv  

（1）KV插件：接收一个键值数据，按照指定分隔符解析为Logstash 事件中的数据结构，放到事件顶层。  常用字段：    • field_split 指定键值分隔符，默认空   示例：

[root@hd1 conf.d]# cat test.conf
input {
    file {
       path => "/var/log/test/*.log"
       exclude => "error.log"
       start_position => "beginning"
       tags => "web"
       tags => "nginx"
       type => "access"
       add_field => {
         "project" => "cloud service"
         "app"  =>  "douyu"
    }
}
}
filter {
  kv{
    field_split => "%&"                #分隔符号自己定义
    }
}
output {
elasticsearch {
hosts =>
["192.168.1.11:9200"]
index => "test-%{+YYYY.MM.dd}"
}
}

（2）重启kibana        systemctl restart logstash

（3）输入内容进去

echo "www.abcd.com?id=1&name=habagou&age=10" >>/var/log/test/access.log

 

 

2.，Grok插件：如果采集的日志格式是非结构化的，可以写正则表 达式提取，grok是正则表达式支持的实现

常用字段：  • match 正则匹配模式  • patterns_dir 自定义正则模式文件   正则表达式格式： %{IP:client} 中 IP表示正则表达式 Logstash内置的正则匹配模式，在安装目录下可以看到，路径： vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core4.1.2/patterns/grok-patterns

（1）先去kibana上找到开发工具——Grok Debugger进行正则表达测试

 

 

 

测试：192.168.213.4 GET  /index.html  15824  0.055

 

 把测试好的正则表达式写入配置文件中

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3。GeoIP插件

GeoIP插件：根据Maxmind  GeoLite2数据库中的数据添加有关IP地址位置信息

(1).安装GeoLite2-City软件包，我用的是压缩包,

[root@logstash opt]# tar -xf GeoLite2-City_20201103.tar.gz

 (2)先去

 

标签：1.4,ELK,插件,log,patterns,正则,test,logstash
来源： https://www.cnblogs.com/zhaohongting/p/16073682.html