ELK 之解析域名的TLD

缘由

    我们在大数据数据里面有一类数据是 域名，例如 www.jixuejima.cn ,我们需要把 cn 和 jixuejima.cn 提取处理，这个其实就是TLD（TOP LEVEL DOMAIN）顶级域名解析过程。

    大家看过我们前面ELK相关文章的，都知道我们处理过程是 FileBeat -> Redis -> LogStash -> ES 。在 聊聊公司的技术栈  这篇文章中我就说过这个过程，但是肯定很多人很郁闷，为什么不能直接从FileBeat 直接 到 ES。其实就是因为原始数据要结果处理之后才能进入ES，而FileBeat处理能力是有限并且是非常差的（至少我们在使用过程中发现就是这样的一个结果）。

解决方案

    logstash有很多插件可以用，找了很久发现了一个 ： https://github.com/logstash-plugins/logstash-filter-tld  。这个logstash插件可以解决我的需求。

安装

/usr/share/logstash/bin/logstash-plugin install logstash-filter-tld

配置

    在logstash的配置中filter里面加入如下配置

tld {
   source => "domain"
   add_field => [ "main_domain", "%{[tld][domain]}" ]
   add_field => [ "domain_suffix", "%{[tld][tld]}" ]
}

 

tld插件有如下几个字段

tld.domain    jixuejima.cn
tld.sld    jixuejima
tld.subdomain    www.jixuejima.cn
tld.tld    cn
tld.trd    www

效果展示

题外话

在找需求的解决方案的过程中发现了一个PSL（public suffix list  公共域名后缀列表），这个是TLD的基础。所以我在服务器里面的插件也找到了对应的PSL文件：/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/public_suffix-1.4.6/lib/definitions.txt（由于logstash tld是ruby写的，所以在ruby的目录里面的）

原文地址：ELK 之解析域名的TLD
标签：elk   psl   tld   logstash   

智能推荐

• 运维技能大全 | Devops Tools 周期表
• MySQL：动态开启慢查询日志(Slow Query Log)
• 【分享】分层明确高度定制化的 Python Flask MVC
• CentOS7 搭建ELK日志分析系统过程
• 大数据查询 ELK 之 ES集群搭建

标签：ELK,domain,cn,TLD,jixuejima,域名,tld,logstash
来源： https://www.cnblogs.com/apanly/p/15864509.html