其他分享
首页 > 其他分享> > 每周一坑-dmesg异常和excel列去重

每周一坑-dmesg异常和excel列去重

作者:互联网

 每周一坑-dmesg异常和excel列去重   抓住7月的尾巴,写多一篇博客~~~   没想到非常时期,周末还要被业主方抓去干活,幸好占用时间不多 = =   一、dmesg异常之缓冲区不足

    每个月月底的最后一个工作日,我们都会进行一次xx系统月巡检。其中有项是检查开机信息的:

dmesg > /tmp/xxx-bak/202207.dmesg.log

  刚好想看下该文件内容,咋知道发现报错如下:

    先扫盲下,这个玩意干啥的(其实不报错之前我也不知道干啥的,报告模板写啥我就运行啥):

  dmesg命令用于显示linux系统开机启动信息,被用于检查和控制内核(kernel)的环形缓冲区(是什么),我们可以从中获得诸如系统架构、cpu、挂载的硬件,RAM等多个运行级别的大量的系统信息(有什么用)

  当计算机启动时,系统内核(操作系统的核心部分)将会被加载到内存中。在加载的过程中会显示很多的信息,在这些信息中我们可以看到内核检测硬件设备。

 

  我发现有两台机器时(一个入口,一个主服务器)这样的,另一台机器(备用服务器)是没有这样的报错。而且,是从去年12月开始持续到现在,意味着我周五如果没发现,就会一直写入错误的报错信息,而不是如下图的正常开机信息:

 

   作为一个又懒又菜的人(其实周五还有别的事,忙死 = =),我就把这个问题扔给阿里处理了,工单反馈。一波神操作(授权他们上去看)后,叫我重启机器就完事了。

1、问题原因:

  他们说查看了系统日志:/var/log/dmesg(可以理解成dmesg的持久化:若是开机时来不及查看信息,可利用dmesg来查看。开机信息亦保存在/var/log目录中,名称为dmesg),信息输出是正常的(他边说我边查看验证,确实没错,秉着严谨态度),

  但是直接执行dmesg异常,目前初步判断是由于缓冲区导致的,也就是说缓冲区不足,搞到这个命令输出失常。   最后安慰我,说既然 /var/log/dmesg日志是正常的,其实影响也不大,可以不管。但是我怕人家查我每月日志记录,还是重启算了。  

2、解决方法如下:

 (1)先根据文档进行缓冲区大小设置(设置大一点):https://blog.csdn.net/liu0808/article/details/53161832

 (2)尝试dmesg -c 清除内核环形缓冲区 + 重启机器:

如果设置缓存区大小还是不行的话,只能清除缓存,然后重启重新生成缓存了

注意:这个方法并不是通用的,具体问题具体分析!!

 

二、excel列去重   这两天零碎加班做的事,先在我周五去打球的路上,真的在我骑车的路上,突然来个微信语音(没听到没接)+微信留言,当时我想爆炸= =,以至于我差点迟到,叫我做WAF放行的业务分析,是否有安全风险,是的话做策略封堵,做个分析给他(幸好第二天跟他确认过不难),从周五开始叫天天导日志交给一个人,因为我负责的控制台导不出按时间粒度的,只能按天,业主方又需要前一天16点到今天16点的。于是只能转移压力到电信了,幸好他们能做,只需要每天3点半左右提醒他们导。   然后今天突然说要按照某个模板,整理恶意攻击且去重的IP,不需要那么详细了,真。恶心我一批。而且原始日志里面有好多个EXCEL文件

 

  我参考这个文档弄的:likecs.com/show-182791.html

  思路:打开每个excel

(1)先数据筛选,去掉白名单放行(白名单就不叫恶意IP啦),留下告警+拦截的IP

(2)根据下图复制IP列,选择不重复的记录,复制到另一列,就是该excel(单个excel)去重后的恶意攻击IP

(3)重复(1)~(2)的步骤,把恶意攻击IP汇总到一个总表,最后在做一次去重,就能交功课了  ——》 不要漏掉这一步,除非你仅仅处理一个excel文件。

 

标签:dmesg,IP,excel,信息,开机,缓冲区,列去
来源: https://www.cnblogs.com/windysai/p/16537923.html