其他分享
首页 > 其他分享> > “如何避免总线错误或不可纠正的错误导致的宕机事件”之tolerant介绍

“如何避免总线错误或不可纠正的错误导致的宕机事件”之tolerant介绍

作者:互联网

实验目的:证明修改tolerant参数为3时,uncorrected error和fatal error等不可纠正错误、总线错误不会导致机器宕机。

实验意义:对于已发生的硬件MCE error导致的宕机事件,如内存不可纠正错误或PCIe总线错误导致机器冷重启或宕机,在短期内无法定位故障内存或无法及时替换报错硬件时,可避免此类宕机事件再次发生,进而保证业务持续运行。

未知影响:tolerant参数改为3后,当机器发生内存不可纠正报错或总线报错时,虽机器不会宕机,是否会存在其他方面的功能异常的情况(比如内存容量、使用率变化,网卡、raid卡功能异常等等),仍需结合实际线上故障来进一步分析

实验机型:Lenovo RD350X

OS:CentOS Linux release 7.1.1503 (Core)

Kenerl version:3.10.0-229.el7.x86_64

实验原理:人为生成一条假的MCE报错事件:uncorrected error,测试在tolerant参数为1和3时(tolerant默认为1),机器的稳定性情况

实验过程:

1、手动添加一条内容为uncorrected error的MCE记录

#安装mce-inject

此tool用以验证mcelog功能是否正常,实验中使用mce-inject来生成一条uncorrectable error

为了进行测试和故障排除,可以使用 mce-test 包生成假的硬件 MCE 事件并执行系统测试。

mce-test 软件包含丰富的默认测试,能模拟真实硬件故障,甚至会导致内核错误,需要执行几个配置步骤才能对系统进行此类测试。

首先,需要安装几个支持软件包才能在测试系统上配置 mce-test,使用以下命令:

#yum install gcc.x86_64 gcc-c++.x86_64 flex.x86_64 dialog.x86_64 ras-utils.x86_64 git.x86_64

安装mce-inject

#yum install -y ras-utils

加载mce-inject模块

#modprobe mce-inject

#lsmod |grep -i mce

生成MCE事件

mce-inject使用格式:#mce-inject filename(filename为报错内容,报错内容可自行编写,但有其编写格式)

#mce-inject ./uncorrect

#cat error 创建报错文件error,内容如下,为可纠正错误
在这里插入图片描述
#mce-inject ./error后查看/var/log/mcelog,已生成对应报错,机器未宕机
在这里插入图片描述
#cat error 修改error文件内容为不可纠正报错uncorrectable
在这里插入图片描述
#mce-inject ./error后机器直接宕机,重启后查看mcelog无uncorrected报错记录:
在这里插入图片描述
2、修改tolerant参数为3,再生成uncorrected报错,查看是否会宕机

#tolerant位置:/sys/devices/system/machinecheck/machinecheck*/

说明:其中machinecheck中的号由CPU的个数所决定的,如果是双核的,则存在machinecheck0和machinecheck1两个目录,对应目录里都有一个tolerant文件,tolerant中存放容忍程度值。
在这里插入图片描述
由cpu配置可知一共48核
在这里插入图片描述
#修改machinecheck1中的tolarant参数为3
在这里插入图片描述
#执行mce-inject ./error 出现以下报错
在这里插入图片描述
这是因为mce-inject重启后未加载,手动执行modprobe mce-inject加载即可

#再次执行mce-inject ./error,机器未宕机,查看mcelog,已记录相应的uncorrected error
在这里插入图片描述
实验小结:

   实验中发现,修改任一machinecheck*文件中的tolerant参数为3,都可避免不可纠正错误导致的宕机,并将报错信息收集到mcelog;而torelant为默认参数1时,uncorrected error会导致机器宕机,且mcelog无此报错记录。

   对线上设备而言,可尝试修改此参数,用以避免内存uncorrectable error和PCIe设备bus fatal error(如飞迈瑞克82599ES网卡报错)导致的宕机。

标签:错误,宕机,mce,tolerant,报错,inject,error
来源: https://blog.csdn.net/lemon6666666/article/details/100735797