coredump 堆栈被写坏问题定位
作者:互联网
coredump 堆栈被写坏问题定位
独家号 ftom 作者 ftom原文链接
问题描述
游戏后台有一个导号工具,主要是把外网玩家账号数据导入到内部环境供调试使用。 但是在导到有家族的账号的时候,脚本会core掉并且退出。 脚本运行是每次请求的时候拉起,执行完毕之后释放资源,无法在线进行gdb attach 上去断点看问题。
查问题第一步当然是尽可能的收集遇到的问题。 查看coredump 文件,bt堆栈如下所示:发生了Segment Fault 段错误,但是函数堆栈被写坏了 没有进一步可以帮助到的信息。
不过方法总比问题多。 我们可以在编译新的可执行文件时开启以下gcc 编译选项
-
-fstack-protector-all (https://www.ibm.com/developerworks/cn/linux/l-cn-gccstack/index.html) 该选项旨在通过Canaries检测来判断栈是否被破坏,在破坏前让程序抛异常退出。 当然还有另外一个目的是提高栈溢出攻击的成本。有兴趣的可以了解下原理。通过这种方式来进行堆栈保护
- -g 加上g选项后编译器会做如下额外操作
- 创建符号表,生成的文件包含符号表内容。生成的core文件也会附带符号表相关内容
- 关闭优化机制,程序严格按照原来的代码执行,避免定位问题对应代码带来的偏移干扰
- 开启-O0 选项避免参数和函数inline。 生产环境建议开启为-O2 。这里为了方便定位问题,临时调整成该选项。
执行完上述步骤之后,采用新的二进制文件执行,程序coredump文件堆栈 如下所示:
出现_stack_chk_fail 毫无疑问是栈空间被写坏了。bt查看函数栈桢底部丢失,第#6函数桢丢失, 可以推断是上一桢函数把自己的返回地址搞丢了。可以重点排查下SaveTbFamily上 申请的栈变量以及内存拷贝赋值相关的代码
如果逻辑比较复杂,可以把该函数内申请的所有栈变量【主要是自定义类型】替换成堆变量。 再编一个版本出去,栈溢出可以肯定也能把对应的堆变量整溢出,堆溢出不至于把函数栈弄坏。
重新修改一个版本之后,重新执行获取到的core文件如下:这里终于借助堆溢出把完整的函数栈打印出来了。 接下来的事情就是常规的coredump问题定位了。
当然上述步骤仅限于在内网操作,如果是现网,最好隔离出一台机子,放少量流量进来复现。 定位问题不以要影响现网服务为首要原则 目前仅遇到上述场景,有其他好的方法,欢迎交流
扩展阅读:
- https://blog.csdn.net/mergerly/article/details/80523750
- https://blog.csdn.net/oscarjulia/article/details/74256997
标签:选项,定位,函数,coredump,https,堆栈,溢出 来源: https://www.cnblogs.com/aaronwell/p/15702349.html