记一次k8s服务504 timeout

线上服务做集群扩容，调整了节点机器配置，在升级完毕之后，发现某些时候请求较慢，或者直接504 timeout 超时，必现情况，点击几次都是，且并没有代表性。 1、检查istio 日志是否有504 的日志，并查看在哪台node 机器上，看下那台节点机器是否有问题。 2、kubectl get nodes 查看机器节点是否都正常工作。 3、外部代理了一层nginx,查看nginx 错误日志。         关键点，查看nginx 的进程是否都正常，我们的问题就是nginx 修改了配置，执行了reload 成功，但是进程一直处于is_shutting_down 并未成功杀死，所以某些请求还是打在了旧的节点机器上。 4、所有的都不行，就用重启大法，重启ngnix 重启机器、重新部署，都重做一遍。   学习分享： https://mp.weixin.qq.com/s/nEBMG8zdW1O-3XvygMSRVQ https://blog.csdn.net/lijiaocn/article/details/95673069

标签：机器,查看,nginx,timeout,504,k8s,节点,日志
来源： https://www.cnblogs.com/already/p/11718136.html