故障排除小技巧

通常故障排除的流程如下图

常见的陷阱

• 误解故障的现象，扭曲现象的含义，只会浪费时间追问题。
• 简单来说就是没有按照SOP流程执行，漏掉某些步骤以至於无法安全且有效的测试出假设。
• 过早将问题归咎於发生机率非常低的极端因素，ex: 资料有问题，就归咎於硬碟可能有灰尘。
• 「相关性」不等於「因果关系」。
  例如在丛集中的有两台Node意外重启且重启前cpu比起其他node还要偏高，可能由同一个原因造成的，例如电源供应不稳，但cpu偏高的现象并不是造成node重启的原因。

在监控越来越多，系统复杂度越来越高的情况下，发生A现象与B现象几乎同时发生的情况也可能越来越多，最终只是一种「巧合」，却常常让人们走进这种陷阱。
最近最有名的例子就是 大谷翔平 vs 长荣股票

缩小范围

问题分解 -> 资料处理

从系统的某一端开始逐步查找问题直到根源。

二分法 -> 大型系统

将系统分两部分，确认问题在哪部分，依此类推。

问题分类

当你遇到收到一份问题报告时，应该先把问题的范围做厘清，通常我们会分为

以客人角度

• 不影响客人 -> 不急着线上修正
• 影响部分客人 -> on-call人员上线 -> 先初步debug -> 与主管讨论是否直接修正
• 影响全部客人 -> 全员上线

以公司角度

• 不影响公司 -> on-call人员上线 -> 先初步debug -> 与主管讨论是否直接修正
• 影响公司 -> 全员上线 -> 与时间赛跑

当然这个分类你可以依照不同团队，不同性质去做分类。

检查系统异动时间

找出大约第一次出现问题的时间，如果有做到gitops的话，可以比对git log，进行比对，是否有存在相关性，并把异动范围以及内容作为可能性之一。

今日小结

今天为大家分享故障排除的小技巧，依照流程一步一步来不要紧张，避开常见的陷阱，相信你会在面对问题时，更系统化的解决问题。