当前位置:首页 > 科研成果库

复盘会开成甩锅大会之后,我把经验教训总结改成了“可执行补丁”

2026-11-20 11:11:44小研科研成果库7

凌晨两点,南京雨花台那边雨砸在窗上,值班群弹出一条:支付回调接口 5xx 抬头。十分钟后,曲线像被人拎起来,直线往上。我们一边回滚,一边在会议里喊“先恢复,先恢复”。等天亮写复盘,白板上很快出现一堆熟悉的话:加强代码审查、提高测试覆盖、增强责任心。看着都对。可三个月后,同一个模块又炸了,只是换了个姿势。

后来我才认栽:经验教训总结写成情绪备忘录,团队就只能靠运气重复踩坑。不是大家不认真。是总结这东西,太容易变成文档仪式。写完归档,没人看,也没法验证。真正有用的教训,得像补丁一样,能打上去,还得能测出来。

教训如果不写成“触发条件”,就等着它再触发一次

那次故障的导火索,是一段慢 SQL。数据库连接池配置不大,业务线程一多,连接被占住,健康检查还活着,但接口已经卡死。复盘时有人说,以后 SQL 要严格审核。这话没毛病,可它落不了地。什么叫严格?谁来审?审到什么程度?半夜出事谁先看?全没写。

我后来逼自己换一种写法:把教训改写成“如果……那么……”。比如:当连接池等待数连续两分钟大于 5,且接口 P99 超过 800ms,就自动抓取慢查询堆栈,并触发降级开关。这不是漂亮话,是一条能塞进监控系统的规则。再比如:发版前扫描新增 SQL,发现全表扫描且数据量超过阈值,就卡住流水线。你看,同样是从事故里学东西,一个停留在“我们要小心”,一个变成了代码、配置和告警。

数据库连接池耗尽监控曲线图数据库连接池耗尽监控曲线图

说实话,人脑对“小心点”这种提醒,衰减得特别快。今天痛,明天忙,后天就忘了。可机器不会忘。只要规则在,它每次都会按你设定的条件叫。经验教训总结的价值,不在写得感人,在于能不能变成这种不会忘的东西。

别把根因当终点,系统里很少只有一个“坏人”

我们以前复盘,喜欢问:根本原因是什么?然后所有人盯着一个点。连接池太小?缓存没设好?重试太猛?每个答案都对,但每个答案都不够。真实系统更像南京晚高峰,新街口堵住,不光是某个路口红灯长,还有车流叠加、施工围挡、导航全把车往同一条路导。你只改一个红绿灯,明天可能还堵。

那次的链条是这样的:缓存里一批热点 key 设置同一个过期时间,到点集体失效,请求全压到数据库;数据库慢查询拖住连接池;上游客户端重试策略又没退避,失败请求翻倍;监控只看机器 CPU,没看业务线程池。每一层都有一点点问题,叠起来就成了雪崩。

所以现在写经验教训总结,我会多留一栏:防线为什么没拦住?预防层、检测层、响应层、恢复层,一层层看。是没做预防,还是做了但配置错了?是没告警,还是告警被淹了?是没人会处理,还是处理手册过期了?这样写出来的东西,不像审判,更像系统体检报告。

缓存雪崩请求打到数据库链路图缓存雪崩请求打到数据库链路图

有个误区挺常见:把“无指责复盘”理解成“不粘锅”。不是。无指责是说,别急着找个人背锅,先看系统为什么允许这个错误发生。该改的系统要改,该补的流程要补。责任还在,只是从“你为什么不细心”变成“我们为什么没有让错误更早暴露、更容易回滚”。

让教训进 backlog,别让它在共享盘里发霉

我见过不少经验教训总结,写得很认真,PDF 十几页。然后呢?然后就没有然后了。共享盘里躺着,下一次故障时没人翻。问题出在,总结没有变成团队的工作项。

现在我会要求每条教训至少落成三种东西里的一种:代码变更、配置变更、测试或演练用例。如果实在落不了,也要写清楚为什么,以及什么时候重新评估。比如“给热点缓存加随机 TTL”是代码变更;“连接池阈值从 20 调到 50,并加等待队列告警”是配置变更;“每季度做一次缓存节点批量失效演练”是演练用例。这样它才有机会被验证。

还有个小办法:给行动项加验收标准。不是“优化回滚流程”,而是“回滚时间从 18 分钟降到 5 分钟以内,且数据库变更必须向前兼容”。不是“加强监控”,而是“新增三个业务指标,并在预发环境注入一次慢查询,确认告警能到人”。没有验收标准,行动项就会变成许愿池。

Kubernetes滚动发布回滚流程图Kubernetes滚动发布回滚流程图

我们后来把发布流程也改了。数据库变更拆成两步,先加字段不写不读,再切流量,再清理。镜像预热,开关配置外置,回滚脚本每两周在预发跑一遍。听起来有点笨,但真出事时,笨办法救命。经验教训总结不是写给领导看的,是写给下一个凌晨两点的自己看的。

有些坑踩过才知道边界,别指望总结能消灭所有故障

有些坑踩过才知道边界,别指望总结能消灭所有故障有些坑踩过才知道边界,别指望总结能消灭所有故障

这话可能有点泄气:不是所有故障都能靠复盘提前挡住。系统在长,业务在变,人也在换。今天有效的规则,半年后可能变成噪音。所以经验教训总结也有边界。小团队别一上来搞几十页模板,关键链路先做。大团队也别把复盘搞成官僚流程,为了填表而填表。

我的做法是留一个“活页”:每次复盘只写三行。哪类信号出现;谁在几分钟内做什么;怎么知道做对了。这三行能塞进 runbook,也能贴到值班群公告。剩下的背景、时间线、讨论,放附录,需要时再翻。这样总结不会太重,但关键动作不会丢。

还有一点,别把“经验”和“教训”混成一锅。经验是下次还能用的路径,教训是下次别再走的岔路。经验要沉淀成模板、脚本、检查清单。教训要沉淀成告警、门禁、演练。两个方向不一样。写混了,读的人就抓不住重点。

我现在再写经验教训总结,会先问自己:如果明天又发生类似的事,一个刚入职的同事,能不能照着这份东西,在十分钟内做出正确动作?如果答案是不能,那就不是总结,只是回忆。回忆会淡,补丁不会。