当前位置:首页 > 科研成果库

凌晨三点,那台机器没死——聊聊韧性技术系统里常被搞混的一件事

2026-11-18 18:35:40小研科研成果库148

凌晨三点,那台机器没死

那天我值夜班。监控面板上,某个可用区的网络延迟从 12 毫秒蹿到 800 毫秒,接着整片区的心跳包全红。按剧本走,接下来应该是雪崩:订单服务超时,超时引发重试,重试压满连接池,连接池耗尽,前端大面积 502。

但没有。

订单成功率掉到 63%,然后……稳住了。用户在页面上看到一行小字:"当前下单人数较多,请稍后再试",而不是一个转到天荒地老的菊花。三点十五分,运维把那个可用区摘掉,流量切回来,曲线慢慢爬回 99.9%。

那晚我才真正搞明白一个词:韧性。

不是"不出事",是出了事,还没死。

可靠性和韧性,压根不是一回事。可靠性关心的是故障发生的概率,你堆冗余、做双活、买更贵的硬盘,都是在压低这个概率。韧性关心的是故障发生之后:系统还能剩多少功能、多久恢复、恢复的过程中用户感受到了什么。前者是防弹衣,后者更像骨折之后的愈合能力,还带点自愈的意思。

这个区别听着像文字游戏,落到工程上完全是两回事。你可以把可靠性买到 99.99%,但灾难来的时候,那 0.01% 一定会在某个你最不希望的时刻兑现。韧性,就是给那 0.01% 准备的。

分布式系统熔断器状态机CLOSED OPEN HALF-OPEN切换示意图分布式系统熔断器状态机CLOSED OPEN HALF-OPEN切换示意图

你以为的冗余,很多时候是新的耦合

我见过一个挺典型的配置。核心服务开了三个副本,跨三个机架,看着挺稳。结果某天一次配置推送,三个副本同时挂——因为它们连的是同一个配置中心,而配置中心只有一套集群。

三个鸡蛋,放在同一个篮子的三格托盘里。托盘一翻,全碎。

冗余只有在故障域真正独立的时候才算数。判断方法很土但很有效:问一句"什么东西挂了,会让这几个副本同时挂"。共享的 DNS、共享的证书、共享的那台 NTP 服务器、甚至共享的那位知道密码的同事——都算。

再说个更反直觉的:重试。

重试是这套工具箱里最容易被用错的家伙。它本来是对付偶发抖动的,但它有个恶性循环——下游一慢,上游就开始重试;重试把请求量放大两三倍;下游本来就快扛不住了,这下彻底躺平;上游超时更多,重试更多。这条链子跑起来,能把一个只掉了 10% 容量的系统,拖成 100% 不可用。

所以重试必须配三样东西:超时、指数退避、随机抖动。尤其那个"随机",很多人觉得可有可无,其实它是灵魂。如果一万个客户端都在第 1 秒、第 2 秒、第 4 秒整齐划一地重试,那退避等于没做,只是把尖峰往后挪了一格。加了抖动,请求才会被打散成一条平滑的曲线。这里头没什么优雅的数学,就是朴素的分流。

还有条硬规矩:上游的超时,必须比下游的短。这条我吃过亏。曾经我们的网关超时是 30 秒,服务端超时是 3 秒,结果每挂一次,网关就攒着一堆 27 秒的死连接不放,连接池在半小时里被慢慢吃干。超时不是随便填的数字,它是层与层之间的契约。

微服务重试风暴导致连接池耗尽链路追踪图微服务重试风暴导致连接池耗尽链路追踪图

熔断、舱壁、背压——三招很土,但真管用

熔断、舱壁、背压——三招很土,但真管用熔断、舱壁、背压——三招很土,但真管用

熔断器就是家里的空气开关。下游连续失败到一定比例,直接把这条路掐断,不再发请求,等一段时间放几个探测请求过去试试水,通了再合上。它救的不是下游——下游反正已经挂了——它救的是调用方自己,别把线程和连接耗在一个明知道不会回话的地方。

舱壁这个词来自轮船。泰坦尼克号的教训之一就是隔水舱没做到顶,水漫过去了。放到系统里就是资源隔离:给推荐服务单独的线程池,给支付单独的连接池。推荐接口抽风,不该把支付也拖下水。听着笨,可笨办法往往在深夜救你的命。

背压是最容易被忽略的。我们的直觉是"请求来了就得处理",但真相是:拒绝也是一种服务。当前面已经堵了,快速返回一个"现在不行",比把请求堆在队列里等十秒再超时,体验好得多,对系统也好得多。堆队列不会让事情变好,只会让崩溃来得更晚、更彻底。

还有个词:降级。降级的关键在排序——哪些功能可以先死。用户头像加载不出来,无所谓;推荐流空了,显示个热搜兜底;但支付链路断了,那才是真事故。我见过太多团队,把所有功能都供成核心功能,真出事的时候没有东西可以先牺牲,于是全部一起牺牲。

混沌工程:主动给自己找麻烦

混沌工程:主动给自己找麻烦混沌工程:主动给自己找麻烦

Netflix 那套 Chaos Monkey 刚出来的时候,我觉得这帮人疯了。在生产环境随机杀实例?

后来想明白了。你写了个熔断器,但你从来没验证过它真的会熔断。你配了个降级开关,但你从来没验证过打开之后系统长什么样。这类东西有个共同的坏毛病:平时一动不动,出事那天才头一回被真正用上。头一回用的东西,多半是坏的。

所以要在平时制造一些可控的故障。杀掉一个实例,看看流量是不是自动绕开;给下游注入 2 秒延迟,看看熔断是不是在阈值内触发;把某个依赖整个屏蔽掉,看看那条降级路径是不是真能走通。

我自己的坑:有个降级开关写得漂漂亮亮,两年没人碰。真出事那天要打开它,才发现这个开关的开关,存在另一个已经挂掉的服务里。那感觉,比没有降级还绝望。

韧性是买来的,但它会反噬

说点泼冷水的话。

韧性不便宜。多出来的机器、多出来的链路、多出来的一堆开关和配置,都是成本。更麻烦的是,复杂度本身就是新的故障源。熔断阈值配错,会把健康的下游切成不可用;舱壁拆得太细,线程池碎成一地,反而更容易整体饿死。你为防一种故障引入的机制,会带来三种新的故障。

还有个藏得比较深的问题:人也是系统的一部分。一个被半夜叫醒的人,判断力会肉眼可见地下降。告警太多,他就会开始"点掉"告警,而不是"处理"告警。你搭了一套再漂亮的自动恢复机制,最后关头还是得有人去按那个按钮——而那个人,可能已经连着值了三个夜班。

所以韧性有个很现实的天花板。过了某个点,每多投一分钱,收益曲线几乎贴地。真正值得做的事,其实是分辨清楚:哪些故障必须扛,哪些故障可以认。承认有些东西就是会挂,然后设计好它挂掉之后的样子,比假装它不会挂,务实得多。

回到那天凌晨。

说实话,救我的不是什么精妙的架构。是三年前一个同事,非要把订单接口的超时从 30 秒改成 800 毫秒,当时还被吐槽了半天,说他把用户的耐心想得太短。还有另一个人,坚持让降级页面的文案走本地静态资源,不走接口。

都是很闷的决定。没有发布会,没有架构图,甚至没人记得住是谁提的。

但系统活下来了。