熬了3年夜班才搞懂：智能运维管理根本不是给运维装个监控大屏

上周帮开电商公司的朋友排查他们刚上的智能运维系统，花了俩小时，最后发现问题出在——他们把运维团队过去3年攒的、带着各种误报漏报的值班日志，全导进模型当训练数据了。

说出来你可能不信，现在市面上一半以上号称落地了智能运维管理的公司，本质上还是把原来的监控告警系统，套了个印着AIlogo的塑料壳子。

真的，我没开玩笑。

你以为的智能运维，和实际跑起来的根本是两回事

刚入行那会我在一家中型电商做运维，每次大促前48小时就得拎着电脑进机房值班，面前摊着七八个监控面板，CPU、内存、数据库连接数、消息队列积压量，哪个数字跳红了就得立刻扑过去查。那时候的告警系统有多离谱？一天能给你发800多条短信，其中790条是误报——比如某台测试机的磁盘用了70%，比如某个非核心接口的响应时间涨了20ms，剩下10条真的告警，还要在几十条连环轰炸的垃圾消息里捞半天。

最夸张的一次，凌晨两点我被告警电话炸醒，说核心支付链路响应超时，我套上外套就往公司冲，路上闯了个红灯，到机房查了20分钟，发现是负责监控的服务器自己宕机了，所有告警都是它自己挂之前发的报错。

后来厂商找上门来推智能运维，说能自动识别异常、自动派单、甚至自动修复，能把运维从无尽的告警里解放出来。我们当时咬咬牙花了大几十万上了一套，结果第一次参与双十一压测，模型就给我们弹了3条标红的P0级严重告警，说核心交易链路存在不可恢复的中断风险。我们一群熬了通宵的工程师攥着键盘冲过去查了半小时，最后发现是机房隔壁新开的奶茶店把大功率微波炉放在了离我们机房无线温度探头不到两米的位置，电磁干扰让温度传感器的读数跳了快20度。

那天我们盯着模型弹出的告警，集体沉默了五分钟。

真的能落地的智能运维，到底是怎么跑起来的

踩了大半年的坑我们才摸明白，那些吹得神乎其神的“全链路自动闭环”都是虚的，真正能解决实际问题的智能运维，第一步永远不是搞什么高深的算法，而是先把原来乱七八糟的告警给“降噪”。

说穿了也不复杂：原来的监控系统是按固定阈值发告警的——比如CPU超过80%就报警，不管这个80%是凌晨跑批量任务的正常波动，还是真的有异常流量打过来。而智能运维做的第一件事，就是给你系统里的每一个运行指标，建一套符合你自己业务节奏的“正常波动区间”。就像你自己的体温，平时稳定在36.5度，吃完饭、跑完步升到37.2都是正常的，只有突然跳到39度的时候，才是真的需要注意的异常。

等告警降噪的效果磨到位了，下一步才是做根因定位。以前你发现订单系统挂了，得自己挨个翻日志、查指标：是数据库慢了？还是网关的连接数满了？还是某台服务器的磁盘写满了？快的话十几分钟能定位到问题，慢的时候翻一小时日志都找不到头绪。现在的系统会自动把所有关联的指标串成一张网——哦，30秒之前订单库的慢查询率突然涨了300%，原因是某条没加索引的SQL被测试环境的同步任务误跑到生产环境了，甚至能直接把对应的SQL语句、关联的服务节点、之前出过同类问题的处理手册都推到值班工程师的面前。

我第一次用这个功能的时候，真的差点从椅子上跳起来。以前要查半小时的问题，系统3秒就把根因摆到我脸上了。

别盲目追“全自动修复”，现在的系统还没到能完全放手的地步

厂商的销售每次来做回访，总喜欢问我们要不要升级“全自动修复模块”，说能实现真正的无人值守。我每次都笑着摇头。

去年有个做互联网金融的同行跟我吐槽，他们上了全自动修复功能，系统检测到某台核心服务器CPU利用率超过阈值，没走任何确认流程，自动就把上面的服务给重启了——结果那台服务器是存用户上传的身份证照片的，重启的时候刚好赶上批量数据同步，直接丢了3000多条用户资料，整个团队折腾了整整一周才把数据补回来。

说实话，我现在对智能运维的态度，就像我对家里的扫地机器人：它能帮我扫干净地上的头发和灰尘，我特别开心，但你要是让它自己决定要不要把我放在茶几上的玻璃杯当垃圾扫走，那我肯定当场拔它电源。

我们现在给团队用的智能运维系统定了死规则：所有自动执行的操作，不管是清理过期日志还是切流到备用节点，必须先给值班的工程师发一条确认消息，10秒内没人反对，才会执行。哪怕是删个占了空间的临时文件，也得走这个流程。

很多人觉得上了智能运维，就能把运维团队裁掉一半。真的不是。以前我们团队的工程师，每天要花60%的时间处理重复告警、翻历史日志、跑固定的巡检脚本，现在这些杂事系统给兜住了，大家把省下来的时间花在哪？去优化系统的架构，去做长期的容量规划，去给新上线的业务线搭稳定性防护方案。

不过话说回来，要是智能运维真的能把这些杂事都干完，我们这些做运维的，也不用再像刚入行那会，逢年过节就蹲在机房里吃外卖，连个安稳觉都睡不成。

前几天我翻刚入行时候的值班记录，那时候我在本子上写的最多的话就是“今晚又要熬到三点”。现在呢？大促的时候我坐在监控室里，系统把所有能自动处理的小问题都兜住了，我只需要盯着几个核心的交易指标，甚至还能抽空泡杯热茶。

不是说智能运维有多神。

它只是终于把我们这些天天跟服务器打交道的人，从没完没了的告警和无休无止的夜班里，捞出来了而已。