系统效能评估：别拿漂亮指标骗自己
为什么现在没人信漂亮的纸面效能了
过去大半个世纪，系统效能评估的核心逻辑一直都是“技术导向”——找一堆技术参数，上线前测一遍，凑出来满分的报告，验收完事。
我去年碰见过一个做To B供应链的创业者，他说他们公司花两年砸了八百万上智能调度系统，验收的时候全页都是绿勾，平均响应时间、系统可用率全卡着满分线过。结果跑了三个月，实际调度准确率比老调度员人工排还低12个百分点，光是错单违约金就赔了一百多万。
传统系统效能评估指标对比表
问题出在哪？绝大多数评估都是测的“实验室环境”下的指标——空载跑响应，闲时测可用，反正只要能过验收，谁管你实际用起来是什么德行。
你说系统可用率99.9%，看起来够高了吧？那一年还是有近9个小时的停机时间，刚好停在大促高峰期，损失谁补？你说平均响应时间200ms，那是大多数人刷页面的时间，真碰到跨库调数据，等个三五分钟都是常事，这个怎么不算进平均值？
说白了，纸面指标都是用来骗老板，走验收流程的，根本反映不了真实的系统效能。
真正有用的系统效能评估，要盯着业务价值流走
说实话，最近三年国内学术界发的系统效能评估相关的核心成果，方向转得特别明显——没人再沉迷纯技术参数的花活了，全都往业务价值靠。
新的评估逻辑说破了很简单：你别跟我扯系统技术有多牛，你顺着一笔业务从头到尾走一遍，算清楚这套系统到底给整个价值流提了多少效，省了多少钱，少出了多少错。
全链路系统效能评估价值流图
举个例子，评估电商的库存管理系统，原来的方法是测“数据更新延迟”“库存准确率”两个指标，到95%就算合格。现在按价值流评，你得跟着一笔下单的订单走：用户下单，系统扣库存，推给仓库，仓库拣货，出库，整个流程里，系统帮你省了几个理货员的人工？减少了几次超卖错发？每个月因为库存不准积压的滞销货少了多少？这些加起来，才是真实的系统效能。
我听一个大厂的运维负责人吐槽，他们公司今年老板硬要求按新方法重评所有核心系统，评完发现，三分之二的“年度效能提升”，都是优化了根本没人访问的闲置接口。原来每年吹的提升百分之几十，全是水。
尴尬不？不过也好，挤挤水，才能把钱花在真正能提效的地方。
做对评估要避开的三个坑
做对评估要避开的三个坑
第一个坑，只测稳态不测极端。
绝大多数评估都选在后半夜业务最少的时候测，数据当然好看。你怎么不测测大促高峰期、业务峰值、甚至出故障容灾的时候的效能？去年某头部零售品牌的会员营销系统，平日评估全满分，结果周年庆活动一上线，半小时就崩了，优惠券错发两个多亿，最后不得不自己买单。
第二个坑，只算显性成本不算隐性成本。
系统本身跑的快不快是一回事，它给业务人员加了多少额外工作量，你算过没有？我之前待过的一家公司，花几十万上了OKR管理系统，要求每个人每周更新三次进度，每次填三页不同的表格，一个部门助理天天啥也不干就填这个表都填不完。这种系统，你跟我说效能高？骗鬼呢。
第三个坑，一评定终身。
业务在变，用户在涨，系统的负载也在变啊。去年评估合格，今年业务规模翻三倍，用户量涨十倍，原来的效能还能达标？很多公司就是验收的时候评一次，之后五六年再也不碰，等到系统崩了出大事了才想起回头看，那时候钱早就花完了，换系统都换不起。
不过话说回来，现在已经有不少甲方学聪明了，招新系统的时候，直接把年度效能评估的要求写进合同，达不到约定的业务效能就扣尾款。这才是对自己钱袋子负责的做法。
现在一堆公司抢着上大模型应用，开口就是我这个模型参数多大，准确率多高，说白了还是换汤不换药的老套路。等过两年潮退了，真正按业务价值做效能评估，才能看出谁在裸泳对吧。