系统效能评估：别拿漂亮指标自欺欺人

前阵子帮长三角一家中型制造企业做数字化项目复盘，碰到件挺离谱的事。

他们花三百多万上线了全新的智能排产系统，验收汇报的时候，满屏都是漂亮指标：排产计算周期缩短15%，生产良率提升2个百分点，设备利用率涨了4%...所有人都皆大欢喜，等着拿集团的创新项目奖。

结果负责生产的老总监偷偷拉我到车间，烟一掏就开始吐槽。说实际跑起来还是乱成狗。急单插不进去，夜班经常因为物料对接错停线，上个月光延误交付的罚款就交了小十万。

问题出在哪？系统效能评估做错了。

为什么大部分系统效能评估都是“纸上画画”

说实话，我接触过不下几十个各行业的系统评估项目，十个里面有七个都是走流程。甲方要验收报告交差，乙方要回款，大家心照不宣选一堆好看的指标，凑个合格分就完事。

本质上，绝大多数人从根上就理解错了“系统效能”这四个字。

很多人把系统效能评估等同于单个设备的性能测试，或者单个模块的指标统计。精度多少，速度多少，覆盖率多少，把这些数字加一加，就算出了效能得分。

这不对啊。系统，顾名思义是一堆部件拼起来协同干活的整体。单个零件跑得再快，衔接错了，整个体系照样跑不起来。

就拿军工领域的防空系统来说，单个雷达探测精度再高，反应速度再快，和指挥车的数据接口慢半拍，导弹发射延迟个三五秒，真碰到来袭目标，这仗就输了。你能说这个雷达效能高，整个系统效能就高吗？

还有更坑的，为了凑指标，特意挑对自己有利的维度评，对不好的维度直接忽略。比如很多政务系统，评估的时候只说上线了多少个服务，多少人访问，绝口不提实际办一件事要填多少表，跑几趟。这种评估，除了骗经费，有啥用？

好的系统效能评估，得抓住三个核心

我做了这么多年项目，总结出来，真要把系统效能评准，其实就抓三件事。

第一件，所有指标锚定最终业务目标，别跑偏。

还是说回开头那个智能排产系统，老板要的最终结果是什么？不是排产计算有多快，是订单能不能准时交，整体生产成本能不能降下来。所有的子指标都要往这个结果靠，不能你说什么指标好看就用什么。原来的评估把排产计算速度当核心指标，却根本没把“急单插入响应速度”“跨车间物料匹配准确率”算进去，可不就不准了。

第二件，一定要算隐性损耗，别只看明面上的收益。

新系统上线，不可能只有收益，肯定有暗成本。工人要花时间学习适应，流程改了之后衔接会出问题，原来的老数据要迁移，迁移过程会出错，这些损耗很少有人会算进效能里。

我之前见过一家公司花大价钱上了新的合规审批系统，说流程规范化了，风险降低了，结果原来批一个合同只要3天，现在要8天，好几个急单因为审批慢丢了，算下来一年少赚大几百万，这个效能别说及格，连不合格都算不上。

第三件，做动态评估，别一锤定音。

系统不是死的，业务是变的。刚上线的时候用户少，业务量小，所有指标都满分，半年后业务翻了一倍，用户多了好几倍，原来的架构顶不住了，效能直接掉一半。你不跟着业务持续评估调整，等出了问题再救火，损失已经造成了。

就这么简单三个原则，能做到的企业，说实话真不多。大部分都是验收的时候评一次，之后再也不管了。

AI大火的今天，系统效能评估有什么新变化

这两年大模型火了，数字孪生也火了，我最大的感受是，原来很难做的效能模拟，现在变简单了。

比如说你要给城市做应急救援调度系统的效能评估，总不能真放一次火灾，真搞一次大客流拥堵来测吧？原来都是靠数学建模，很多复杂的变量，比如不同路口的人流反应，不同部门的协调延迟，根本没法精准模拟，结果误差很大。

现在呢？用AI加数字孪生，把整个城市的地图、人流、设备参数都输进去，各种极端场景随便跑，极端暴雨+地铁故障+通讯中断同时发生，都能给你模拟出整个系统的反应，原来要几个月出结果，现在三五天就出来了，能找出很多原来发现不了的漏洞。

不过话说回来，AI也不是万能的，别迷信。

去年我听同行说，某新开通的地铁线，做调度系统效能评估，AI模拟所有场景都满分，结果开通第一个黄金周，客流冲到了设计值的160%，信号系统和闸机系统对接卡顿，差点出安全问题。复盘才发现，AI训练的时候，没人想到客流能冲这么高，训练数据里最高只到110%，AI当然算不对。

所以啊，工具再先进，最终还是要回到人对业务的理解上。你不知道业务可能出什么问题，再厉害的AI也给不出准确的评估结果。

还是开头那个制造企业，后来我们重新做系统效能评估，没搞什么花里胡哨的东西，就是拉着车间班长、计划员、仓库管理员开了三天会，把他们平时碰到的问题都列出来，再把这些问题对应的指标加到评估体系里，一下子就找出了排产算法的漏洞，调整之后，订单准时交付率直接涨了12个点，一年多赚大几百万。

很多时候，一线员工一句话，比十个复杂模型都管用。

别搞那么多虚的。你建系统是为了解决问题赚钱的，不是为了拿奖写漂亮报告的。系统效能评得准不准，最终看你的问题有没有解决，口袋里的钱有没有变多，对吧。