系统效能评估：别拿漂亮指标交空差
上个月帮做智慧城市项目的老陈改申报材料，翻到他附的系统效能评估报告，差点一口茶喷出来。整整二十页，大半都是好看的折线图，核心业务的极端工况测试，连半句话都没有。
说白了，就是做了个寂寞。
智慧城市交通调度系统效能评估指标表
说实话，这套东西从一开始的军事装备评估，延伸到现在的数字化、工业系统，核心逻辑从来没变过：就是验证这套系统能不能完成你要它完成的核心任务，值不值得掏这份钱。
不是堆一堆平均指标凑报告，不是给领导看漂亮的分数。
我前几年接触过一个地方公安的指挥调度系统，上线前的评估报告全页都是优，响应速度、可用性全达标。结果刚投入用了三个月，遇上一次大型活动安保，多链路数据并发接入，直接卡了二十多分钟，差点出大事。
后来回头查评估报告，人家只测了日常单场景的运行，极端拥堵、多任务并发的场景，根本没碰。
这不就是白做。
系统效能评估层次分析法权重打分表
我见过最离谱的一个项目，给企业做数据中台效能评估，把“文档完整性”的权重设到15%，核心的“跨部门数据调取时延”权重才8%。打分的时候全看文档写得好不好看，这不就是本末倒置吗！
很多做评估的机构，一套模板用十年，不管你是做港口调度还是做政务服务，指标权重全一样，最后出来一个八九十分的总分，皆大欢喜。
谁管你核心任务能不能完成？
不过话说回来，甲方也有责任。很多甲方提要求的时候就没说清楚自己要什么，只说“要做系统效能评估”，那乙方当然找最便宜最省事的模板套，凑够字数交差，大家都开心。
说白了，就是都揣着明白装糊涂。
做对评估，到底要抓住哪几个核心
我接触过不下几十个大大小小的系统评估项目，最深的感受就是，好的评估从来都不复杂，反而比那些花里胡哨的报告简单多了，只要抓住三个核心就行。
第一个，先锚定任务，再拆指标。
你是做消防应急指挥系统，核心任务就是“火灾发生后10分钟内调出周边水源分布图”“10分钟内完成出警路线规划”，所有指标都围着这两件事转，其他的什么界面好不好看，服务器参数多高，都往后排。别搞反了主次。
第二个，必须测边界工况，不能只测平均水平。
很多评估拿出来的响应时间都是空载测出来的，平均0.1秒，好看吧？一到年底业务峰值，一百倍并发进来，直接卡十分钟出不来结果。这种评估有什么用？
真要做，就得把最坏的情况拉出来遛：部分服务器宕机、输入数据有三分之一是脏数据、同时发起一百倍核心请求，这些场景都跑一遍，出来的结果才叫真效能。
第三个，评估不是一锤子买卖。
现在的系统都是持续迭代的，业务变了，需求变了，效能当然也要跟着重新算。很多工厂上了MES系统，刚上线的时候评估满分，换了三条新产品线，产能翻了一倍，还拿三年前的评估结果说事儿，这不就是自欺欺人吗？
去年我帮朋友做过一个港口自动化集卡调度系统的评估，一开始甲方想堆一堆硬件参数，做个九十多分的报告交差。我们劝了半天，改成直接锚定“单泊位昼夜装卸量提升”“集卡空驶率下降”两个核心指标，特意测了旺季泊位全满、10%集卡故障两个极端场景，最后出来的结果，甲方直接拿去做二期立项的核心依据，比那些好看的总分有用一万倍。
最近这两年，不管是政务项目还是工业项目，都开始挤数字化的水分，查无效投资。多少亿砸进去，系统堆起来，到底能不能用，好不好用，系统效能评估就是那一张实打实的体检报告。
你自己骗自己，拿一堆漂亮数据糊报告，最后真出问题，买单的还是自己。
很多人从根上就理解错了系统效能评估
你去问十个做项目的，八个会告诉你，系统效能评估就是招标要求的必备材料，走个流程而已。 还有两个会跟你扯一堆模型公式，把你绕晕为止。智慧城市交通调度系统效能评估指标表
说实话，这套东西从一开始的军事装备评估，延伸到现在的数字化、工业系统，核心逻辑从来没变过：就是验证这套系统能不能完成你要它完成的核心任务，值不值得掏这份钱。
不是堆一堆平均指标凑报告，不是给领导看漂亮的分数。
我前几年接触过一个地方公安的指挥调度系统，上线前的评估报告全页都是优，响应速度、可用性全达标。结果刚投入用了三个月，遇上一次大型活动安保，多链路数据并发接入，直接卡了二十多分钟，差点出大事。
后来回头查评估报告，人家只测了日常单场景的运行，极端拥堵、多任务并发的场景，根本没碰。
这不就是白做。
现在主流的评估框架，坑在哪
现在大家用得最多的，还是从老框架改过来的ADC、SEA，还有层次分析法打分。这些方法本身没问题，错在用的人懒得动脑子，直接套模板。系统效能评估层次分析法权重打分表
我见过最离谱的一个项目，给企业做数据中台效能评估，把“文档完整性”的权重设到15%，核心的“跨部门数据调取时延”权重才8%。打分的时候全看文档写得好不好看，这不就是本末倒置吗！
很多做评估的机构，一套模板用十年，不管你是做港口调度还是做政务服务，指标权重全一样，最后出来一个八九十分的总分，皆大欢喜。
谁管你核心任务能不能完成？
不过话说回来，甲方也有责任。很多甲方提要求的时候就没说清楚自己要什么，只说“要做系统效能评估”，那乙方当然找最便宜最省事的模板套，凑够字数交差，大家都开心。
说白了，就是都揣着明白装糊涂。
做对评估，到底要抓住哪几个核心
做对评估，到底要抓住哪几个核心
我接触过不下几十个大大小小的系统评估项目，最深的感受就是，好的评估从来都不复杂，反而比那些花里胡哨的报告简单多了，只要抓住三个核心就行。
第一个，先锚定任务，再拆指标。
你是做消防应急指挥系统，核心任务就是“火灾发生后10分钟内调出周边水源分布图”“10分钟内完成出警路线规划”，所有指标都围着这两件事转，其他的什么界面好不好看，服务器参数多高，都往后排。别搞反了主次。
第二个，必须测边界工况，不能只测平均水平。
很多评估拿出来的响应时间都是空载测出来的，平均0.1秒，好看吧？一到年底业务峰值，一百倍并发进来，直接卡十分钟出不来结果。这种评估有什么用？
真要做，就得把最坏的情况拉出来遛：部分服务器宕机、输入数据有三分之一是脏数据、同时发起一百倍核心请求，这些场景都跑一遍，出来的结果才叫真效能。
第三个，评估不是一锤子买卖。
现在的系统都是持续迭代的，业务变了，需求变了，效能当然也要跟着重新算。很多工厂上了MES系统，刚上线的时候评估满分，换了三条新产品线，产能翻了一倍，还拿三年前的评估结果说事儿，这不就是自欺欺人吗？
去年我帮朋友做过一个港口自动化集卡调度系统的评估，一开始甲方想堆一堆硬件参数，做个九十多分的报告交差。我们劝了半天，改成直接锚定“单泊位昼夜装卸量提升”“集卡空驶率下降”两个核心指标，特意测了旺季泊位全满、10%集卡故障两个极端场景，最后出来的结果，甲方直接拿去做二期立项的核心依据，比那些好看的总分有用一万倍。
最近这两年，不管是政务项目还是工业项目，都开始挤数字化的水分，查无效投资。多少亿砸进去，系统堆起来，到底能不能用，好不好用，系统效能评估就是那一张实打实的体检报告。
你自己骗自己，拿一堆漂亮数据糊报告，最后真出问题，买单的还是自己。