系统效能评估：别拿假分数骗自己，大部分项目死在这一步
上个月跟某央企的信息中心主任吃饭，酒过三巡他吐苦水：今年上半年花了三百万上线新的业务调度系统，验收的时候系统效能评估拿了优秀，结果才运行三个月，高峰期连三分之一的并发都扛不住，业务部门天天堵门骂。 这种事真不是个例。 我见过创业公司做AI客服系统，评估的时候准确率98%，上线才发现，用户问个退换货，系统要转三次人工，效能低到老板直接砍了项目。 很多人对系统效能评估的理解，还停留在“验收凑材料”的阶段。
你做的系统效能评估，大概率是走形式
说实话，现在市面上绝大多数的评估，都是模板化的垃圾。
打开那份评估报告，翻三页就能看到，全是放之四海而皆准的指标：系统可用性、平均响应时间、错误率... 对着模板打个分，加起来算个总分，最后盖个章完事。
谁会去测，当十个业务线程同时导百万级数据的时候，你的系统会不会死锁？
谁会去问，一线用系统的业务员，找个客户数据要花几分钟，比原来的老系统快还是慢？
没有，基本都没有。
传统企业信息化系统效能评估打分表
我之前接触过一个做军工配套的厂商，他们给某单位做指挥系统，评估的时候所有技术指标全达标，就是拉到野外实际演练，信号一弱，整个系统的调度效能直接掉了八成，差点误了大事。
你说，这种评估有什么用？
不过话说回来，也不能全怪做评估的人。很多甲方要的本来就不是真实结果，就是一份能用来验收交差的报告而已。
钱花了，项目上线了，有个盖章的优秀评级，就能交差了。至于实际用起来好不好，那是以后的事。
系统效能评估的核心，从来不是技术参数
很多人刚接触这个领域，会误以为系统效能评估就是测技术指标，对吧？
不对。系统效能，本质是系统在特定场景下，完成目标的能力。评估的是“能不能解决问题”，不是“参数好不好看”。举个现在最火的例子：很多企业现在都在搭自己的内部大模型问答系统，怎么评效能？
大部分人怎么做？测大模型回答的准确率，测token生成速度，就完了。
实际上呢？你这个系统是给内部员工查制度用的，员工问“我年假能休几天”，你模型回答准确率再高，结果花了十秒钟才出答案，员工还不如去翻旧的PDF文档，这个系统的效能就是零。
还有，现在很多城市的智慧交通系统，评估的时候什么通行效率提升百分之多少，全是算出来的理想数据，真到早高峰下雨，摄像头识别车牌都卡，红绿灯切换全乱了，效能再好看的指标有什么用？
AI大模型业务系统效能评估指标框架
这两年我跟着院所做过几个相关的科研项目，结论其实很朴素：好的系统效能评估，一定是从业务目标倒推指标，不是从技术参数往上凑。
你要做仓储物流调度系统，核心效能指标就是“单位时间能出多少单，错发率是多少”，其他的参数都是为这个目标服务的。偏离了目标，所有评估都是虚的。
三个实操经验，避开评估的大坑
三个实操经验，避开评估的大坑
干这行快十五年了，踩过的坑比我吃过的饭还多，说几个没人愿意公开说的经验吧。
第一个，一定要测扰动下的效能，不是稳态下的分数。
什么意思？你平平稳稳跑，谁都能出好成绩。你得测极端情况：并发量翻五倍的时候，效能掉多少？核心模块挂了一个，系统能不能降级运行？外部数据源断了半小时，你的系统还能不能输出能用的结果？
很多系统稳态打分一百分，稍微来点扰动直接垮了，就是评估的时候没测这个。
第二个，一定要拉一线用户参与打分，别只让技术部门自评。
技术部门看的是参数，一线用户看的是好不好用。我之前见过一个OA系统，技术部门评估效能优秀，结果一线行政说，填个报销要打开七个页面，比原来手工填还慢，这效能能叫优秀吗？
真的，别嫌一线用户不懂技术，他们每天用，最清楚这个系统到底行不行。
第三个，评估的目的是找瓶颈，不是拿优秀。
很多人做评估，就是想拿个优秀评级好验收，对吧？那干脆别做，浪费钱。你做评估，就是要找出来哪里不行，哪里拖了后腿，接下来好改。哪怕评估出来只有六十分，只要找到问题，那这个评估就值回票价。反过来，拿了一百分，实际用不了，那才是最大的浪费。
说点实在的：现在不管是信息化项目，还是新的AI项目，投的钱越来越多，别在系统效能评估这一步偷懒，更别拿假分数骗自己。
真金白银投进去，做出来的东西能用，能解决问题，比什么都强。