当前位置:首页 > 科研成果库

像素会撒谎:计算机视觉技术的可靠性边界

2026-10-27 20:09:02小研科研成果库8

雨夜,前挡风玻璃上那层水膜把车道线拉成断续的白影。模型给出0.93的置信度。车没偏,人先紧张。这个片段比任何演示视频都诚实:计算机视觉技术处理的是像素证据,不是世界本身。像素会缺失、会反光、会被雨滴折射。置信度高,不等于判断对。这类误判很烦人。真的。

先把问题说清。视觉模型通常把图像映射为特征,再做分类、检测或分割。卷积网络靠局部感受野堆叠,Transformer用注意力建模长程关系,自监督预训练把大量无标注图像变成可迁移表示。机制不神秘。难点在条件:训练分布与部署分布是否一致?标注是否覆盖长尾?阈值是否校准?

雨夜车载摄像头车道线检测失效场景图雨夜车载摄像头车道线检测失效场景图

置信度不是证据

很多团队把softmax输出当概率用。严格说,它是模型在训练分布内的相对偏好。分布外样本会让它过度自信。校准方法如温度缩放、标签平滑、集成不确定性,能缓解,不能消除。验证时要看可靠性图、ECE、OOD检测AUC。别只看mAP。mAP高,可能是长尾被平均掉了。反例:金属表面反光导致缺陷检测把划痕判为正常;低对比度CT病灶被分割边界吞掉。条件一变,指标就掉。

说实话,视觉系统的风险不在平均场景。它在少见但致命的组合里。雨夜加逆光加临时施工。反光金属加油污加小缺陷。模型没见过这类组合,输出仍然平滑。工程上要承认:概率输出需要校准,校准需要独立验证集,验证集必须覆盖部署现场的扰动。缺一环,置信度就只是数字。

工业质检金属表面反光缺陷检测场景图工业质检金属表面反光缺陷检测场景图

数据闭环里的暗账

标注不是中立的。框偏几个像素,分割边界松一点,分类标签带主观性。这些误差会进入损失函数。小目标检测尤其明显:IoU对偏移敏感,NMS又可能把相邻目标压掉。团队常追新结构,却忽略标注一致性。怪不怪?同一批图,两位标注员给出不同边界,模型学到的就是折中噪声。

更麻烦的是域偏移。医院A的CT设备、扫描协议、重建核与医院B不同。工厂A的照明角度与工厂B不同。模型在源域验证集上F1漂亮,跨域就掉。解决路径无非几条:目标域少量标注做微调;自监督或伪标签做适应;测试时增强;再加人工复核。每条都有代价。伪标签会放大错误。测试时增强增加延迟。人工复核吃人力。没有免费午餐。

部署现场只认延迟与失效模式

实验室里讨论参数量。产线上只问延迟、内存、功耗和故障恢复。边缘端GPU或NPU的量化会改变数值分布。INT8量化后,小目标召回可能下降。剪枝后,遮挡场景更脆。部署验证要按失效模式写用例:过曝、欠曝、运动模糊、镜头污渍、对抗贴片、类别不平衡。指标之外,还要看混淆矩阵里的具体错法。把猫判成狗可以笑。把裂纹判成正常,不能笑。

医学影像更敏感。分割 Dice 高,不代表临床可用。病灶边界模糊时,模型倾向平滑预测。放射科医生需要的是可解释的边界与不确定性提示,不是一个漂亮的热力图。工业质检也类似。漏检成本远高于过检时,阈值要偏保守,再配人工复检。阈值是业务参数,不是模型参数。把它当技术默认值,迟早出事。

医学影像低对比度病灶分割标注界面图医学影像低对比度病灶分割标注界面图

边界之外,别把概率当结论

边界之外,别把概率当结论边界之外,别把概率当结论

多模态融合、开放词汇检测、视觉基础模型在推进。它们能提升零样本迁移和语言交互能力。边界也清楚:开放词汇依赖文本先验,细粒度工业缺陷未必描述得清;基础模型参数量大,边缘部署困难;多模态对齐在传感器失配时会引入新噪声。趋势值得看,但不能替代现场验证。

我的判断偏保守:计算机视觉技术的可靠性来自约束,不来自万能。约束包括数据采集协议、标注规范、校准流程、失效模式清单、人工复核阈值和回滚机制。没有这些,演示视频越流畅,现场越危险。像素会撒谎。工程要做的是让系统知道自己什么时候不该开口。