给AI穿防弹衣：对抗样本防御的现实与坑

去年跟着项目组去测自动驾驶的路测，遇到个事现在还记得。工程师好好调出来的识别模型，高速上一个歪歪扭扭贴了两张小广告的限速牌，居然被识别成了解除限速。一车人当场魂都飞了，赶紧踩刹车。这不是模型精度不够，是有人故意——或者说刚好，制造出了一个对抗样本。

好好的AI，为什么会突然「瞎眼」？

很多人对AI的印象还是，只要训练到位，认东西比人准。说白了AI认图片，不是像人一样看「轮廓」「结构」，它是算像素的数值特征。对抗样本就是在原始图片上加一堆人眼根本看不出来的微小噪声——你看原图还是清晰的猫，AI却能百分之百确定这是狗。 对抗样本噪声添加前后对比图 这种攻击根本不需要你改模型，只要改输入，就能搞定。你说可怕不可怕？人脸识别开门，有人戴个印了特殊图案的帽子，就能解锁你家大门。AI医疗读片，加一点点噪声，就能把恶性病灶识别成良性。所以对抗样本防御，本质就是给AI的输入加一道保险，不让那些故意搞出来的干扰坑了模型。 我最早接触这个方向的时候，第一个感受就是原来AI这么脆弱。就像一个考试背了答案的学生，你稍微换个问法，他就答不出来了。太好笑，也太吓人。

现在主流的对抗样本防御，到底是怎么干活的？

我听过最形象的比喻，打疫苗。就是现在用得最多的对抗训练。你提前造一堆对抗样本，混在正常训练数据里喂给模型，让模型提前见过这些坏东西，下次再遇到就不会认错了。相当于你提前把各种病毒毒株灭活了打给人体，产生抗体。 这个方法效果确实好，但是费钱啊。你要造对抗样本，还要重新训模型，大模型训一次多少钱，懂的都懂。中小公司根本玩不起。 还有一种思路，就是过滤。不管你加什么噪声，我先把你的噪声磨掉再让模型认。比如输入图片先做一遍去噪、压缩，把那些特意加进去的干扰给去掉，相当于你进会场之前先过一遍安检，把带的危险物品扣下来。 这种方法简单，不用重新训模型，改改输入预处理就行，对小模型友好。缺点就是，遇到那种刚好没去掉的噪声，还是凉，而且过滤的时候也会毁掉一点正常图片的特征，正常识别率多多少少会掉一点。 还有一种叫蒸馏防御，说白了就是让模型对输入的变化没那么敏感。原来的模型对输入变化特别敏感，一点点像素变动，输出结果就天差地别。蒸馏之后，模型学的是原始大模型的软输出，不是硬分类，对微小扰动的敏感度就降下来了，攻击就没那么容易生效了。 对抗训练AI模型训练流程示意图 说实话，这些方法都不是银弹。各有各的适用场景。你做端侧的人脸识别门锁，总不可能塞个训了好久的大模型进去吧？用个预处理去噪就足够应付大部分普通攻击了，成本也低。你做自动驾驶的核心模块，那肯定得上对抗训练，安全性优先，成本往后排。 不过话说回来，不管哪一种方法，都没法做到百分百挡住所有攻击。这个是实话，没人敢吹这个牛。

别神化，对抗样本防御的坑你得知道

别神化，对抗样本防御的坑你得知道 我见过最多的误解，就是觉得做了对抗样本防御，模型就天下无敌了。怎么可能。现在大部分防御方法，都是针对已知类型的攻击。攻击者换个算法造个新的对抗样本，该破还是破。更别说如果攻击者知道你用了什么防御方法，专门针对你的防御做自适应攻击，成功率高得吓人。我之前做测试，拿我们调好的防御模型，对方改了三次攻击方法，就破了，当时脸都黑了。 还有一个坑，就是性能损耗。几乎所有的对抗样本防御方法，都会多多少少降低模型对正常样本的识别精度。原来模型在测试集上98.5%的准确率，加了防御变成96%，看起来差不了多少，落到千万级的调用量里，错的数量就翻了好几倍。很多互联网公司做业务，对精度下降零容忍，老板说我既要安全，又要精度不能掉，这真的是强人所难。哪有那么完美的事？ 还有一个很多人没注意的点，就是防御带来的计算开销。对抗训练出来的模型更大，推理更慢，预处理去噪也要多花时间。端侧设备本来算力就有限，多这一步，APP直接卡成PPT，用户直接给你一星差评。所以落地的时候，真的要平衡，不是越安全越好，是适合你的场景最好。 对了，还有人会说，我又不做自动驾驶人脸识别，对抗样本防御跟我没关系。其实也不一定，现在很多生成AI也会遇到对抗样本的问题，比如给Stable Diffusion喂一个特制的提示，就能让它生成你想要的违规内容，绕过内容审核，本质也是一种对抗样本攻击，现在也有人做对应的防御。 说起来，对抗样本防御这个事，本质就是AI时代的攻防博弈。矛越来越锋利，盾才会越来越厚。现在很多人吹AI万能，其实AI本身比想象中脆弱多了。你以为它能分清红绿灯，其实一点点小小的改动就能让它看错。我们做防御的，就是在给AI补漏洞，让它能放心走到各个行业里去。 当然，现在还远没到完美的那一步。说不定哪天你出门，遇到一个被改造过的停车牌，还得靠自己眼睛看，别全信AI。对吧？