多模态对齐：大模型能看懂听懂的核心秘密

你有没有试过对着多模态大模型发一张猫的照片，问它这只猫在干嘛，它能秒说“这只美短正扒在沙发靠垫上练爪子”，连肚子那块不规则的白毛都能给你说出来？或者你发语音说帮我写一份周末遛猫的攻略，它半分钟就给你整出逻辑通顺的文案？ 很多人都夸现在大模型聪明，天生就会跨模态理解。其实哪有什么天生啊，核心全靠多模态对齐这块压舱石。

别被名词唬住，多模态对齐到底对齐的是什么

说实话，我第一次看到这个术语的时候，还以为是什么只有顶会大佬才能搞懂的黑科技。拆开揉碎了看，本质特别简单。 图像是像素堆出来的矩阵，文本是一个个字符转化来的token，音频是波形数据，就连3D点云都是完全不同的数据结构——它们原本活在完全不同的向量空间里，就像一个说中文一个说阿拉伯语一个说斯瓦希里语，互相谁也听不懂谁。 多模态对齐要做的，就是给这群说不同语言的人，编一本统一的对照词典。让同一个语义的内容，不管来自哪个模态，最后在同一个公共空间里，都能落到同一个位置附近。 比如说“猫”这个语义：文本里的“猫”这个词，图像里那只长尖耳短尾巴的生物，语音里读出来的“māo”，经过对齐之后，三个表征在向量空间里的距离会近到几乎贴在一起。而“狗”的表征就会离得远远的。 多模态对齐向量空间分布示意图 要是没对齐呢？你搜“戴红帽子的猫”，模型给你出一只戴红项圈的狗，这就是对齐做差了，把红帽子和红项圈的语义弄到一块去了。 你小时候背单词背错释义，做题不也错吗？一个道理。

现在的对齐路子，都玩出了哪些新花样

最早的多模态对齐，都是先把每个模态分别提特征，最后在输出层拼一块，也就是大家常说的后融合。效果嘛，也就那样，稍微复杂点的场景就拉胯。 现在主流的路子其实分两派，玩得最久的是对比学习对齐，OpenAI当年的CLIP就是把这个路子带火的。逻辑很简单，就是训练的时候反复调：把同一张图和对应文本的表征距离使劲拉近，把不相关的图文距离使劲推开。训练完之后，同一个语义的不同模态自然就凑一块了。 效果确实能打，但是缺点也很明显。太吃数据了，没有千万级的对齐样本根本训不出能用的模型，小团队小公司根本玩不起，烧不起那个GPU钱。 对比学习多模态对齐损失函数变化图 不过话说回来，最近几年又出来一个更野的路子，就是基于大语言模型的生成式对齐。简单说，就是把图像、音频、点云这些非文本模态，都转换成和文本token格式一模一样的表征，直接插进大语言模型的输入序列里，让LLM自己在预训练或者微调的过程中，把对齐学了。 GPT-4V就是用的类似思路，现在国内几乎所有新出的多模态大模型，都在抄这个框架。效果真的惊到我，原来真的让大模型自己学，比你人工设计规则对齐好多了。连细粒度的细节都能对齐个七七八八。 还有更细的，就是认知层面的对齐，不是只对齐表层的概念，还要对齐概念背后的歧义。比如说“苹果”，既可以是吃的水果，也可以是那个做手机的公司，发一张iPhone的图配文“我今天吃了个苹果”，模型能不能分清楚？这就是对齐的进阶要求了，现在好多模型都还做不好。 挺难的。

落地路上，还有哪些硬骨头要啃

落地路上，还有哪些硬骨头要啃 现在大家刷论文看出来，好多多模态模型在公开测试集上得分都挺高，一拿到真实场景用就拉胯。为什么？很多时候就是对齐的泛化性太差了。 公开数据集都是清理过的，都是常见场景常见物体，你拿到工业界，比如给集成电路版图做缺陷检测，要对齐图像像素和缺陷的文本标注，训练的时候根本没见过这类样本，自然对齐不对，结果就是错漏百出。 还有细粒度对齐的问题。现在很多模型只能对齐“杯子”“桌子”这种大的概念，你说“杯子右手把手上有一个三毫米长的划痕”，十有八九模型找不到。因为对齐的时候只学到了整体，没对齐到这种局部的小特征。不少做智能制造的朋友都跟我吐槽过这个问题，要检测缺陷就是要找这种小地方，对齐做不到，模型就用不了。 还有成本问题。现在做大模型对齐，一次训练动辄几十万上百万的成本，小公司根本扛不住。我上个月看CVPR的一篇新论文，有人做了轻量化的对比对齐模块，把对齐需要的参数压缩了70%，精度掉了不到2%，真的挺惊喜的。这才是能落地的方向啊。 别光堆参数堆成本，能把成本打下来，才能让多模态模型真的进到各个行业里。 举个真实的例子，自动驾驶要对齐摄像头的图像、激光雷达的点云、高精地图的语义信息，对齐错一点都不行。之前听过一个案例，自动驾驶把停在路中间的半挂卡车，当成了天上飘的云，直接撞上去了，深究下来，就是点云和图像的语义对齐出了问题。太可惜，也太可怕了。 多模态对齐听起来是个虚头巴脑的学术术语，实际上是多模态AI能干活的核心骨架。所有模态都是零散的零件，对齐就是把这些零件卡在一起的榫卯，卡不对，再贵的零件也拼不出能跑的车。你说对吧？