神经形态计算:人眼从不“拍快照”,芯片凭什么非得每秒算三十次?
你有没有想过,手机里那颗摄像头,可能比你的大脑还“卷”。
它每秒咔嚓三十下。不管画面里有没有东西。风没吹,树叶没动,它照样老老实实拍满三十帧,一张不落。然后这些几乎一模一样的数据被塞进处理器,处理器吭哧吭哧算半天,最后吐出一个结论:没人。
这不是浪费,什么是浪费。
人眼不这么干。视网膜压根不“拍照”。它只对变化有反应——光强变了,对应的像素才发一个脉冲出去。没变?闭嘴,不吭声。安静得很。
这个差别,是神经形态计算最根上的那点东西。
神经形态事件相机动态视觉传感器像素脉冲输出示意图
帧率这东西,其实是历史的包袱
帧率这东西,其实是历史的包袱
三十帧、六十帧,这些数字哪来的?说实话没什么神圣的。早年电视信号得跟电网频率对齐,美国电网60赫兹,那就60场;欧洲50赫兹,那就50场。电影图省钱,24帧够用就行。
于是整个视频工业、图像处理、计算机视觉,几十年都建立在这个前提上:世界是一帧一帧的。
问题是,世界不是。
世界是连续的。一帧一帧是我们硬切出来的。切出来的后果就是冗余——相邻两帧里,九成以上的像素根本没变。但你还是得传,得存,得算。功耗就这么上去了。
神经形态计算想干的事,说白了就是把这层“先切帧、再处理”的规矩推翻。让传感器直接输出“变化”,谁变谁说话,不变就沉默。
这叫事件驱动。
脉冲、膜电位,一个漏水的桶
那芯片怎么处理这些“事件”?它学的是神经元。
生物神经元不说话,它放电。学名叫动作电位,也叫脉冲(spike)。一个神经元收到别的神经元传来的信号,自己的膜电位就往上抬一点。抬到某个阈值——咔,放一个脉冲出去,然后电位掉回底部,重新开始攒。
这个过程有个经典模型,叫LIF,Leaky Integrate-and-Fire,泄漏-积分-点火。
别被名字吓到。你就想象一个桶,桶底有个小洞。
有人往里倒水(输入信号),水位往上涨(积分)。但桶底漏水,你停一会儿水就下去一点(泄漏)。涨到桶沿——哗,倒出去(点火),然后水位归零重来。
就这么简单。
脉冲神经网络LIF神经元膜电位累积阈值放电时序图
关键在哪儿?关键在阈值和时间。
传统神经网络里,每个神经元每一轮都要算一遍,不管有没有信号。脉冲网络不是。没输入,就没脉冲,就没运算。功耗和“信息量”挂钩,不是和“时钟”挂钩。
稀疏,省电。这就是它的底气。
但你也会发现问题:训练这种网络不容易。脉冲是不可导的,阶梯函数一样,你没法直接反向传播。怎么办?有人用替代梯度,有人用ANN转SNN,各有各的妥协。这块到现在还没完全解决,别信那种“已经成熟”的说法。
存算一体,听着玄乎,其实是没得选
再往下挖一层,还有个更硬的问题:冯·诺依曼瓶颈。
现在的芯片,存储和计算是分开的。算一次,得把数据从内存搬到处理器,算完再搬回去。这条路上耗的能量,往往比计算本身还多。有研究说,搬一次数据的能耗,可能是一次乘加的几十上百倍。
大脑不这样。大脑里,突触既是存储,也是计算。权重存在那儿,信号过来,直接就乘了。
神经形态硬件想抄这个作业。用什么抄?忆阻器(memristor)是个热门选项。这东西的电阻可以随电压历史改变,还能记住,天然就是个“权重”。把它们排成交叉阵列,输入电压从一边进,输出电流从另一边出来,乘加运算就在阵列里原地完成。
忆阻器交叉阵列存算一体矩阵乘加原理图
零搬运。或者至少,搬运量大幅下降。
当然,忆阻器本身也不省心。器件一致性、耐久性、良率、噪声……实验室里漂亮,量产是另一回事。学界吵了好多年,产业界态度谨慎。这就对了,太顺的事通常有坑。
它已经在哪儿干活了
说了半天原理,落地了吗?
落地了一部分。别指望它明天替你跑大模型,它不是干这个的。
事件相机(也叫DVS,动态视觉传感器)是落地比较早的方向之一。它每个像素独立工作,只输出亮度变化。好处很直接:动态范围高、延迟低、数据量小。无人机高速避障、机器人敏捷控制,这些场景里它比传统相机有优势。暗光、逆光,传统相机糊成一片,事件相机照样能抓到边。
还有助听器。这个我觉得挺妙。助听器最怕什么?怕延迟,怕功耗。你得贴着耳朵实时处理声音,电池还就那么大。神经形态芯片的事件驱动特性,正好对路。
再比如可穿戴的心律监测、工业设备的异常振动检测——都是那种“大部分时间没事,偶尔出个状况”的场景。传统方案得一直算,神经形态方案可以“睡着”,有事才醒。
对了,还有脉冲相机、神经形态嗅觉传感器。这些小众方向已经有人在做了。
但有些话得说在前头
但有些话得说在前头
误区一:神经形态计算是要造大脑。
不是。至少现在不是。它借的只是神经元放电的一点皮毛。大脑有几百种神经元,有复杂的化学调制,有可塑性机制,我们连十分之一都没搞明白。造大脑这种话,听听就好。
误区二:它会取代GPU。
短期看,不会。它在训练上明显吃亏,生态也差得远。你拿它跑Transformer?费劲。它的战场是推理,是边缘,是那些对功耗和延迟极度敏感的地方。
误区三:省电就一定好。
也未必。SNN的稀疏性有个前提——输入本身得稀疏。要是你的场景里每个时刻都有大量事件,那省电优势就打折扣了。而且事件驱动的芯片,延迟分布往往不均匀,这对某些实时系统反而是麻烦。
还有个更现实的问题:工具链。你在PyTorch上写几行就能跑的东西,换到神经形态平台上,可能要翻半天文档,还得自己调脉冲编码。人才少,社区小,踩坑了没人问。这是真话。
边界到底在哪
我自己的判断是这样的——
神经形态计算适合的场景,得同时满足几条:数据是时序的,事件是稀疏的,功耗或延迟卡得死。三条里缺一条,它可能就不划算。
它不适合的场景也挺清楚:需要高精度数值计算、需要大规模并行训练、或者数据本身就很稠密。
未来大概率是混合的。传统CNN处理静态图像,SNN处理时序事件流,各干各的,再融合。别指望一种架构通吃。
说实话,这个领域现在有点像二十年前的深度学习。方向是对的,原理也讲得通,但离那个“啊,原来如此”的爆发点,还差一口气。差在器件,差在算法,也差在耐心。
有意思的是,最想解决这个问题的,可能不是计算机科学家,而是做传感器的人和做电池的人。因为对他们来说,这不是学术问题,是产品能不能做出来的问题。
谁知道呢。
也许过几年回头看,我们纠结的“每秒三十帧”,就跟当年纠结“拨号上网快不快”一样。
有点好笑。