神经形态计算:下一个十年,AI的破局之路
你有没有想过,为什么现在跑一次大模型推理,电费比你一个月饭钱还贵?
现在的AI越做越大,参数堆到万亿级,连科技巨头都开始扛不住功耗压力了。根子出在哪?出在我们用了几十年的冯诺依曼架构。
冯诺依曼与神经形态计算架构对比图
人工神经元突触连接结构示意图
距离大规模落地,还有多少坑要填
泼一盆冷水先。现在神经形态计算还没到大规模商用的阶段,好多硬坑还没跨过去。
第一个坑,就是训练方法不对路。现在我们训AI用的反向传播算法,是给冯诺依曼架构设计的。神经形态芯片是脉冲驱动,怎么把反向传播适配到脉冲模式?学术界吵了快二十年,至今没有一个通用高效的方案,训大模型的成本还是比传统架构高太多。
第二个坑,没有生态。现在做AI开发,大家都用PyTorch、CUDA那一套,一套工具链下来,开发效率很高。神经形态计算现在还是各个研究团队自己玩自己的,没有统一的开发框架,也没有统一的编程接口,你想做个应用,得从零开始写代码,折腾大半年,哪个商业公司敢这么玩?
不过话说回来,最近这两年的进展真的超出很多人的预期。Intel已经出了第二代Loihi神经形态芯片,国内清华的天机芯、中科大的高密度忆阻器阵列,都已经做到了能演示实用任务的阶段,甚至有初创公司已经拿出了面向智能家居端侧的神经形态AI芯片,送样给厂商测试了。
需求摆在那呢。现在功耗卡脖子卡得这么死,端侧AI的需求每年都在涨,资本和产业界都往这个方向砸钱,突破的速度只会越来越快。
那天跟一个做芯片投资的朋友喝茶,他说,现在所有人都挤在冯诺依曼架构这条赛道上卷,卷到最后拼的就是工艺,拼烧钱。神经形态计算是另一条赛道,现在还 early,但是一旦跑通,就是换道超车的机会。
我深以为然。我们用了八十年的冯诺依曼架构,该有新东西出来了。神经形态计算不一定是唯一的答案,但绝对是最值得期待的那个方向。
为什么说传统AI架构已经摸到天花板了
冯诺依曼架构的核心,是存储和计算分离。要算一个数据,得先从内存把数据搬到计算单元,算完再搬回去。就这么来回搬,大部分功耗都浪费在搬数据的路上了,根本没花在计算本身。 现在大模型动不动就几千亿个参数,每次运算都要搬天量的数据,功耗高得离谱。我之前看过一个业内数据,训练一次GPT-3级别的大模型,碳排放相当于一辆汽车跑地球几十圈。 吓人吧? 人类大脑怎么做的?总共才20瓦功耗,差不多一个小灯泡的电量,就能处理实时图像、语音、推理,比全世界最强的超级计算机都灵活。核心差异,就是人脑是神经元通过突触连接,存储和计算都在突触上,脉冲触发才干活,不用一直通电。 神经形态计算,就是照着人脑这个思路做的新计算架构。
冯诺依曼与神经形态计算架构对比图
神经形态计算的核心优势,到底是什么
说实话,很多人听到这个词,觉得就是学术界吹出来的概念,跟我日常有什么关系? 不对。现在端侧AI的需求爆了,大家都想把大模型塞到手机、手表、汽车里,现在的GPU根本做不到——塞进去,半小时就没电,还烫得能煎鸡蛋。 神经形态计算天生就解决这个问题。它靠忆阻器做突触,存算一体,脉冲驱动,不需要数据来回搬运,功耗直接能降到传统GPU的千分之一甚至更低。 我前两年去线下参加一个半导体论坛,听过清华研究团队的现场分享,他们做的第二代天机芯,跑图像目标检测任务,功耗只有普通移动端GPU的不到百分之一。当时台下全是做芯片的老炮,一片倒吸凉气的声音。 太震撼了。 想想看,要是你的智能手表用上神经形态芯片,能连续一周运行AI健康监测,不用天天充电。要是自动驾驶的车载AI用这个,不用传数据到云端,本地就能实时处理所有信号,延迟更低,还更安全。甚至未来做通用人工智能,要是没有神经形态这种低功耗的并行架构,根本不可能实现——总不能造个强AI,需要一个水电站专门给它供电吧?
人工神经元突触连接结构示意图
距离大规模落地,还有多少坑要填
距离大规模落地,还有多少坑要填
泼一盆冷水先。现在神经形态计算还没到大规模商用的阶段,好多硬坑还没跨过去。
第一个坑,就是训练方法不对路。现在我们训AI用的反向传播算法,是给冯诺依曼架构设计的。神经形态芯片是脉冲驱动,怎么把反向传播适配到脉冲模式?学术界吵了快二十年,至今没有一个通用高效的方案,训大模型的成本还是比传统架构高太多。
第二个坑,没有生态。现在做AI开发,大家都用PyTorch、CUDA那一套,一套工具链下来,开发效率很高。神经形态计算现在还是各个研究团队自己玩自己的,没有统一的开发框架,也没有统一的编程接口,你想做个应用,得从零开始写代码,折腾大半年,哪个商业公司敢这么玩?
不过话说回来,最近这两年的进展真的超出很多人的预期。Intel已经出了第二代Loihi神经形态芯片,国内清华的天机芯、中科大的高密度忆阻器阵列,都已经做到了能演示实用任务的阶段,甚至有初创公司已经拿出了面向智能家居端侧的神经形态AI芯片,送样给厂商测试了。
需求摆在那呢。现在功耗卡脖子卡得这么死,端侧AI的需求每年都在涨,资本和产业界都往这个方向砸钱,突破的速度只会越来越快。
那天跟一个做芯片投资的朋友喝茶,他说,现在所有人都挤在冯诺依曼架构这条赛道上卷,卷到最后拼的就是工艺,拼烧钱。神经形态计算是另一条赛道,现在还 early,但是一旦跑通,就是换道超车的机会。
我深以为然。我们用了八十年的冯诺依曼架构,该有新东西出来了。神经形态计算不一定是唯一的答案,但绝对是最值得期待的那个方向。