神经形态计算：藏在下一轮算力革命里的新机会
前阵子跟做算力硬件的老周喝茶，他拍着桌子吐槽，现在GPU涨价涨疯了，训练大模型一张顶级卡顶一辆代步车，再这么下去，中小公司根本玩不起。然后话锋一转，说现在圈子里悄悄热起来的神经形态计算，才是真的能破局的东西。我回去翻了快一周的论文和行业报告，说实话，确实被触动到了。
冯诺依曼架构与神经形态架构对比图
说实话，这概念真不是这两年资本炒出来的，早在上世纪八十年代就有科学家提了，为啥现在才火？还不是大模型把传统算力的短板给彻底摆到台面上了。你训练一个千亿参数大模型，几百万度电就没了，换成神经形态计算做推理，据国内团队的实测，功耗能降到原来的百分之一都不到。吓不吓人？
第二代天机芯神经形态计算芯片实物图
去年我看国内一所985的团队发的成果，他们做出来的脉冲神经网络原型芯片，跑小参数大模型的推理任务，速度比同工艺的A100快三倍，功耗只有不到十分之一。这个数据放出来的时候，圈子里不少人都炸了。
不过话说回来，现在能拿到民用的成品确实不多，大部分都在科研院所和大企业的实验室里，但细分场景的落地真的比我们想的快。比如边缘端的AI监控，装在野外或者偏远地区的摄像头，以前要把所有数据传到云端算，不仅延迟高，流量费都扛不住，换成神经形态芯片，本地就能实时识别异常，一块电池能用三五年，现在不少安防厂商已经在试点了。
还有脑机接口方向，你想啊，神经形态计算本身就是仿人脑的神经元结构，和神经信号对接天生就适配，现在国内外做侵入式脑机的团队，大半都在和神经形态计算的研发团队谈合作，这个方向的契合度，真的找不到第二家。
神经形态计算真能颠覆GPU的霸权地位吗？
现在网上吵得最多的就是这个问题，有人说就是蹭AI热点炒概念，根本干不过GPU积累了几十年的产业链，也有人说马上就能把GPU拍在沙滩上。
我觉得两边都太极端了。短时间来看，神经形态计算确实没法替代GPU做大规模大模型训练，整个软件生态、产业链配套都还没建起来，GPU的地位一时半会摇不动。但是话说回来，现在整个行业都在堆算力拼参数，摩尔定律已经快摸到顶了，传统架构的算力增长速度，远远赶不上AI模型对算力需求的增长速度，这个缺口总得有人填吧？
现在也确实有不少浑水摸鱼的，拿个小原型就吹自己颠覆算力，割投资人的韭菜，这种骗局见得不少了，得擦亮眼睛。但那些沉下心做架构做芯片的团队，做出来的成果确实实打实的。我上个月翻MIT的最新预印本，他们用神经形态计算做的语音识别模型，误差率比同参数的传统Transformer低了7个百分点，功耗只有原来的3%。这个数据真的够吓人了。
哪怕退一步说，就算一直替代不了GPU训练大模型，在边缘端低功耗推理、小样本学习、脑机接口、物联网这些细分场景，两三年之内就能大规模落地，对吧？你想想以后，你的智能眼镜、你的智能门锁、你的车载AI，不用连云端，本地就能做所有AI计算，不用怕隐私泄露，功耗低到半个月充一次电都够用，这不就是我们想要的普惠AI吗？
还有个很多人没注意到的优势，神经形态计算天生适合小样本学习，不像现在的大模型必须喂几百万几千万的数据才能训出来，很多传统行业，比如医疗、工业缺陷检测，根本攒不出那么多标注数据，神经形态计算刚好解决了这个痛点，成本一下子就能砍下来。
说实话，我现在挺期待这个方向的，现在AI圈卷算力卷得太畸形了，好像只有堆参数堆算力才叫进步，早就忘了我们做AI本来是想让它更低成本、更普及地服务于人。换个架构，换个思路，说不定就能走出一片新天地。
神经形态计算到底是什么？不是凭空炒出来的新概念
我们现在用的所有芯片，从手机到GPU，基本上都是基于冯·诺依曼架构做的，这套架构跑了快一百年，最大的问题就是啥？计算和存储分离，数据要在存储单元和计算单元之间来回跑，跑一次就耗一次功耗，绕一次路就增加一点延迟。模型参数越大，这个问题越突出，现在大模型动不动几千亿参数，大半的功耗都浪费在数据搬家上了，可惜不可惜？ 神经形态计算走的完全是另一条路，它模仿人脑里神经元和突触的工作方式，把计算和存储做在了一起，就像你人脑识别东西的时候，不需要把数据从一个地方搬到另一个地方，激活对应的突触直接就出结果。冯诺依曼架构与神经形态架构对比图
说实话，这概念真不是这两年资本炒出来的，早在上世纪八十年代就有科学家提了，为啥现在才火？还不是大模型把传统算力的短板给彻底摆到台面上了。你训练一个千亿参数大模型，几百万度电就没了，换成神经形态计算做推理，据国内团队的实测，功耗能降到原来的百分之一都不到。吓不吓人？
商业化落地走到哪一步了？早就不是实验室画饼了
很多人一听到这种前沿技术，第一反应就是“还得几十年才能用”，错了，现在不少场景已经偷偷用上了。 早在2019年，中科院计算所团队研发的第二代天机芯就登上了Nature，这个基于神经形态计算的芯片，能同时支持无人驾驶的多个任务实时处理，功耗只需要几十毫瓦，一块小电池就能跑好久。Intel早在2020年就推出了规模达到一亿个神经元的神经形态芯片Pohoiki Springs，IBM更早就在低功耗物联网场景推了测试方案。第二代天机芯神经形态计算芯片实物图
去年我看国内一所985的团队发的成果，他们做出来的脉冲神经网络原型芯片，跑小参数大模型的推理任务，速度比同工艺的A100快三倍，功耗只有不到十分之一。这个数据放出来的时候，圈子里不少人都炸了。
不过话说回来，现在能拿到民用的成品确实不多，大部分都在科研院所和大企业的实验室里，但细分场景的落地真的比我们想的快。比如边缘端的AI监控，装在野外或者偏远地区的摄像头，以前要把所有数据传到云端算，不仅延迟高，流量费都扛不住，换成神经形态芯片，本地就能实时识别异常，一块电池能用三五年，现在不少安防厂商已经在试点了。
还有脑机接口方向，你想啊，神经形态计算本身就是仿人脑的神经元结构，和神经信号对接天生就适配，现在国内外做侵入式脑机的团队，大半都在和神经形态计算的研发团队谈合作，这个方向的契合度，真的找不到第二家。
神经形态计算真能颠覆GPU的霸权地位吗？
神经形态计算真能颠覆GPU的霸权地位吗？
现在网上吵得最多的就是这个问题，有人说就是蹭AI热点炒概念，根本干不过GPU积累了几十年的产业链，也有人说马上就能把GPU拍在沙滩上。
我觉得两边都太极端了。短时间来看，神经形态计算确实没法替代GPU做大规模大模型训练，整个软件生态、产业链配套都还没建起来，GPU的地位一时半会摇不动。但是话说回来，现在整个行业都在堆算力拼参数，摩尔定律已经快摸到顶了，传统架构的算力增长速度，远远赶不上AI模型对算力需求的增长速度，这个缺口总得有人填吧？
现在也确实有不少浑水摸鱼的，拿个小原型就吹自己颠覆算力，割投资人的韭菜，这种骗局见得不少了，得擦亮眼睛。但那些沉下心做架构做芯片的团队，做出来的成果确实实打实的。我上个月翻MIT的最新预印本，他们用神经形态计算做的语音识别模型，误差率比同参数的传统Transformer低了7个百分点，功耗只有原来的3%。这个数据真的够吓人了。
哪怕退一步说，就算一直替代不了GPU训练大模型，在边缘端低功耗推理、小样本学习、脑机接口、物联网这些细分场景，两三年之内就能大规模落地，对吧？你想想以后，你的智能眼镜、你的智能门锁、你的车载AI，不用连云端，本地就能做所有AI计算，不用怕隐私泄露，功耗低到半个月充一次电都够用，这不就是我们想要的普惠AI吗？
还有个很多人没注意到的优势，神经形态计算天生适合小样本学习，不像现在的大模型必须喂几百万几千万的数据才能训出来，很多传统行业，比如医疗、工业缺陷检测，根本攒不出那么多标注数据，神经形态计算刚好解决了这个痛点，成本一下子就能砍下来。
说实话，我现在挺期待这个方向的，现在AI圈卷算力卷得太畸形了，好像只有堆参数堆算力才叫进步，早就忘了我们做AI本来是想让它更低成本、更普及地服务于人。换个架构，换个思路，说不定就能走出一片新天地。