光学计算技术:为什么说它是AI算力困局的破局者?
摩尔定律真的走到头了!
这两年AI大模型烧的钱,快把数据中心的电费账单烧成天文数字了。OpenAI去年的数据中心电费就超过一亿美元,国内大模型厂商的算力成本每个月都以亿为单位往上翻。
出路在哪?不少人把目光盯上了光学计算技术。
光学计算矩阵乘法原理示意图
说实话,光学计算不是什么天方夜谭的新技术。早在上世纪六十年代,就有科学家做过光学信号处理的尝试,只不过那时候没有AI这种对大规模并行算力有变态需求的场景,也就一直没火起来。这十年AI疯涨,算力需求每三个半月翻一倍,电子芯片的进步根本赶不上,光学计算自然就被拉到了聚光灯下。
集成铌酸锂光学计算芯片显微图
不过话说回来,现在市面上不少吹风的,说明年就能取代GPU,那都是吹牛皮。大部分成果现在还停留在实验室原型,或者小范围试点阶段,离大规模量产还有距离。但哪怕只是现在的进度,已经足够让整个算力圈沸腾了——毕竟原来大家都觉得,算力增长只能挤摩尔定律的牙膏,现在突然多了一条完全不同的路。
光学计算离我们普通人还有多远?
第一个落地的场景,铁定是数据中心的AI推理。现在各大互联网公司的推理集群,电费占了运营成本的三成以上,只要光学计算芯片能把能耗降下来,哪怕性能只做到GPU的八成,厂商也愿意换。
别觉得这和你没关系。现在AI服务的成本越来越高,不少平台都开始收月费了,如果光学计算能把算力成本降十分之一,未来大部分AI服务就能一直保持免费,或者降价,最终受益的还是普通用户。
当然,痛点也不少。现在光学芯片的集成度还是不够,一块光学计算芯片的尺寸,比同算力的电子芯片大不少,光在传输过程中的损耗也比电子大,良率上不去,成本就降不下来。还有可编程性,现在大多数光学芯片只能针对特定的AI任务做优化,要做通用计算,还得突破不少技术瓶颈。
但有意思的是,现在资本已经追进来了。国外的Lightmatter前年就拿了数亿美元融资,今年已经给部分厂商送样测试光学计算加速卡。国内也有近十家创业公司拿到了融资,不少都是科研院所出来的团队创业,进展比大家想象的快多了。
我前阵子跟一个做芯片投资的朋友吃饭,他说现在投AI算力,不看光学计算项目的基金,都不好意思说自己跟踪前沿了。
谁都不能打包票说光学计算一定能取代电子计算,未来大概率也是电子做控制,光学做加速,两种架构长期共存。但是,它确实给被算力疯涨逼得喘不过气的AI行业,开了一扇全新的门。
没准再过十年,我们手里用的各种AI服务,背后都跑着光学计算芯片,到时候回头看,现在这群人蹲在实验室里磨芯片的样子,就是下一代算力革命的起点啊。
为啥放着好好的电子计算不用,非要折腾光学?
现在我们用的所有电子计算机,绕不开冯诺依曼架构,也绕不开内存墙。 什么意思?当你刷一下AI生成的图片,后台就要完成上亿次的矩阵乘法运算,电子芯片要不断在内存和运算单元之间倒腾数据,一大半的能耗都耗在数据搬运上,速度也被搬数据的过程拖死。 光不一样啊。光本身就是并行传播的,不同波长的光可以同时携带信息,互相不干扰。做矩阵乘法这种AI最常用的运算,直接通过光的衍射、干涉就能一次完成,不用像电子那样一个门一个门算,也不用来回搬数据。 能耗差多少?给你个真实数据,同样完成一次百万级矩阵乘法,光学计算的能耗只有7nm电子芯片的千分之一,速度快上百倍。 你说,香不香?
光学计算矩阵乘法原理示意图
说实话,光学计算不是什么天方夜谭的新技术。早在上世纪六十年代,就有科学家做过光学信号处理的尝试,只不过那时候没有AI这种对大规模并行算力有变态需求的场景,也就一直没火起来。这十年AI疯涨,算力需求每三个半月翻一倍,电子芯片的进步根本赶不上,光学计算自然就被拉到了聚光灯下。
当下光学计算技术的核心进展,到底有多惊人?
现在主流的路线,是光电混合架构,说白了就是输入输出还是用电,核心的AI运算加速用光学,全光计算现在还没到实用阶段,光电混合是当前落地最快的方向。 去年MIT的研究团队发在《自然》上的成果,直接刷了圈:用集成铌酸锂调制器做的光学芯片,完成矩阵乘法加速的时候,计算密度比当时最先进的7nm电子GPU高两个数量级,能耗低三个数量级。 什么概念?原来跑一个大模型推理要100度电,现在只要不到1度。速度还快一百倍。 国内的进展也不慢。今年初中科院微电所团队发布的异构光学智能芯片,在ImageNet图像识别任务上,准确率做到了90%以上,和电子芯片差不多,能耗却只有同性能电子芯片的1%。
集成铌酸锂光学计算芯片显微图
不过话说回来,现在市面上不少吹风的,说明年就能取代GPU,那都是吹牛皮。大部分成果现在还停留在实验室原型,或者小范围试点阶段,离大规模量产还有距离。但哪怕只是现在的进度,已经足够让整个算力圈沸腾了——毕竟原来大家都觉得,算力增长只能挤摩尔定律的牙膏,现在突然多了一条完全不同的路。
光学计算离我们普通人还有多远?
光学计算离我们普通人还有多远?
第一个落地的场景,铁定是数据中心的AI推理。现在各大互联网公司的推理集群,电费占了运营成本的三成以上,只要光学计算芯片能把能耗降下来,哪怕性能只做到GPU的八成,厂商也愿意换。
别觉得这和你没关系。现在AI服务的成本越来越高,不少平台都开始收月费了,如果光学计算能把算力成本降十分之一,未来大部分AI服务就能一直保持免费,或者降价,最终受益的还是普通用户。
当然,痛点也不少。现在光学芯片的集成度还是不够,一块光学计算芯片的尺寸,比同算力的电子芯片大不少,光在传输过程中的损耗也比电子大,良率上不去,成本就降不下来。还有可编程性,现在大多数光学芯片只能针对特定的AI任务做优化,要做通用计算,还得突破不少技术瓶颈。
但有意思的是,现在资本已经追进来了。国外的Lightmatter前年就拿了数亿美元融资,今年已经给部分厂商送样测试光学计算加速卡。国内也有近十家创业公司拿到了融资,不少都是科研院所出来的团队创业,进展比大家想象的快多了。
我前阵子跟一个做芯片投资的朋友吃饭,他说现在投AI算力,不看光学计算项目的基金,都不好意思说自己跟踪前沿了。
谁都不能打包票说光学计算一定能取代电子计算,未来大概率也是电子做控制,光学做加速,两种架构长期共存。但是,它确实给被算力疯涨逼得喘不过气的AI行业,开了一扇全新的门。
没准再过十年,我们手里用的各种AI服务,背后都跑着光学计算芯片,到时候回头看,现在这群人蹲在实验室里磨芯片的样子,就是下一代算力革命的起点啊。