机器学习技术：别被神话晃花了眼，它本来就是解决问题的工具
打开科技新闻，十个AI新闻八个说大模型，剩下两个说通用人工智能，好像机器学习技术，就是大模型，就是千亿参数，就是能写代码能聊天的聊天机器人。
真不是这么回事。
很多刚入行的学生，投简历的时候开口闭口我会玩大模型，一问梯度下降核心逻辑，支支吾吾说不出来，挺有意思的。
机器学习反向传播算法计算过程示意图
说白了，大模型就是把经典机器学习技术的框架，堆了更多参数，喂了更多数据，跑在更多GPU上而已。没有什么颠覆性的全新发明，都是站在巨人肩膀上堆料。
当然堆料也确实堆出了奇迹，这个不能不认。ChatGPT刚出来的时候我玩了一整夜，惊得合不上嘴，这效果确实超出预期。但是吹成全新技术革命，把之前所有机器学习技术都贬得一文不值，就太扯了。
说实话，很多概念都是资本吹出来的，为了融钱，为了炒估值，不得已而已。
银行信用卡风控机器学习模型评分表
我之前接触过一个做光伏电站故障检测的团队，烧了快两千万做千亿参数大模型，最后落地测准确率，比团队里老博士花三个月调出来的轻量梯度提升树，只高了不到一个百分点，成本差了一百倍。
你说图啥呢？
机器学习技术的核心，从来都不是模型多大，参数多少，是能不能解决问题，能不能帮客户赚钱。能低成本把问题解决了，就是好技术，吹得再天花乱坠，落不了地，就是垃圾。
现在学界风向变了，机器学习技术正在往实用方向走
你去翻今年前几个月的顶会论文，就能发现不对劲。
前两年几乎全是大模型，现在越来越多的论文，开始转回做可解释机器学习、小样本学习、传统模型轻量化，一堆人开始重新挖老机器学习技术的坑。
为啥？因为堆参数的边际效益已经没了。GPT-4比GPT-3.5参数涨了不到三倍，效果提升也不是量级的，投入的成本可是涨了十倍还多。再往上堆，千亿不够堆万亿，万亿不够堆十万亿，哪有那么多钱烧？哪有那么多干净数据喂？
而且越来越多的公司发现，大模型不是万能的，很多行业小场景，你根本拿不到几十万上百万的标注数据，大模型根本训不出来，这时候就得靠小样本，靠传统机器学习技术的调优，才能出效果。
去年一大帮跟风搞大模型的创业公司，死了多少？融了好几亿，最后除了一个到处蹭热点的聊天机器人demo，啥都没做出来，连个付费客户都找不到，可惜不可惜？
我前阵子跟一个做自动驾驶的朋友吃饭，他说他们车上感知模块，核心还是传统机器学习模型加深度学习，全换大模型根本跑不起来，功耗不够，延迟还高，根本不敢上路。
对吧？
很多人说机器学习技术未来就是大模型，我看不见得。未来会是大模型解决通用问题，细分场景还是靠量身定做的轻量化机器学习技术，互相搭配，各司其职，谁也代替不了谁。
泡沫退了之后，大家才会反应过来，原来最值钱的，还是那些踏踏实实解决问题的机器学习技术，那些把底层逻辑摸透，能根据场景灵活调整模型的人，永远比只会调用大模型API的人，吃香太多。
大火的大模型，根上还是几十年的老机器学习技术
现在随便拉个AI创业者出来，都敢说自己掌握了下一代全新机器学习技术，听起来玄乎得很。其实扒开底裤看，GPT用的反向传播，上个世纪七十年代就提出来了。transformer用到的注意力机制，核心的权重更新逻辑，也没跳出传统机器学习的框架。机器学习反向传播算法计算过程示意图
说白了，大模型就是把经典机器学习技术的框架，堆了更多参数，喂了更多数据，跑在更多GPU上而已。没有什么颠覆性的全新发明，都是站在巨人肩膀上堆料。
当然堆料也确实堆出了奇迹，这个不能不认。ChatGPT刚出来的时候我玩了一整夜，惊得合不上嘴，这效果确实超出预期。但是吹成全新技术革命，把之前所有机器学习技术都贬得一文不值，就太扯了。
说实话，很多概念都是资本吹出来的，为了融钱，为了炒估值，不得已而已。
真正赚大钱的，都是接地气的实用机器学习技术
不过话说回来，你去各行各业转一圈就会发现，百分之八十的落地场景，根本用不上大模型。 银行批信用卡要算风险，用的还是逻辑回归加XGBoost，可解释性强，上线快，成本还低，大模型出个错你都不知道为啥错，敢给人随便批卡？ 工厂预测机床故障，用的就是随机森林，传感器传过来的十几维数据，跑个模型一秒出结果，大模型光推理就要好几秒，延迟够机床撞坏三次了。 电商平台给你推荐商品，初筛那一步，用的都是传统的协同过滤加因子分解，千万级商品一秒筛出几百个候选，再给大模型做排序，哪有全用大模型推荐的？那成本平台得亏倒闭。银行信用卡风控机器学习模型评分表
我之前接触过一个做光伏电站故障检测的团队，烧了快两千万做千亿参数大模型，最后落地测准确率，比团队里老博士花三个月调出来的轻量梯度提升树，只高了不到一个百分点，成本差了一百倍。
你说图啥呢？
机器学习技术的核心，从来都不是模型多大，参数多少，是能不能解决问题，能不能帮客户赚钱。能低成本把问题解决了，就是好技术，吹得再天花乱坠，落不了地，就是垃圾。
现在学界风向变了，机器学习技术正在往实用方向走
现在学界风向变了，机器学习技术正在往实用方向走
你去翻今年前几个月的顶会论文，就能发现不对劲。
前两年几乎全是大模型，现在越来越多的论文，开始转回做可解释机器学习、小样本学习、传统模型轻量化，一堆人开始重新挖老机器学习技术的坑。
为啥？因为堆参数的边际效益已经没了。GPT-4比GPT-3.5参数涨了不到三倍，效果提升也不是量级的，投入的成本可是涨了十倍还多。再往上堆，千亿不够堆万亿，万亿不够堆十万亿，哪有那么多钱烧？哪有那么多干净数据喂？
而且越来越多的公司发现，大模型不是万能的，很多行业小场景，你根本拿不到几十万上百万的标注数据，大模型根本训不出来，这时候就得靠小样本，靠传统机器学习技术的调优，才能出效果。
去年一大帮跟风搞大模型的创业公司，死了多少？融了好几亿，最后除了一个到处蹭热点的聊天机器人demo，啥都没做出来，连个付费客户都找不到，可惜不可惜？
我前阵子跟一个做自动驾驶的朋友吃饭，他说他们车上感知模块，核心还是传统机器学习模型加深度学习，全换大模型根本跑不起来，功耗不够，延迟还高，根本不敢上路。
对吧？
很多人说机器学习技术未来就是大模型，我看不见得。未来会是大模型解决通用问题，细分场景还是靠量身定做的轻量化机器学习技术，互相搭配，各司其职，谁也代替不了谁。
泡沫退了之后，大家才会反应过来，原来最值钱的，还是那些踏踏实实解决问题的机器学习技术，那些把底层逻辑摸透，能根据场景灵活调整模型的人，永远比只会调用大模型API的人，吃香太多。