聊聊机器学习技术:从实验室到日常场景的真实落地
上个月在咖啡馆见了一个做智能餐饮的老朋友,他掏出手机给我看后台,三家店,日销量预测误差不到8%,能帮店长提前备菜,每个月能省小两万的食材浪费。整个系统搭下来,花了不到三万块,还是找两个应届生兼职做的。
很多人一听到机器学习技术,第一反应就是百亿参数、大模型、几千万的GPU集群,跟普通人跟小公司不沾边。真不是这么回事。
零售行业机器学习用户分类决策树示例图
哦对,现在很多人说传统机器学习过时了,只有大模型才是未来。不过话说回来,大模型也是机器学习技术的一个分支啊,不是说取代了所有旧东西。你做个库存管理,犯不着拉个千亿参数的模型来算吧?一块普通的云服务器就能跑的逻辑回归,解决问题比大模型快十倍成本还不到百分之一,这不香吗?
医疗领域联邦学习隐私保护训练架构图
说实话,这种突破,比发十个GPT的新闻对普通人的意义都大。大模型是好玩,能写文案能画图,可这些藏在水下的机器学习技术,真真切切在改变医疗、工业、农业这些核心行业。
落地机器学习技术,90%的人踩过同一个坑
我接触过不下几十个做机器学习落地的团队,一半以上都死在同一个地方。不是模型不够好,不是算力不够,是把顺序搞反了。
太多人上来第一句话就是“我要用大模型改造我的业务”,根本没搞清楚自己的问题到底是什么。我之前接触过一个做生鲜配送的老板,听了一场AI招商会,花了一百万上了大模型需求预测,结果跑出来的结果还不如干了十年的老调度拍脑袋准,亏得一塌糊涂。
为啥?你猜。他给模型训练的历史数据,刚好是疫情三年的数据,那时候小区封控,需求波动完全不正常,数据本身就是脏的,还缺了周边新开写字楼、突发天气这些关键变量,你就算给个GPT-10也没用啊。
机器学习有句话,叫垃圾进,垃圾出,这个道理说了几十年,还是有无数人往坑里跳。大家都把注意力放在模型多大、参数多牛上,根本没人关心数据对不对。
还有一个坑就是过度追求准确率。我见过一个做客户流失预测的团队,为了把准确率从92%提到94%,多花了两百万,结果呢?业务上本来只要能预测出80%的高风险客户,提前做运营就能挽回大部分流失,那两个点的提升,根本带不来任何收益,纯纯浪费钱。
说白了,机器学习技术就是个干活的工具,不是摆出来看的花瓶。你买一把螺丝刀,只要能拧动你要的螺丝就行,犯不着买一把纯金的镶钻螺丝刀放在供台上对吧?
现在整个行业都在炒大模型,好像不提大模型就不配说自己做AI。我倒觉得,接下来几年,反而是能把基础机器学习技术用好,落在小场景解决小问题的团队,能活得更舒服。
毕竟,不管技术多牛,能帮人省点钱、多办点事,才是真的好技术。对吧?
别被玄乎的概念包装,机器学习技术从来都是实用优先
说实话,现在行业里太多吹概念的,开个发布会全是你听不懂的新词,恨不得把“AI”两个字刻在你脑门上,就是不说到底能解决啥问题。 你翻一翻最近十年顶会的获奖成果,一半以上都是对旧算法的优化,不是凭空蹦出来的黑科技。逻辑回归发明快一百年了,现在国内大多数银行的风控模型,核心还是它,比很多花里胡哨的集成模型效果稳多了。 最早的决策树算法,现在用在零售门店的用户分层上,准确率够,解释性还强——你能说清楚为什么这个用户被归为高价值,换个黑箱大模型,你根本说不清楚为什么给用户打这个标签,谁敢用在合规要求高的地方?
零售行业机器学习用户分类决策树示例图
哦对,现在很多人说传统机器学习过时了,只有大模型才是未来。不过话说回来,大模型也是机器学习技术的一个分支啊,不是说取代了所有旧东西。你做个库存管理,犯不着拉个千亿参数的模型来算吧?一块普通的云服务器就能跑的逻辑回归,解决问题比大模型快十倍成本还不到百分之一,这不香吗?
最近两年最有价值的机器学习技术突破,藏在你看不到的地方
大家天天刷新闻,看到的全是GPT又更新了,文生图又出新款了,就觉得所有突破都在大模型这边。其实不是,真正改变很多行业的突破,都在水下。 我去年看顶会CVPR的一篇开源成果,关于小样本机器学习的,能让模型只靠十几个标注样本,就做到原来上千样本才能达到的准确率。这个技术放出去之后,国内做工业缺陷检测的一堆小公司直接活了,原来你要捡出钢板上的划痕,得标好几千张样本,现在十几个就够,成本直接降了90%。 还有一个就是联邦学习,这个技术解决了机器学习最大的痛点之一:数据隐私。原来你要训练一个好的医疗模型,得把所有病人的数据汇总到一起,这根本过不了隐私合规,现在用联邦学习,各个医院在本地训练,只传模型参数不传原始数据,汇总之后模型效果照样提升。去年华西医院牵头做的肺癌早期筛查模型,就是这么训出来的,准确率比单中心模型高了近15个百分点,能多筛出几千个早期病人,这才是真的救人名的技术啊。
医疗领域联邦学习隐私保护训练架构图
说实话,这种突破,比发十个GPT的新闻对普通人的意义都大。大模型是好玩,能写文案能画图,可这些藏在水下的机器学习技术,真真切切在改变医疗、工业、农业这些核心行业。
落地机器学习技术,90%的人踩过同一个坑
落地机器学习技术,90%的人踩过同一个坑
我接触过不下几十个做机器学习落地的团队,一半以上都死在同一个地方。不是模型不够好,不是算力不够,是把顺序搞反了。
太多人上来第一句话就是“我要用大模型改造我的业务”,根本没搞清楚自己的问题到底是什么。我之前接触过一个做生鲜配送的老板,听了一场AI招商会,花了一百万上了大模型需求预测,结果跑出来的结果还不如干了十年的老调度拍脑袋准,亏得一塌糊涂。
为啥?你猜。他给模型训练的历史数据,刚好是疫情三年的数据,那时候小区封控,需求波动完全不正常,数据本身就是脏的,还缺了周边新开写字楼、突发天气这些关键变量,你就算给个GPT-10也没用啊。
机器学习有句话,叫垃圾进,垃圾出,这个道理说了几十年,还是有无数人往坑里跳。大家都把注意力放在模型多大、参数多牛上,根本没人关心数据对不对。
还有一个坑就是过度追求准确率。我见过一个做客户流失预测的团队,为了把准确率从92%提到94%,多花了两百万,结果呢?业务上本来只要能预测出80%的高风险客户,提前做运营就能挽回大部分流失,那两个点的提升,根本带不来任何收益,纯纯浪费钱。
说白了,机器学习技术就是个干活的工具,不是摆出来看的花瓶。你买一把螺丝刀,只要能拧动你要的螺丝就行,犯不着买一把纯金的镶钻螺丝刀放在供台上对吧?
现在整个行业都在炒大模型,好像不提大模型就不配说自己做AI。我倒觉得,接下来几年,反而是能把基础机器学习技术用好,落在小场景解决小问题的团队,能活得更舒服。
毕竟,不管技术多牛,能帮人省点钱、多办点事,才是真的好技术。对吧?