拆解推荐系统技术:从刷不停的信息流看懂底层逻辑
你早上醒过来第一件事,摸过手机刷十分钟。是不是越刷越停不下来?
刚搜完婴儿奶粉,打开外卖APP都能给你推宝宝辅食零食。刚和朋友吐槽完掉头发,护肤号就推给你防脱洗发水。
这不是什么读心术,全是推荐系统技术的功劳。
传统协同过滤推荐系统逻辑示意图
后来又出了内容-based推荐,你点过的文章都是讲篮球的,那就给你推更多带篮球标签的内容。解决了一部分冷启动的问题,可又陷入另一个坑:你永远只能拿到和你看过的差不多的东西,一点新鲜感都没有。
大模型增强推荐系统技术架构图
我前阵子测过抖音新上线的大模型推荐,输入一句"给我找几个适合周末带两岁娃去的北京近郊景点",出来的结果真的比原来搜关键词准太多,连"有没有母婴室""能不能推婴儿车"这种隐性需求都考虑到了。
惊到我了。真的。
推荐系统技术越发达,反而越矛盾
所有人都在说信息茧房,对吧?
我自己深有体会,去年装修的时候搜了两次美式橱柜,接下来整整三个月,不管刷什么APP,全给我推装修。我都装完入住快半年了,还给我推!烦不烦啊!
技术越准,越容易把你困在你自己的小圈子里。
现在技术圈也在解决这个问题,不是做不到推给你新东西,是商业平台愿不愿意。毕竟推你熟悉的东西,你停留更长,点广告更多,平台收入更高。推给你新东西,万一你不喜欢直接退了,数据反而不好看。
不过话说回来,最近一年能感觉到变化。我刷小红书,现在经常能刷到我完全没接触过的领域,比如手工皮具、天文摄影,点进去看居然真的能看半天,原来我也有这个需求啊,自己都不知道。
这就是新技术的好处,它不再只盯着你过去的行为,而是能挖你潜在的兴趣。
还有一个很有意思的趋势,现在很多平台开始做"场景化推荐",你早上八点钟打开,推给你通勤路上听的播客和早餐店,你周末晚上打开,推给你评分高的火锅店和新上的电影,比原来只看你的标签准多了。
推荐系统技术发展到今天,早就不是原来那个"找同好贴标签"的简单工具了。它现在就像一个慢慢摸透你脾气的朋友,知道你喜欢什么,也知道你什么时候想要点新鲜的。
你下次刷手机刷到停不下来的时候,不妨多想想,这条内容为什么会出现在你面前。其实还挺有意思的。
早期推荐系统技术,走了很多弯路
最早做推荐的时候,哪有什么深度学习。最主流的方法就是协同过滤,说白了就是找"同好"。 你喜欢A电影,一万个和你喜好差不多的人里,八成都喜欢B电影,那就把B推给你。就这么简单。 说实话,思路很朴素,效果也还行。可问题也太明显了。 新用户刚来,什么行为都没有,怎么给你推?这就是所有人都头疼的冷启动问题。 用户行为太少,矩阵稀疏得像筛子,算出来的相似性根本不准,推出来的东西驴唇不对马嘴。 早年很多中小平台做推荐,做完还不如编辑手动排页点击率高,就是栽在这了。
传统协同过滤推荐系统逻辑示意图
后来又出了内容-based推荐,你点过的文章都是讲篮球的,那就给你推更多带篮球标签的内容。解决了一部分冷启动的问题,可又陷入另一个坑:你永远只能拿到和你看过的差不多的东西,一点新鲜感都没有。
大厂现在抢着用的,大模型加持的新玩法
大概从2018年之后,深度学习彻底改了推荐系统技术的玩法。 从最早的逻辑回归,到FM,再到后来的双塔召回模型、DIN深度兴趣网络,推荐系统终于能捕捉到你隐藏的偏好,而不是只停留在表面标签。 最近两年更疯了,所有人都在往推荐里塞大模型。 以前的推荐链路分几块:召回、排序、重排,每一块干每一块的活。召回就是从几百万内容里捞出几百个你可能喜欢的,排序再给这些内容打分排顺序,最后重排调调多样性。 现在呢?大模型全链路推荐直接把每一步都重新做了一遍。 大模型能理解内容的语义,能理解你评论里说的"这个包包好适合通勤"是什么意思,不是只抓"包包""通勤"两个标签。它还能把你的行为序列转换成更精准的用户表征,你上周点过一次露营装备,只是好奇看了一眼,还是真的打算下个月去露营,它都能分清楚。
大模型增强推荐系统技术架构图
我前阵子测过抖音新上线的大模型推荐,输入一句"给我找几个适合周末带两岁娃去的北京近郊景点",出来的结果真的比原来搜关键词准太多,连"有没有母婴室""能不能推婴儿车"这种隐性需求都考虑到了。
惊到我了。真的。
推荐系统技术越发达,反而越矛盾
推荐系统技术越发达,反而越矛盾
所有人都在说信息茧房,对吧?
我自己深有体会,去年装修的时候搜了两次美式橱柜,接下来整整三个月,不管刷什么APP,全给我推装修。我都装完入住快半年了,还给我推!烦不烦啊!
技术越准,越容易把你困在你自己的小圈子里。
现在技术圈也在解决这个问题,不是做不到推给你新东西,是商业平台愿不愿意。毕竟推你熟悉的东西,你停留更长,点广告更多,平台收入更高。推给你新东西,万一你不喜欢直接退了,数据反而不好看。
不过话说回来,最近一年能感觉到变化。我刷小红书,现在经常能刷到我完全没接触过的领域,比如手工皮具、天文摄影,点进去看居然真的能看半天,原来我也有这个需求啊,自己都不知道。
这就是新技术的好处,它不再只盯着你过去的行为,而是能挖你潜在的兴趣。
还有一个很有意思的趋势,现在很多平台开始做"场景化推荐",你早上八点钟打开,推给你通勤路上听的播客和早餐店,你周末晚上打开,推给你评分高的火锅店和新上的电影,比原来只看你的标签准多了。
推荐系统技术发展到今天,早就不是原来那个"找同好贴标签"的简单工具了。它现在就像一个慢慢摸透你脾气的朋友,知道你喜欢什么,也知道你什么时候想要点新鲜的。
你下次刷手机刷到停不下来的时候,不妨多想想,这条内容为什么会出现在你面前。其实还挺有意思的。