推荐系统技术：从瞎猜到懂你，这些年经历了什么
你有没有刷短视频刷到停不下来？点了一个英短拆家的视频，接下来一下午全是各色猫咪打滚拆家咬数据线。逛淘宝搜了一次拍婚纱照的影楼，首页给你推半年婚纱钻戒喜糖，怎么清历史记录都没用。
这就是推荐系统技术在干活。它藏在你用的每一个APP背后，左右着你看到的内容，掏钱的选择。
传统推荐系统技术协同过滤示意图
那时候业内的共识就是，推荐只是搜索的补充，用户知道自己要什么就会搜，推荐只是帮人发现点意外之喜。亚马逊当年靠协同过滤刷了一波点击率，已经算是行业大新闻了，那点提升放到现在，根本不够看。
深度学习推荐系统技术分层架构图
那段时间真的是神仙打架，各大厂的工程师天天刷榜，新模型一个接一个出，点击率涨得飞快。原来不到5%的点击率，不到三年就涨到了15%以上，直接把推荐变成了各大互联网公司的核心营收来源。电商一半以上的GMV来自推荐，短视频九成以上的停留时长靠推荐撑着，没人再敢说推荐是凑数的了。
大模型时代，推荐系统技术又变天了
这两年大模型火了之后，推荐圈又疯了。原来的推荐都是“匹配-排序”两步走，先从几千万甚至几亿个商品内容里挑出几百个候选，再排序把你最喜欢的放前面。大模型来了之后，所有人都在想，能不能直接用大模型把整个流程端到端做了？能不能让大模型直接读懂用户的真实需求？
举个例子，你跟电商APP说“我想买一件春天穿的蓝色外套，上班穿不要太休闲”，原来的推荐系统要拆关键词，抽“春天”“蓝色”“外套”“通勤”，拆错了就推不对。现在大模型直接能懂你要的是简约版型、垂感面料、正式不刻板的款式，甚至能读懂你没说出来的需求，比如“预算大概在三百到五百”“不要容易起球的”，这个理解能力比之前强太多了。
不过话说回来，现在大部分厂吹的大模型推荐，其实都是混血。纯大模型端到端推，根本扛不住亿级商品的延迟，你打开首页等三秒，用户早走了。现在成熟的方案都是大模型做用户理解和候选生成，后面还是接传统的精排模型，既吃了大模型的理解能力，又保住了响应速度，两全其美。
最近半年还有个挺火的方向，就是长期用户兴趣建模。原来的推荐一般只记你最近一两个礼拜的行为，久了就丢了。现在大模型能把你两三年的行为串起来，你去年买了婚房，今年看喜糖钻戒，明年直接就给你推婴儿车奶粉，整个路径顺得不行，比你对象记得都清楚，说起来真有点吓人。
你肯定遇到过那种情况，刷短视频同一个梗刷三天，逛电商全是你已经买过的东西，推来推去都是一样的。这其实就是模型的多样性没调好，工程师太看重点击率，就会一直给你推你点过的类型，反而把你弄烦了。现在大模型也在调这个平衡，既要推你喜欢的，也要时不时给你点新东西，不让你困在信息茧房里，也不会乱推让你反感。
这么多年下来，推荐系统技术从最开始的凑数，变成现在互联网公司最核心的基础设施，变化真的太大了。十年前谁能想到，一个人的喜好能被一串参数猜得八九不离十，你刚冒出来一个想法，它就把东西推到你眼前了。
接下来还能往哪走？谁也说不准。说不定再过几年，推荐系统真的能比你自己还懂你想要什么。想想挺奇妙，也有点让人后背发毛。
最早的推荐系统，其实就是凑数
说出来你可能不信，十几年前的推荐系统，根本没人当核心业务做。那时候主流的方法就是协同过滤，要么按用户相似性推，你和另一个用户都买了奶粉，就把他买的别的东西推给你；要么按物品相似性推，买了手机的人八成买手机壳，直接挂在商品详情页。 说实话那时候效果真的烂得感人。你给怀孕的姐姐买一次奶粉，接下来半个月打开APP全是母婴用品，怎么踩不感兴趣都不好使。最头疼的就是冷启动，新用户进来啥数据都没有，只能硬推全网热门，你一个刚注册的18岁大学生，给你推广场舞音箱和中老年保暖内衣，这不扯吗？传统推荐系统技术协同过滤示意图
那时候业内的共识就是，推荐只是搜索的补充，用户知道自己要什么就会搜，推荐只是帮人发现点意外之喜。亚马逊当年靠协同过滤刷了一波点击率，已经算是行业大新闻了，那点提升放到现在，根本不够看。
深度学习进场，推荐直接改头换面
大概2015年之后，深度学习开始往推荐领域砸，一下子就把整个盘盘活了。先是FM模型解决了稀疏数据的特征组合问题，然后Google放出了Wide&Deep架构，直接把推荐的准确率拉上了一个大台阶。一边用Wide部分抓强规则的记忆，你之前买过纯棉T恤，就给你多推纯棉的，一边用Deep部分挖泛化的兴趣，你喜欢日系纯棉T恤，那你大概率也会喜欢日系棉麻半身裙对吧？ 后来又有了DIN，也就是深度兴趣网络，把注意力机制搬了进来。哦原来用户的历史行为不是同等重要啊！你上个月买过手机，昨天买过牛奶，今天你搜牛奶的时候，干嘛要把你买过手机这件事拉出来算权重？只抓你和食品相关的兴趣就好了啊。 这个点一打通，推荐瞬间就活了。原来都是“你过去喜欢过什么我就推什么”，现在变成“你现在想要什么我就给你什么”。你打开外卖APP，中午饭点推工作餐奶茶，周末晚上推火锅烧烤，半夜十二点推小龙虾烤串，连时间位置都给你算得明明白白。深度学习推荐系统技术分层架构图
那段时间真的是神仙打架，各大厂的工程师天天刷榜，新模型一个接一个出，点击率涨得飞快。原来不到5%的点击率，不到三年就涨到了15%以上，直接把推荐变成了各大互联网公司的核心营收来源。电商一半以上的GMV来自推荐，短视频九成以上的停留时长靠推荐撑着，没人再敢说推荐是凑数的了。
大模型时代，推荐系统技术又变天了
大模型时代，推荐系统技术又变天了
这两年大模型火了之后，推荐圈又疯了。原来的推荐都是“匹配-排序”两步走，先从几千万甚至几亿个商品内容里挑出几百个候选，再排序把你最喜欢的放前面。大模型来了之后，所有人都在想，能不能直接用大模型把整个流程端到端做了？能不能让大模型直接读懂用户的真实需求？
举个例子，你跟电商APP说“我想买一件春天穿的蓝色外套，上班穿不要太休闲”，原来的推荐系统要拆关键词，抽“春天”“蓝色”“外套”“通勤”，拆错了就推不对。现在大模型直接能懂你要的是简约版型、垂感面料、正式不刻板的款式，甚至能读懂你没说出来的需求，比如“预算大概在三百到五百”“不要容易起球的”，这个理解能力比之前强太多了。
不过话说回来，现在大部分厂吹的大模型推荐，其实都是混血。纯大模型端到端推，根本扛不住亿级商品的延迟，你打开首页等三秒，用户早走了。现在成熟的方案都是大模型做用户理解和候选生成，后面还是接传统的精排模型，既吃了大模型的理解能力，又保住了响应速度，两全其美。
最近半年还有个挺火的方向，就是长期用户兴趣建模。原来的推荐一般只记你最近一两个礼拜的行为，久了就丢了。现在大模型能把你两三年的行为串起来，你去年买了婚房，今年看喜糖钻戒，明年直接就给你推婴儿车奶粉，整个路径顺得不行，比你对象记得都清楚，说起来真有点吓人。
你肯定遇到过那种情况，刷短视频同一个梗刷三天，逛电商全是你已经买过的东西，推来推去都是一样的。这其实就是模型的多样性没调好，工程师太看重点击率，就会一直给你推你点过的类型，反而把你弄烦了。现在大模型也在调这个平衡，既要推你喜欢的，也要时不时给你点新东西，不让你困在信息茧房里，也不会乱推让你反感。
这么多年下来，推荐系统技术从最开始的凑数，变成现在互联网公司最核心的基础设施，变化真的太大了。十年前谁能想到，一个人的喜好能被一串参数猜得八九不离十，你刚冒出来一个想法，它就把东西推到你眼前了。
接下来还能往哪走？谁也说不准。说不定再过几年，推荐系统真的能比你自己还懂你想要什么。想想挺奇妙，也有点让人后背发毛。