你天天在用的自然语言处理，根本不是你想的那样
去年九月二十三号我在南京紫金山脚下的一家社区咖啡馆碰一个做电商的老朋友，他皱着眉给我看供应商的PPT，整页都是"赋能企业智能化转型升级"，核心就是卖一套自然语言处理自动客服系统，说能省掉八成人工客服。他问我，这东西到底靠不靠谱，能不能真的省这么多人。
我当时喝了一口冰美式，直接说，扯淡。
从规则到大模型自然语言处理发展路线图
说实话，我见过太多创业公司把自然语言处理吹得玄乎，张嘴就是千亿参数，闭着眼就是改变行业，落地的时候连个小区快递柜的取件留言都识别不对。说白了，现在能落地赚小钱的自然语言处理，一大半还是老方法加新模型调参，不是什么黑科技。
奶茶店用户点评情感分析标注示例图
你看，说白了，自然语言处理从来不是拿个现成模型就能搞定一切，它的价值永远绑定具体场景。脱离场景吹准确率，都是耍流氓。
吹破牛皮的误区，自然语言处理现在还有搞不定的事
不过话说回来，现在不管是卖方案的还是做概念的，都把这东西吹得太神了，好像明天就能代替所有人写东西说话。我就问一句，言外之意，它能读懂吗？
你去朋友家吃饭，朋友做了个红烧肉，你说"这肉可真咸啊"，笑着说就是开玩笑吐槽，皱着眉说就是真不满，文字一样，情绪完全不一样，机器现在分得清吗？大部分都不行。你买了奶茶，给商家留评说"你们家位置可真难找啊"，有的顾客是真抱怨，转脸就给三星，有的顾客就是随口一提，转头就给了五星，还夸奶茶好喝，机器就经常把这种话当成差评。
还有歧义句，我上学的时候老师就举过例子，"这个人好说话"，是说这个人性格随和容易沟通，还是说这个人喜欢说话？脱离上下文，谁都搞不清，机器更乱。更别说那些隐含的潜规则，中国人说话本来就弯绕，很多意思根本不在字面上。
还有风险，现在自然语言处理生成内容太容易了，几秒钟就能生成一篇假新闻，一分钟就能克隆出任何人的声音，拿来诈骗的太多了。我上个月帮公安朋友整理过一个诈骗案例，骗子用自然语言处理技术克隆了受害者儿子的声音，说自己被抓了要交保释金，受害者直接转了几十万，事后才知道上当。还有隐私，你跟AI聊天说的所有话，好多公司都存下来拿去训练模型，你说自己的过敏史、自己的房贷压力、甚至偷偷说的对老板的抱怨，全存在别人的服务器里，想想都后背发麻。
说实话，我做这行快十年了，我一直觉得，自然语言处理从诞生到现在，核心从来都不是"取代人"，而是帮人省掉重复无聊的力气。你让它帮你整理会议纪要，帮你把语音转成文字，帮你筛几万条评论，这都是好工具，真的省很多时间。但你非要让它代替客服跟用户聊天，代替写手写品牌软文，最后出了问题还是要自己擦屁股。
南京秋天的风那天吹在咖啡馆外面的梧桐树上，叶子哗啦响，我跟我那个朋友说，你要上这套系统没问题，把那些重复八百遍的问题，比如"包邮吗""怎么退货""营业时间是几点"给机器回答，真有问题了马上转人工，既省力气又不得罪用户，非要让机器接所有活，最后差评涨了，亏的还是你。
他听完点头，说原来这么回事，我之前被吹得晕头转向，现在终于懂了。
其实很多人对自然语言处理的误解，不都是这样吗？被一堆玄乎的概念吹得晕头转向，忘了它本质就是个帮人干活的工具。
话里的温度，话外的意思，永远只有人能读得懂。
别把自然语言处理只等于大模型
很多人现在提起这六个字，第一反应就是ChatGPT、文心一言这类大模型，好像自然语言处理是最近几年才出来的新东西。真不是。 早在上世纪五十年代就有人搞了，一开始大家想的就是做规则，人把语言的规律一条条写给机器，机器按规则跑。我刚入行做的第一个小项目，就是给运营商做垃圾短信过滤，全靠手写关键词："发票""无抵押""中奖"这些词只要出现，直接归成垃圾短信拦掉。这本质也是自然语言处理啊。 就这么简单。 后来规则玩不转了，因为人类的话太多变了，今天说"佛跳墙"是菜，明天可能就是梗，你写一万条规则也跟不上网民造新词的速度。然后就出了统计的方法，喂给机器一大堆已经分好类的语料，让机器自己学规律，哪类词经常出现在哪类句子里，比纯规则准多了。再后来就是深度学习火了，算力上来了，堆出来越来越大的模型，才有了现在大家看到的大模型聊天。从规则到大模型自然语言处理发展路线图
说实话，我见过太多创业公司把自然语言处理吹得玄乎，张嘴就是千亿参数，闭着眼就是改变行业，落地的时候连个小区快递柜的取件留言都识别不对。说白了，现在能落地赚小钱的自然语言处理，一大半还是老方法加新模型调参，不是什么黑科技。
普通人日常能碰到的自然语言处理，都在干些什么
你每天打字的时候输入法给你蹦出来的联想词，是自然语言处理。你用手机拍了一张板书，自动转成可编辑的文字，是自然语言处理。你看短视频的时候自动出来的字幕，甚至给字幕配的中英翻译，全是自然语言处理在干活。你找工作的时候HR把简历扔进系统，系统先筛一遍符合不符合要求，那也是自然语言处理在干活。 很多人觉得这东西离自己远，其实你一天醒着，起码有十次八次在碰它。 它到底是怎么干活的？说起来也不复杂，机器本质上根本不懂人类的语言是什么意思，它只看得懂数字。我们要做的第一步，就是把你说的每一个字每一句话，转换成一串叫"向量"的数字，把文字变成它能看懂的东西。然后模型再根据之前学过的几千万几亿句人话，算出你这句话最有可能想表达的意思，输出对应的结果。 举个我前年落地的小例子，给本地一家做鲜奶茶的连锁品牌做用户点评情感分析，简单说就是帮品牌自动把几千条大众点评、美团点评分成好评、中评、差评，不用运营一条一条去看。一开始我直接拿了个开源的通用大模型跑，结果出来的数据笑死人：顾客写"今天三分糖刚好，我太爱了，就是店员忙中出错给我做了五分糖，算了不跟小姑娘计较"，模型居然给我分到了差评。 为什么错？通用模型见过太多各行各业的语料，就是没见过奶茶店顾客这种软话里带点小不满的表达，拿捏不住分寸。后来我找品牌要了一千条他们自己过去两年的点评，找人标好了好坏，给模型做了微调，再跑准确率直接涨到了九成多，完全够用了。奶茶店用户点评情感分析标注示例图
你看，说白了，自然语言处理从来不是拿个现成模型就能搞定一切，它的价值永远绑定具体场景。脱离场景吹准确率，都是耍流氓。
吹破牛皮的误区，自然语言处理现在还有搞不定的事
吹破牛皮的误区，自然语言处理现在还有搞不定的事
不过话说回来，现在不管是卖方案的还是做概念的，都把这东西吹得太神了，好像明天就能代替所有人写东西说话。我就问一句，言外之意，它能读懂吗？
你去朋友家吃饭，朋友做了个红烧肉，你说"这肉可真咸啊"，笑着说就是开玩笑吐槽，皱着眉说就是真不满，文字一样，情绪完全不一样，机器现在分得清吗？大部分都不行。你买了奶茶，给商家留评说"你们家位置可真难找啊"，有的顾客是真抱怨，转脸就给三星，有的顾客就是随口一提，转头就给了五星，还夸奶茶好喝，机器就经常把这种话当成差评。
还有歧义句，我上学的时候老师就举过例子，"这个人好说话"，是说这个人性格随和容易沟通，还是说这个人喜欢说话？脱离上下文，谁都搞不清，机器更乱。更别说那些隐含的潜规则，中国人说话本来就弯绕，很多意思根本不在字面上。
还有风险，现在自然语言处理生成内容太容易了，几秒钟就能生成一篇假新闻，一分钟就能克隆出任何人的声音，拿来诈骗的太多了。我上个月帮公安朋友整理过一个诈骗案例，骗子用自然语言处理技术克隆了受害者儿子的声音，说自己被抓了要交保释金，受害者直接转了几十万，事后才知道上当。还有隐私，你跟AI聊天说的所有话，好多公司都存下来拿去训练模型，你说自己的过敏史、自己的房贷压力、甚至偷偷说的对老板的抱怨，全存在别人的服务器里，想想都后背发麻。
说实话，我做这行快十年了，我一直觉得，自然语言处理从诞生到现在，核心从来都不是"取代人"，而是帮人省掉重复无聊的力气。你让它帮你整理会议纪要，帮你把语音转成文字，帮你筛几万条评论，这都是好工具，真的省很多时间。但你非要让它代替客服跟用户聊天，代替写手写品牌软文，最后出了问题还是要自己擦屁股。
南京秋天的风那天吹在咖啡馆外面的梧桐树上，叶子哗啦响，我跟我那个朋友说，你要上这套系统没问题，把那些重复八百遍的问题，比如"包邮吗""怎么退货""营业时间是几点"给机器回答，真有问题了马上转人工，既省力气又不得罪用户，非要让机器接所有活，最后差评涨了，亏的还是你。
他听完点头，说原来这么回事，我之前被吹得晕头转向，现在终于懂了。
其实很多人对自然语言处理的误解，不都是这样吗？被一堆玄乎的概念吹得晕头转向，忘了它本质就是个帮人干活的工具。
话里的温度，话外的意思，永远只有人能读得懂。