自然语言处理：我们天天用它，却不知道它早已颠覆了原有规则
前阵子帮朋友改简历，她投了个NLP算法岗，简历上还写着“精通RNN、LSTM原理”，我看完一口奶茶差点喷出来。不是说LSTM过时了，是现在招进来的应届生，张口就是大模型微调、对齐，谁还拿基础循环神经网络当核心竞争力啊？
早期基于规则的自然语言处理中文词典系统界面
后来统计学习火了一阵，大家开始用标注数据训模型，准确率比规则派高了一大截，直到2017年Transformer论文横空出世，整个圈子直接被颠覆。原来不用递归、不用按顺序处理序列，靠注意力机制就能把上下文语义抓得准准的。之后就是BERT、GPT一路狂飙，参数规模从百万涨到万亿，泛化能力甩早年的模型几十条街。
我当年读硕士的时候，组里做中文分词，就为了提一两个百分点的准确率，一帮人熬半个月改模型结构，现在随便拿个开源的base模型微调一下，准确率直接干到98%以上，还不用费那个劲。
真的。说起来都是泪。
现在的自然语言处理，核心早就不是解决单个的分词、句法分析任务了，目标是做通用的语义理解，能听懂人话，能说得出人话。
律所使用自然语言处理检索裁判文书的工作界面
说实话，现在能落地的自然语言处理项目，大多都不是那种炫技的聊天机器人，就是这种帮各行各业降本增效的小工具，但是恰恰是这些小工具，才是真的改变了普通人的工作。
很多人怕NLP抢饭碗，我认识一个做笔译的小姐姐，原来一千字翻译赚一百块，一天最多翻五千字，现在她用NLP做初翻，自己只需要改润色和错漏，一天能处理两千字的活，收入反而涨了一倍多。机器把重复的活干了，人就能去干更有创造性的部分，其实是这么回事。
自然语言处理下一步，还有几个绕不开的坎
发展快是快，坑也不少。现在整个行业都在盯着大模型做NLP，但还是有几个核心问题没解决。
第一个就是大家都在说的大模型幻觉。幻觉不是改改微调参数就能解决的，本质上现在的生成式NLP，还是靠概率拼接语义，它不是真的“知道”自己说的对不对，它只是选出了最通顺的组合。要是在普通聊天场景也就算了，在医疗、法律这种专业场景，说错一句话就是天大的问题，谁敢随便用？怎么把幻觉压到可接受的范围，到现在还是业内研究的核心课题。
第二个就是数据和隐私的问题。很多传统企业想要用自然语言处理处理自己的内部数据，比如病历、客户信息、财务报表，又不能把数据传到公网的大模型上去，那怎么办？现在火起来的轻量化微调、本地部署小模型，就是冲这个问题来的，做小而准的行业专用NLP模型，既能用，又不泄露数据，这是现在落地最快的方向。
第三个就是小语种和低资源语言的问题。现在大部分大模型都是堆中文英文的语料训出来的，很多小语种根本没那么多标注数据，做出来的模型效果差得离谱，这个缺口到现在也没填上。
不过话说回来，哪个新兴领域不是踩着坑走过来的？人类生产的所有信息里，八成以上都是自然语言，把这块玩明白了，能撬动的效率提升真的没法想象。
泡沫肯定有，炒概念骗投资的也不少，但是等潮水退了，剩下的那些真落地的项目，真的能改变整个社会的运转方式。你说对吧？
从“抠规则”到“喂数据”，自然语言处理改了世界观
早在上世纪八九十年代，国内刚开始做自然语言处理的时候，全靠语言学家一点点磨规则。一个“打”字，“打伞”“打车”“打游戏”“打工人”，不同搭配不同语义，要一个个手动写到规则库，累得头秃。稍微出个网络热词，比如今年的“显眼包”“搭子”，整个规则库都跟不上更新速度，根本没法用。 那时候谁能想到，短短三十年，整个领域的逻辑全换了。早期基于规则的自然语言处理中文词典系统界面
后来统计学习火了一阵，大家开始用标注数据训模型，准确率比规则派高了一大截，直到2017年Transformer论文横空出世，整个圈子直接被颠覆。原来不用递归、不用按顺序处理序列，靠注意力机制就能把上下文语义抓得准准的。之后就是BERT、GPT一路狂飙，参数规模从百万涨到万亿，泛化能力甩早年的模型几十条街。
我当年读硕士的时候，组里做中文分词，就为了提一两个百分点的准确率，一帮人熬半个月改模型结构，现在随便拿个开源的base模型微调一下，准确率直接干到98%以上，还不用费那个劲。
真的。说起来都是泪。
现在的自然语言处理，核心早就不是解决单个的分词、句法分析任务了，目标是做通用的语义理解，能听懂人话，能说得出人话。
现在的自然语言处理，早就跳出实验室跑进各行各业了
很多人对自然语言处理的认知，还停留在ChatGPT那种聊天机器人，其实早就是全场景渗透，我们每天都在蹭它的红利，只是自己没感觉到。 你刷短视频，自动给你生成的对齐字幕，就是自然语言处理做的语音转写加语义断句。你去电商平台搜“我要一件适合春天穿的浅色长袖衬衫”，原来的搜索只能抓“衬衫”“长袖”几个关键词，现在NLP能读懂你“适合春天”“浅色”的隐藏需求，直接给你推对味的款。 我上个月见一个做制造业的老板，他说他们公司现在用自然语言处理自动处理客户投诉工单，自动分类、自动派单，原来三个客服干的活，现在一个人盯着就行，人力成本直接砍了三分之二。广州那边做外贸的，很多用NLP实时翻译跨语种的商务谈判，原来要找个专业翻译，现在开个软件就能实时转，精度比早年的机器翻译高了不知道多少。 就连律所都在用，找相关案例，原来律师要翻几千万页的裁判文书，找一个星期才能理清楚脉络，现在用NLP检索，十几分钟就能把所有相似案例整理好，效率翻了上百倍。律所使用自然语言处理检索裁判文书的工作界面
说实话，现在能落地的自然语言处理项目，大多都不是那种炫技的聊天机器人，就是这种帮各行各业降本增效的小工具，但是恰恰是这些小工具，才是真的改变了普通人的工作。
很多人怕NLP抢饭碗，我认识一个做笔译的小姐姐，原来一千字翻译赚一百块，一天最多翻五千字，现在她用NLP做初翻，自己只需要改润色和错漏，一天能处理两千字的活，收入反而涨了一倍多。机器把重复的活干了，人就能去干更有创造性的部分，其实是这么回事。
自然语言处理下一步，还有几个绕不开的坎
自然语言处理下一步，还有几个绕不开的坎
发展快是快，坑也不少。现在整个行业都在盯着大模型做NLP，但还是有几个核心问题没解决。
第一个就是大家都在说的大模型幻觉。幻觉不是改改微调参数就能解决的，本质上现在的生成式NLP，还是靠概率拼接语义，它不是真的“知道”自己说的对不对，它只是选出了最通顺的组合。要是在普通聊天场景也就算了，在医疗、法律这种专业场景，说错一句话就是天大的问题，谁敢随便用？怎么把幻觉压到可接受的范围，到现在还是业内研究的核心课题。
第二个就是数据和隐私的问题。很多传统企业想要用自然语言处理处理自己的内部数据，比如病历、客户信息、财务报表，又不能把数据传到公网的大模型上去，那怎么办？现在火起来的轻量化微调、本地部署小模型，就是冲这个问题来的，做小而准的行业专用NLP模型，既能用，又不泄露数据，这是现在落地最快的方向。
第三个就是小语种和低资源语言的问题。现在大部分大模型都是堆中文英文的语料训出来的，很多小语种根本没那么多标注数据，做出来的模型效果差得离谱，这个缺口到现在也没填上。
不过话说回来，哪个新兴领域不是踩着坑走过来的？人类生产的所有信息里，八成以上都是自然语言，把这块玩明白了，能撬动的效率提升真的没法想象。
泡沫肯定有，炒概念骗投资的也不少，但是等潮水退了，剩下的那些真落地的项目，真的能改变整个社会的运转方式。你说对吧？