被吹得神乎其神的大数据分析技术,到底解决了什么真问题?
前阵子帮一个开社区超市的朋友算库存,他说有人给他推了几万块的大数据分析系统,吹得能帮他省三成备货成本,我听完直乐。
真的,现在大数据分析技术早就不是互联网大厂锁在机房里的玩物了,但很多人对它的认知,还停留在“给用户算命推广告”的阶段,要么吹上天,要么骂满地,根本没几个人说点实在的。
别再把大数据分析等同于“偷用户隐私”了
最早大众对大数据的坏印象,基本都来自“大数据杀熟”那堆破事,对吧?点个外卖都能给你贵两块,买个机票价格天天变,换谁不生气。
但说实话,最近三五年学界和产业界的主流方向,早就转了。现在顶会发论文,你要是还做那种扒用户隐私数据挖价值的方向,评委看都懒得看。去年我翻ICDE的接收论文,一半以上的大数据分析方向,都绕着联邦学习框架下的大数据分析转,核心逻辑说穿了很简单:数据不用出本地,模型过来算。
根本不需要把所有用户的原始数据攒到一个中心库里,各个机构自己留着数据,把训练好的模型传来传去,最后汇总出一个能用的分析结果,谁都拿不到你的原始信息。
横向联邦大数据分析技术架构图
就拿现在最火的癌症早筛研究来说,国内十几家三甲医院各有各的病例,数据不能互通,也不可能随便把病人的隐私数据往外传,放在以前,根本凑不出足够大的样本量训练模型,准确率上不去。用了这套方法之后,样本量翻了十倍,模型对早期肺癌的识别准确率直接提了18个百分点,这就是真真切切能救的人命啊。
你看,技术本身没毛病,有毛病的是乱用技术赚黑心钱的人,别把脏水全泼在大数据分析技术身上。
现在大数据分析技术赚大钱的地方,居然在传统产业
你是不是以为大数据分析都是BAT、字节这些大厂在玩?错了,我上个月去佛山逛国际工业博览会,一半以上的自动化展商,展台最核心的位置摆的都是工业大数据分析模块,围过来问的全是开工厂的老板。
我跟一个做铝材挤压的老板聊了半小时,他说之前工厂的老师傅干了三十年,调机器全靠手感,哪批型材要调多少温度、给多少压力,说出来基本没差,废品率一直控制在2%左右。去年老师傅退休,招了几个新人上手,废品率直接冲到5%,一吨铝材一万多,一个月多出好几吨废品,亏得他肉疼。
后来上了一套大数据分析系统,把过去十年所有开机记录、铝材批次、环境温度湿度、甚至当天电网的电压波动全导进去,跑了一周,直接给出了不同型材对应的最优参数区间,新人照着调,废品率直接降到2.1%,比老师傅差不了多少,三个月就赚回了系统钱。
铝材工厂工业大数据分析参数监控界面
不过话说回来,传统产业做大数据分析,坑真的不少。我见过最多的情况就是,老板钱花了,系统上了,最后拿不出合格的数据。很多工厂十几年的生产参数都记在车间的本子上,有的字都模糊了,有的丢了大半,好不容易录入系统,一半数据都是错的,你让算法怎么跑?
去年我看自然基金委的立项公示,超过40%的大数据相关项目,都是和传统产业结合的,农业估产、纺织排花、煤矿透水预测、食品保质期预测,啥方向都有。这说明什么?说明大数据分析技术的下一个增长点,根本不在互联网,在千千万万的传统工厂、农田里。
普通人要不要蹭大数据分析技术的风口?
普通人要不要蹭大数据分析技术的风口?
现在打开短视频,全是“零基础三个月学大数据分析,月入过万不是梦”,说实话,大部分都是割韭菜的。你去招聘网站翻一翻就知道,现在市场缺的根本不是会拉报表跑SQL的工具人,缺的是懂业务能解决真问题的分析师。
早十年,大数据刚火的时候,会搭Hadoop集群会写MapReduce,就能拿到大厂offer,现在呢?大厂的基础数据平台早就搭好了,各种低代码工具一抓一大把,连写查询语句GPT都能帮你做了,只会基础操作,那不就是等着被淘汰吗?
我身边这两年混得好的大数据从业者,一半都是跨界过来的。学作物学的,懂点大数据分析,就能帮种业公司筛选优良种子,比纯学计算机的懂业务,工资开得比大厂还高;学临床医学的,懂点大数据分析,就能帮药企做新药靶点筛选,药厂抢着要。
真没必要一窝蜂都去转专业学计算机,你把自己本行业的业务摸透,再学个Python、学个基础的数据分析工具,能把技术和自己已有优势结合起来的人,才是现在市场抢着要的香饽饽。光追风口,风停了摔死的都是追风口的猪。
前几天刷到一条新闻,宁夏种硒砂瓜的枣农,靠着大数据分析预测降水和气温,提前调整浇水和施肥的时间,每亩地多赚了快八百块。你看,哪有那么多玄乎的概念?
能帮人多赚点钱,少走点弯路,能救更多人,就是好技术,对吧。