数据中台建设最疼的一刀:为什么两个部门的GMV能差出三百万
凌晨一点四十,钉钉响了。
财务说,本月GMV 8.72亿。运营说,8.75亿。差三百万,谁都不肯签字,月度经营会卡在这儿,大老板在群里甩了一句:“我们到底有几个真相?”
那天我坐在工位上,盯着两套SQL。一个把退款订单剔了,一个没剔。一个把测试环境的脏数据也算了进去,一个过滤了。就因为这两个口径,全公司熬到三点。
后来我们搞数据中台,我第一个想到的不是Hadoop、不是Flink、不是湖仓一体这些词,而是那个凌晨。数据中台建设这事儿,说到底不是买一堆组件,是让公司里所有人嘴里的“收入”“活跃用户”“留存”,指的是同一个东西。
口径打架,本质是没有人对“词”负责
先说个反常识的观察。
大部分公司做数据中台,第一个动作是选型。数仓用Hive还是ClickHouse?调度用Airflow还是DolphinScheduler?元数据用DataHub还是Atlas?会议开了七八轮,PPT做了六十页。
但真让中台崩掉的,往往不是这些。
是运营在BI上看“新客”是当天注册就算,还是当天完成首单才算。是财务的“营收”含不含税。是市场部把扫码未注册的也算成“线索”,销售部不认。
这些词,每个业务方心里都有一本账,但没人写下来。写下来了,也没人签字。签字了,换个负责人又推翻。
这就是问题拆到最底层的形状:数据中台的核心资产不是数据,是被定义过的、有主的数据指标。数据是原料,指标才是产品。而指标背后挂着的是一个“谁说了算”的权力问题。
技术解决不了权力问题。但技术可以逼着权力问题浮出水面,这就是中台真正的作用。
数据中台指标口径一致性维度建模分层架构图
那套“分层”到底在分什么
很多人背过那套分层:ODS、DWD、DWS、ADS。字母看不懂没关系,我换个说法。
把数据中台想象成一家中央厨房。
ODS是卸货区。从各个门店、外卖平台、供应商那儿拉来的菜,原样堆着,可能带泥,可能有烂叶子。这一层不许加工,也不许美化,唯一的要求是能追溯——今天这筐青菜从哪个供应商几点的车上下来的,得查得到。
DWD是洗切区。去根、去皮、切成统一的块。这里做的事叫“清洗和规范化”:手机号统一格式、时间统一时区、订单状态统一枚举值。关键是统一。A系统叫“已支付”,B系统叫“PAID”,到这儿必须都变成同一个值。
DWS是备菜区。切好的菜按菜谱组合:宫保鸡丁的料包、麻婆豆腐的料包。对应到数据,就是按主题聚合的宽表——用户主题、商品主题、交易主题。业务方要什么,直接拿料包。
ADS是出餐口。摆盘、加酱、按桌号送出去。BI报表、看板、API接口,都在这一层。
听起来挺顺对吧?但坑就在“切块”的标准上。
切多大算块?土豆切丁还是切片?——这就是维度建模要吵的架。而且这个架,必须吵完,不能跳过。
数据仓库DWD事实表与维度表关联ER图
我见过最典型的一个例子。交易事实表里,一条订单记录挂哪几个维度?下单时间、支付时间、发货时间、完成时间,四个时间维度。查“昨天卖了多少”,你按下单算还是按支付算?
答案是:都留着,让指标决定用哪个。事实表不预设答案,它只提供原子粒度的事实。所谓“原子指标”,就是不能再拆的那个动作——支付金额、支付笔数、退款金额。它们像乐高积木,本身没有业务含义的争论。
派生指标才是吵架现场:近30天支付金额、新客首单金额、复购用户客单价。每个派生指标 = 原子指标 + 修饰词 + 时间周期。这三个东西一旦定死,全公司算出来的数就一致了。
说穿了,数据中台建设的技术内核,是把“业务口号”翻译成“可计算的表达式”,并且把这个翻译过程存下来、串起来、管起来。
指标平台不是报表工具,是流程工具
指标平台不是报表工具,是流程工具
很多人以为指标平台就是个更好看的BI。错了。
它更像一个审批系统加一个注册中心。
任何一个人想新建指标,得走流程。填:指标名、业务定义、计算公式、归属域、责任人。提交后,数据团队和业务Owner一起评审。评审过了,这个指标就有了唯一编码,比如 trade.pay_amt_1d,全公司引用它,不许自己再写一套SQL。
这套机制听起来官僚,但它救过我们好几次。
有回运营想加个“高价值用户”,定义是“月消费满500”。我们没拦,只是把定义挂到指标目录里。三个月后他们想改成“满300”,一改,发现下游有十几个看板、两个算法模型、一个自动化营销任务都引用着它。系统弹出来依赖列表,运营自己就犹豫了。
依赖可见,是数据治理里最便宜也最有效的约束。你不知道自己会砸到谁的时候,什么都敢改;你知道会砸到十几个人的KPI,手就抖了。
这就是血缘(lineage)的价值。不是给领导看的漂亮拓扑图,是给改数的人看的“后果清单”。
但中台不是万能药,说几个我踩过的坑
但中台不是万能药,说几个我踩过的坑
坑一:把所有数据都往中台搬。
有过一段时间,我们的原则是“能进中台的都进”。结果ODS层堆了几千张表,一半没人查,存储费一年烧掉小几百万,元数据烂得没法看。后来才想明白,中台该管的是被反复使用、需要跨部门对齐的核心数据。一个只在某个小系统内部用的日志表,放那儿干嘛?
坑二:以为建完就完事了。
中台是活的。业务在变,指标在变,口径在变。你今天定好的“活跃用户”,明年产品改版可能就失效了。没有专门的运营团队维护,中台半年就开始腐烂——表还在,但没人敢信里面的数。
坑三,也是最要命的:组织没准备好,中台就是一台昂贵的摆设。
什么算准备好?至少得有一个能拍板口径的人或组织。不是数据团队,数据团队拍不了业务的口径。得是那种能跟财务总监、运营总监坐在一张桌上说“这个数就这么定,谁有意见现在提”的角色。
我见过太多公司,技术做得漂漂亮亮,指标目录建得整整齐齐,但因为没人真的用,半年后一起荒废。工具是锤子,但得有人愿意被钉。
说个扎心的:很多公司的问题,根本不是数据孤岛,是部门孤岛。数据只是它的投影。
什么情况下,你其实不需要数据中台
这话我憋很久了。
数据中台建设有它的适用边界。如果公司只有一个业务线,数据量也就几十G,几十个人在用BI,那老老实实搭个小数仓或者直接上商业BI工具,够用。硬上中台,是花钱买罪受。
中台的价值在“跨”字上——跨部门、跨系统、跨业务线、跨时间。不跨,就没必要。
另外还有两条边界线,我自己总结的:
数据能否产生决策。如果数据只用来做月报存档,没人拿它做决策,那投入产出比是负的。
组织结构是否支持。如果各业务线各自为政,谁也不服谁,那中台立项的第一天,就注定是政治斗争的道具,不是技术项目。
最后说回那个凌晨。
后来我们的处理方式是,把那两个GMV口径全部注册进指标平台,各自的适用范围写清楚,然后在大屏上并排展示,标签写明“运营口径”“财务口径”,加一行小字说明差异来源。老板看了眼说:“哦,原来是这样。”
三个小时的对账,最后解决它的不是技术,是把差异显式化。
这大概就是数据中台建设最朴素的那部分价值——它不生产真相,它只是让所有的“真相版本”摆在明面上,让你自己选,而且选完得认。
挺不性感的。但管用。