别再把开放数据平台当免费网盘用了——一线工程师踩过的3年坑
上周帮读城乡规划的学弟改毕设。他蹲在我工位旁边啃了半块凉掉的肉包,说找南京主城区的非机动车停放热点数据找了整整一周,要么是要填一堆盖了公章的企业资质申请,要么是下下来的文件全是打了码的模糊点位。我把存了两年的书签栏翻给他看——就是那个藏在南京市政务服务网三级菜单里的开放数据平台,点进去3分钟就能下到带经纬度的原始数据,连字段说明都附在旁边。他当场瞪大眼睛,说从来不知道有这东西。
南京城市开放数据平台非机动车停放点位下载界面截图
真的开放,从来不是“把数据扔出去”。
是你既不能把涉及隐私的原始数据直接甩给所有人,也不能把数据裹得严严实实,让真正想做研究、做产品的人拿不到能用的内容。我之前跟合规岗的同事吵过不下十次,他说多一个可识别的字段就多一分风险,我说差一个字段整个模型的误差就会涨30%,最后磨出来的流程是,所有需要精细化数据的团队,都要提交具体的使用场景说明,签保密协议,才能拿到经过二次脱敏的定制化数据包——既不违反合规要求,也不耽误真正有用的应用落地。
开放数据平台字段脱敏规则与更新时间说明页
更有意思的是,很多人不知道开放数据平台的数据集是可以提需求的。我之前管过半年的需求对接通道,有个做城市生态研究的学生提需求,说想要全市的行道树分布数据,之前跑了好几个部门都要不到。我们协调了园林部门的同事,花了一个月把所有行道树的位置、树种、树龄整理成标准格式上传到平台,后来那个学生用这个数据做的城市热岛效应研究,还拿了全国大学生竞赛的奖。
当然也有离谱的需求。有人开口就要全市的实时监控点位数据,我都想反问一句,你要这东西干嘛?当特工啊?
你以为的开放数据平台,和实际跑起来的根本不是一回事
很多人对开放数据平台的印象,还停留在“政府把不用的公共数据扔上去当免费资源”的阶段。我在政务信息化的项目组泡了快三年,刚进场的时候跟着团队做初期的内容梳理,当时运营岗的同事拍着胸脯说,开放嘛,就得敞亮,把所有能拿出来的数据都堆上去,用户想要什么就下什么。 结果上线第一周就出了问题。有个团队下了某老小区的住户电表月度用电数据,转头就做了个“空巢老人识别模型”,把数据卖给了做养老产品的商家。我们当时连夜排查,才发现那批数据虽然删掉了户主姓名,但精确到门牌号的用电曲线完全能反推出住户的生活规律,合规岗的同事当时脸都白了。 从那之后我们改了整整三个月的规则。所有涉及个体的字段全部做泛化处理——比如把精确到门牌号的地址改成100米网格的中心点,把带手机号的用户数据直接删掉,只保留聚合后的统计值。哪怕是做交通模拟的团队反复提需求,说需要更精准的人流数据,我们也咬着牙没松过口。
南京城市开放数据平台非机动车停放点位下载界面截图
真的开放,从来不是“把数据扔出去”。
是你既不能把涉及隐私的原始数据直接甩给所有人,也不能把数据裹得严严实实,让真正想做研究、做产品的人拿不到能用的内容。我之前跟合规岗的同事吵过不下十次,他说多一个可识别的字段就多一分风险,我说差一个字段整个模型的误差就会涨30%,最后磨出来的流程是,所有需要精细化数据的团队,都要提交具体的使用场景说明,签保密协议,才能拿到经过二次脱敏的定制化数据包——既不违反合规要求,也不耽误真正有用的应用落地。
那些藏在字段里的、没人告诉你的落地细节
去年有个做适老化改造的小团队找过来,说要做全市老旧小区的扶手加装点位规划,本来已经准备花半年时间跑现场摸排,挨栋楼数台阶、统计老人跌倒的高发位置。我给他们指了开放数据平台的入口,他们下了全市的社区养老服务站分布数据,还有近三年的老人跌倒警情聚合点位,两周就把优先级最高的200多个楼道列了出来,比之前的预估时间快了整整三倍。 但我也见过太多踩坑的。有个做商圈分析的创业团队,去年年初给客户做线下门店选址的报告,从平台下了2019年的商圈客流数据,做出来的结论说某老商圈的人流还在涨,结果客户去实地蹲了三天,发现疫情之后那个商圈的人流比2019年少了近一半,最后赔了一大笔违约金。 说真的,很多人下数据的时候根本不看旁边的小字注释。开放数据平台的每个数据集下面,都标了更新时间、采集方式、适用范围,就像你买食材的时候要看生产日期一样——你总不能拿着冰箱里放了三年的冻肉,做出来的菜还怪味道不对吧。
开放数据平台字段脱敏规则与更新时间说明页
更有意思的是,很多人不知道开放数据平台的数据集是可以提需求的。我之前管过半年的需求对接通道,有个做城市生态研究的学生提需求,说想要全市的行道树分布数据,之前跑了好几个部门都要不到。我们协调了园林部门的同事,花了一个月把所有行道树的位置、树种、树龄整理成标准格式上传到平台,后来那个学生用这个数据做的城市热岛效应研究,还拿了全国大学生竞赛的奖。
当然也有离谱的需求。有人开口就要全市的实时监控点位数据,我都想反问一句,你要这东西干嘛?当特工啊?