开放数据平台真的只是放数据的共享网盘吗?
去年9月中,南京的秋老虎还在发威,我穿个T恤汗透了半边,去河西的产业园给一个社区改造项目对接数据需求。团队要给主城区的老小区做适老化改造选址,需要叠三个数据:现有小区的建成年代、60岁以上人口分布、三公里内养老服务网点的覆盖情况。
我当时第一个反应就是,去开放数据平台找啊,现成的,省得我们跑各个部门打申请。结果翻了四五个大小平台,越找越火。要么是只能在线看预览,下载要填单位信息、项目用途,等三个工作日人工审核。好不容易审核过了,下下来的是PDF扫描件,还是好几年前的统计公报,根本抠不出结构化的坐标数据。要么是给了csv格式,打开一看坐标全错,一半网点的地址乱码,更新时间停在2019年。
那趟满头汗的经历,让我发现一件事。很多人根本没搞懂开放数据平台到底是什么。
真正的开放,从来不是把文件堆上网
很多人对开放数据平台的印象,就是个存数据的共享网盘。官方或者企业把整理好的数据传上去,开放给大家下载,就叫开放了。真不是这么回事。
所谓开放,核心是三个“能”:能被机器读,能免费商用(大部分情况),能直接调用不用求人。
第一个能被机器读,就是说不能是图片不能是扫描件不能是不可复制的PDF,得是结构化的csv、json,或者直接给接口,你要什么数据直接拉,不用自己手动敲进去整理。之前我们拿到过某平台放的老旧路网数据,是从论文里截的图,我们整整三个实习生花了一周才抠完,你说这叫哪门子开放?
南京老小区适老化改造项目数据需求表
第二个能免费商用,就是说你不用拿到原机构的书面授权,只要不违反用户协议,你做创业项目做商业产品都能用。很多平台说自己开放,其实只给你看,不能用来做盈利项目,本质还是展示,不是开放。
第三个能直接调用,就是说现在做产品的,谁还手动下数据更新啊,都是程序自动拉最新数据。好的开放数据平台都有开放API,你调接口就能拿到实时更新的数据,不用每个月上去下一遍新包。
说实话,这个差别真的很大。就拿刚才说的适老化改造项目来说,真开放的平台,你输入你要的区域,直接导出带坐标的结构化数据,十分钟就能导入你的算法模型出结果。假开放的话,你折腾一周都不一定能用。
普通人能从开放数据平台挖到什么宝贝
很多人说,我又不是做大数据的,我用开放数据平台干嘛?其实真不是,各行各业都能用。
你是学城市规划的学生,写毕业论文要分析南京地铁站周边的商铺密度,不用去跑现场数,开放数据平台上有现成的POI数据,下下来直接算,省你半个月的实地调研时间。你是开独立咖啡店的老板,选店址要看看周边三公里有多少写字楼多少年轻住户,买数据贵不说,小本生意犯不上,去开放数据平台拉一份人口和POI数据,自己算一遍,心里就有数了。你是做出行类小程序的开发者,需要全国的景区开放时间、票价数据,自己一家一家去爬要疯,平台已经给你整理好脱敏了,直接调接口用就行。
开放数据平台API接口调用示例页面
我之前认识一个南大的学生团队,做玄武湖的智慧游园引导小程序,就是靠开放数据平台拼起来的。天气数据拉的气象开放平台,公共交通到站数据拉的交通局的开放平台,景区的厕所、休息点位置是景区开放出来的数据,整个项目除了人力,没花一分钱买数据,最后做出来还挺好用,周末逛玄武湖的人不少用。
放在十年前,你想拿到这些公开的数据,要打多少报告盖多少章,跑多少个部门,普通人想都不敢想。现在只要你会搜,十来分钟就能拿到,这就是开放数据平台最大的意义:它把原来只有少数机构能拿到的公共数据,下放到了每个人手里。
不过话说回来,不是所有开放数据平台都能做到这个程度。我见过不少平台,为了凑指标,堆了一大堆数据上去,大部分是政策文件、新闻稿,真正能用的结构化数据没十分之一,摆样子的成分多过实际用处。
这些坑,我帮你踩过了
这些坑,我帮你踩过了
用开放数据平台,有几个常见的误区,我踩过,说出来你别再跳。
第一个误区,开放数据不代表完全免费。很多基础的公共数据确实是免费的,但一些处理成本高、更新频率快的数据,平台会收少量的调用费用,比如实时的交通流量数据,或者高精度的POI数据,毕竟人家平台也要花钱做清洗做维护,收点钱很正常。别一看到收费就骂人家不开放,这年头,免费的才是最贵的,免费的大多是放了三四年的旧数据,错漏一堆,你用了反而坑自己。
第二个误区,开放数据不代表可以随便用。所有开放数据都有使用协议,大部分都要求不能反向推演识别出个人信息,不能用来做违法违规的用途。我之前听说过一个开发者,把开放的出行数据倒卖给第三方做精准营销,最后吃了罚单,怪平台没说清楚,其实人家协议第一条就写了,怪谁?
第三个误区,开放数据不代表100%准确。平台只负责把数据标准化脱敏,不对数据的准确性做背书,毕竟原始数据都是各个来源报上来的。你拿到数据一定要自己做校验,我刚入行的时候,拿某平台的开放人口数据直接做模型,结果算出来的结果和实际实地调研差了快两成,整整改了一周模型才发现是数据本身的统计口径不对,头都大了。
还有,你得知道开放数据平台的边界在哪里。它给你的都是脱敏后的公共数据,不可能给你涉及个人隐私的细粒度数据,也不可能给你未公开的内部数据,别想着上去挖什么不该碰的东西,那不可能。还有,现在很多小城市的数据覆盖不全,你要是做地方项目,可能还是得自己补数据,别指望平台给你备齐了。
说实话,这几年我看着国内的开放数据平台一步步起来,真的觉得是件好事。原来数据是少数机构的资源,现在普通人只要动动手指就能拿到,你想做点什么研究,做点什么小创业,门槛低了太多。
它不是什么改变世界的黑科技,就是一个给普通人用的工具。就像你查资料用搜索引擎,找路用地图,你要数据,就去开放数据平台挖一挖,说不定就能挖到你想要的宝贝。对吧?