南京河西的咖啡地图藏在开放数据平台里?原来它不止干巴巴的数据集
上周去南京河西找朋友蹭饭,想顺路找家新开的社区咖啡店坐会。找了半天。某点评上一半关店的还挂着,新开的根本搜不到。
我随手翻了Github上南京本地开发者整理的数据源清单,发现居然从南京文旅的开放数据平台里导出了全河西近三个月更新的商户名录,连上周刚开在社区楼下的精品咖啡店都有。坐标准,营业时间准,连能不能带宠物都标了。
那天坐在咖啡店吹空调的时候我就在想,很多人对开放数据平台的印象还停留在政府网站角落里那个没人点的栏目,全是几年不更的PDF,根本用不了。其实早就不是这么回事了。
你天天在用,只是没发现它的存在
很多人觉得开放数据平台是给专家和工程师用的,和普通人没关系。不对。你手机上用的实时公交APP,能告诉你车还有几分钟到,那个站点数据很多就是从城市交通的开放数据平台拉的。你用的天气APP,能给你推送街区级的降水预警,那个历史气象数据很多也是从气象开放平台拿的。甚至很多做本地探店的博主,找冷门景点的线索,都会从开放数据平台扒最新的文旅名录。
说白了,开放数据平台就是一个把原本锁在各个部门、各个企业手里的脱敏公共数据,整理好之后开放给所有人用的地方。它不是什么高大上的黑科技,就是一个共享工具柜。
南京文旅开放数据平台商户数据查询界面
国内最早一批开放数据平台,大概是十年前各地开始试水的政府数据开放门户,一开始就是凑数的。我刚工作那年帮客户做项目,要找城市的公共停车场数据,翻了三个平台,要么是只有汇总数,要么就是格式乱得根本打不开,最后还是花钱买的第三方数据。
这几年不一样了。很多新一线城市的开放平台做得非常顺手,数据按行业分类,更新频率从按年更改成按周更,甚至支持直接调用API,不用下载下来再整理,省了大把的时间。
开放数据平台,不是把数据扔上网就完事
很多人搞不清"公开数据"和"开放数据"的区别。我把十年前的城市统计年鉴扫描成PDF,挂到网站上,这叫公开,不叫开放。你让开发者怎么用?一个个OCR识别吗?
真正合格的开放数据平台,要满足三个最基本的要求:可机器读取、可自由调用、持续更新。所有数据都是结构化的csv或者json格式,拿到就能直接用,不用二次整理。大部分非敏感数据不需要复杂的资质申请,注册个账号就能拿,甚至不用注册直接下载。更新节奏跟上实际变化,不能商户都关了三年,数据还挂在上面。
开放数据平台API接口调用测试界面
我去年帮城郊的一个农业合作社做种植预测模型,就是从省农业农村厅的开放数据平台拉了十年的日平均气温、降水数据,还有不同区块的土壤肥力汇总数据。整个过程花了不到一个小时,一分钱没花。放在十年前,这些数据你根本拿不到,要买的话,十几万都打不住,那个小合作社根本做不起什么预测模型,只能靠老经验种地。
说实话,开放数据最大的价值,就是把原本只有大企业、大机构才能拿到的资源,开放给了普通的学生、小创业者、民间开发者。很多有意思的项目,都是靠开放数据做出来的。比如有人做了全国重点文物开放地图,你开车自驾游的时候,能直接找到藏在乡村里的国保单位,比那些攻略全多了。有人做了城市共享单车停放热力图,帮城管规划新的停车点,也帮骑车的人好找车。这些项目赚不到什么大钱,没有开放数据根本做不起来。
这些误区,很多玩数据的人都踩过
这些误区,很多玩数据的人都踩过
第一个误区,说开放数据都是没用的垃圾数据,好数据都不开放。
其实刚好反过来。真正能产生公共价值的数据,才会放到开放平台上。涉及隐私和安全的,本来就不该放出来。你要个人信息那是违法,不可能给你。但你要做城市规划、做产品、做研究,需要的汇总数据、公共数据,现在大部分都能在开放平台找到。
第二个误区,说开放数据会泄露隐私,不安全。
合规的开放数据平台,所有数据都是经过脱敏和脱密处理的。开放的都是聚合后的非识别数据,比如开放一个区的平均收入,不会给你任何个人的收入信息。开放一个公园的客流总量,不会给你哪个游客什么时候去的记录。真正会泄露隐私的是那些非法买卖数据的黑产,和开放数据平台没关系。
不过话说回来,现在国内的开放数据平台,还是有很多问题。很多三四线城市的平台,还是老样子,数据三五年不更,界面卡得打不开,找个数据翻半天找不到。还有很多开发者根本不知道有开放数据平台这种东西,做项目上来就花钱买数据,殊不知自己要的数据早就公开免费了。我之前认识一个大学生做毕设,花了两千块买城市公交数据,后来才发现本地开放平台上免费下,气得他连说自己亏大了。
开放数据平台,本质上开放的不是数据,是机会。你永远不知道哪个普通的大学生,拿了开放的公共交通数据,就能做出来帮残障人士规划无障碍路线的APP。你也不知道哪个老家在农村的创业者,拿了开放的气象和土壤数据,就能做出来帮老乡防灾害、提产量的小工具。它不是摆在网站上给领导看的政绩工程,是放在那里,等着普通人拿去用的工具箱。
就像我那天找到的咖啡店,要不是开放数据更新了,我可能永远错过那杯好喝的冰美式。很多有意思的改变,不就是从一组开放的数据开始的吗?