开放数据平台：藏在科研圈里的效率革命
前阵子跟一群年轻博士生聚餐，一半人在吐槽找数据找得头秃。
有人做城市水文，要三十年的降雨径流数据，跑了三个档案馆，花了八千块买的纸质版，还要自己敲进Excel，错一个数整段作废。
有人做分子进化，要几十个物种的全基因组数据，国外的平台慢得像蜗牛，下了半个月，最后解压的时候提示文件损坏。
说白了，做科研这么多年，最浪费生命的环节，从来不是想问题做实验，是找数据。
而能解决这个问题的开放数据平台，太多人根本没用到点子上。
科研用开放数据平台数据检索界面截图
中国国家科技开放数据平台数据分类目录页
用好开放数据平台，是普通研究者的破局点
之前听一个顶刊编辑开分享会，说现在发高水平论文，有个隐形的加分项：你用的数据来自正规开放数据平台。
为什么？因为现在学界都要求研究可重复，你用自己攒的数据，审稿人要验证，你还得打包上传，麻烦不说，还容易被挑数据质量的毛病。你用开放平台的数据，直接给个DOI，审稿人点进去就能下载验证，可信度一下子就上来了。
去年我看Nature Communications上发的一篇关于中国湖泊变化的研究，核心数据全部来自开放数据平台，作者团队只是做了方法整合和分析，前后八个月就出了成果。换二十年前，要把全国这么多湖泊的面积数据攒齐，没有三五年根本下不来，团队一半人都得耗在找数据上。
现在呢？把找数据的时间省出来，多做两次分析，多发一篇论文不香吗？
不过话说回来，坑还是有的。
现在网上乱七八糟的开放数据平台也不少，有些数据没经过质控，来源都说不清，你稀里糊涂用了，最后结论错了，找谁说理去？
所以我的经验是，尽量找国家队的，高校和顶级科研机构运维的开放数据平台，别随便乱下不知名网站的数据包。
还有些老学者至今想不通，说我辛辛苦苦攒的数据为什么要开放？
说白了，你藏在手里，只有你自己能用，几年之后你退休了，数据也就烂了，谁记得你？你放到开放数据平台，十年二十年还有人引你的数据，你的学术影响力能留一辈子，哪个划算？
对于普通学校的年轻研究者来说，开放数据平台更是公平的起点。
原来你没资源没项目拿不到核心数据，根本做不了前沿方向，现在只要你有想法，就能拿到和顶流团队一样质量的数据，一样做一流研究，这不比你到处求人舒服？
你做科研，核心是你的想法，你的方法，不是你手里藏了多少别人拿不到的数据。
开放数据平台把门槛拉平了，接下来就看你的本事了。
哦对了，别觉得开放数据平台只是给做基础科研的用，做应用研究，做产业开发的，一样能用，好多城市开放了政务交通数据，好多企业开放了行业数据集，只要用对了，能省不知道多少成本。
我认识的一个博士，现在天天泡在开放数据平台挖新方向，原来一年出一篇小论文，现在半年就能出一篇大的，整个人头发都比之前掉的少了。
说实话，这才是开放数据平台该有的样子。
把浪费在找数据上的时间，还给真正该做的事。
很多人对开放数据平台的理解，错得离谱
不少人提起开放数据，第一反应就是“把数据公开免费下载”对吧？ 不对。 早年确实有一阵，大家觉得把数据往网站一挂就算开放了，结果就是一堆没有标注来源，没有质量控制，格式乱七八糟的数据包扔在那儿，下了也用不了。 现在正经的开放数据平台，核心是可复用、可溯源、可授权，三个标准缺一个都不算合格。 说白了，你下到手里的数据，得知道是谁做的，什么时候做的，用了什么方法测的，精度有多少，你能用在什么地方，会不会侵权，都给你说的明明白白。 去年我帮一个学环境的硕士生改毕业论文，他攒了大半年的全国植被覆盖数据，精度差得连自己都不敢用，最后换了国家生态科学数据中心开放的MODIS衍生数据集，直接用，质量比自己攒的高了不止一个档次，盲审直接拿了优。科研用开放数据平台数据检索界面截图
国内开放数据平台，这两年的变化超出想象
说实话，五年前我也不推荐大家用国内的开放数据平台。 那时候的平台，要么数据停留在2010年之前，更新一次等三年，要么搜个数据翻几十页目录，找到了还要填申请表，写用途，等平台审批，等一个礼拜都是快的。 好多人折腾半天，干脆还是找熟人要去了。 这两年不一样了。 国家层面推科技资源开放共享，好多国家队的平台都更新了家底，我随便举几个例子：天文领域郭守敬望远镜的数百万条光谱数据，全开放，免申请，直接下，用来发论文只要标来源就行。气候领域全国1200多个气象站六十年的日值观测数据，格式整理好，带质控码，下完就能用。甚至古生物领域，上千块化石的三维扫描数据，都开放下载了。 我上次帮一个做古气候重建的学生找数据，原来要联系三个不同省份的科研单位，前前后后花一个月，现在在国家青藏高原科学数据中心，十分钟下完所有数据。 这种体验，放在十年前想都不敢想。 还有一个特别重要的变化，现在正规平台都给每条数据集分配DOI了。 什么意思？就是数据集本身也变成了可以被引用的学术成果，你把自己的数据放上去，别人用了就得引你，你的学术影响力直接算进去，不用怕自己辛辛苦苦攒的数据被别人白嫖。 反过来，你用了平台的数据，也有规可循，不会闹出学术不端的纠纷。中国国家科技开放数据平台数据分类目录页
用好开放数据平台，是普通研究者的破局点
用好开放数据平台，是普通研究者的破局点
之前听一个顶刊编辑开分享会，说现在发高水平论文，有个隐形的加分项：你用的数据来自正规开放数据平台。
为什么？因为现在学界都要求研究可重复，你用自己攒的数据，审稿人要验证，你还得打包上传，麻烦不说，还容易被挑数据质量的毛病。你用开放平台的数据，直接给个DOI，审稿人点进去就能下载验证，可信度一下子就上来了。
去年我看Nature Communications上发的一篇关于中国湖泊变化的研究，核心数据全部来自开放数据平台，作者团队只是做了方法整合和分析，前后八个月就出了成果。换二十年前，要把全国这么多湖泊的面积数据攒齐，没有三五年根本下不来，团队一半人都得耗在找数据上。
现在呢？把找数据的时间省出来，多做两次分析，多发一篇论文不香吗？
不过话说回来，坑还是有的。
现在网上乱七八糟的开放数据平台也不少，有些数据没经过质控，来源都说不清，你稀里糊涂用了，最后结论错了，找谁说理去？
所以我的经验是，尽量找国家队的，高校和顶级科研机构运维的开放数据平台，别随便乱下不知名网站的数据包。
还有些老学者至今想不通，说我辛辛苦苦攒的数据为什么要开放？
说白了，你藏在手里，只有你自己能用，几年之后你退休了，数据也就烂了，谁记得你？你放到开放数据平台，十年二十年还有人引你的数据，你的学术影响力能留一辈子，哪个划算？
对于普通学校的年轻研究者来说，开放数据平台更是公平的起点。
原来你没资源没项目拿不到核心数据，根本做不了前沿方向，现在只要你有想法，就能拿到和顶流团队一样质量的数据，一样做一流研究，这不比你到处求人舒服？
你做科研，核心是你的想法，你的方法，不是你手里藏了多少别人拿不到的数据。
开放数据平台把门槛拉平了，接下来就看你的本事了。
哦对了，别觉得开放数据平台只是给做基础科研的用，做应用研究，做产业开发的，一样能用，好多城市开放了政务交通数据，好多企业开放了行业数据集，只要用对了，能省不知道多少成本。
我认识的一个博士，现在天天泡在开放数据平台挖新方向，原来一年出一篇小论文，现在半年就能出一篇大的，整个人头发都比之前掉的少了。
说实话，这才是开放数据平台该有的样子。
把浪费在找数据上的时间，还给真正该做的事。