众包技术平台:重构科研生产的隐形智力基建
去年帮学天文的师妹改毕业论文,惊掉我下巴。
她做的星图识别标注,几十万张星云图片,自己闷头做要三年。结果放众包技术平台上,两百多个天文爱好者加在校天文系学生,半个月就做完了。
这效率,谁看了不喊一句卧槽。
科研众包技术平台任务分发界面截图
之前看过中科院自动化所2023年的调研,2020到2023这三年,国内生命科学、天文、地理、自动驾驶这些领域,超过三成需要大样本处理的科研项目,都用过众包技术平台。
说白了,现在不管是AI训练还是大样本科研,最愁的不是技术突破,是脏活累活没人干。
AI模型再先进,总得有人标数据吧?自动驾驶要认不同路况的行人,总得有人把几万张路拍里的行人框出来吧?天文学家要找星云,总得有人先把无效图像筛出来吧?
大机构养一堆全职标注员,成本高,活少的时候养不起,活多的时候招不到人。找众包,按件计费,做完就结,灵活到骨子里。
说实话,我之前接触过一个做自动驾驶的创业公司,他们最难的环节根本不是写算法,是找各种极端天气下的道路场景标注。总不能自己开车跑遍全国所有山区戈壁等下雪吧?
放众包技术平台上,全国各地的兼职司机、户外爱好者都能接活标,半年攒了十几万份有效样本,成本比找传统外包便宜了快一半。
众包技术平台数据质量校验流程图
现在成熟的众包技术平台,早就想出解法了。不是靠专家全检,那样成本还不如自己做。靠算法交叉校验,同一个小任务分给三个人做,三个结果一致直接通过,结果不一致就再分给第四个人,最后算法算结果置信度,乱填的水活直接就筛出去了。
还有个大坑,就是知识产权和隐私。之前出过事,科研单位把未公开的基因测序数据放平台招人标注,结果被人把整段数据泄露到外网,吃了好大的官司,项目直接停了一年。
现在正规的众包技术平台,都会先做数据脱敏,再把整项任务拆成无数个互不关联的小碎片,每个接任务的人只能拿到一小块匿名数据,拼都拼不出来完整信息,根本泄露不了核心内容。
我还见过更绝的,做密码学破译的科研项目,把整个任务拆成了几百万个独立的计算小碎片,每个接任务的人只需要算自己手里那道小题,谁都不知道整体项目在做什么,安全得离谱。
未来,众包技术平台会打开普通人进科研的大门
你有没有想过,以后你不用考博士,不用进顶级科研院所,下班回家刷半小时手机,就能参与世界级的科研项目,甚至能在顶级论文的致谢里留下名字?
这不是画饼,现在已经成真了。
早年寻找系外行星的开普勒项目,就是靠全球几十万天文爱好者在众包平台上帮着看望远镜拍的图像,真的找到了十多颗之前没发现的新行星,不少参与者就是普通的中学生、办公室职员,照样留名。
对吧?
现在国内不少985高校也开始搭自己的众包技术平台,不仅放科研任务,还给普通人做免费的基础培训,中学生、退休工程师、业余爱好者都能接活参与。去年有个甲骨文整理的科研项目,把需要拼对的碎片拆成小任务放平台,好多书法爱好者和中学历史老师参与,半年就整理好了过去专家要做十年的碎片库,还真破译了三个之前没人认出来的古文字。
众包技术平台本质上是什么?就是用技术把分散在社会各个角落的闲置智力、人力攒起来,干过去只有顶尖大机构才能干成的事。
以前我们总说,科学是少数精英在象牙塔里玩的东西。现在不一样了,一个项目需要的人手越多,需要的数据样本越分散,众包技术平台的优势就越大。
比如现在做全球气候变化研究,需要攒不同区域的植被覆盖、河流水文的观测数据,靠十几个研究队跑,跑十年都跑不完。放众包技术平台上,各地的环保志愿者、中学地理老师、登山爱好者都能帮忙上传观测数据、标注样本,不到两年就攒出来比过去十年总量还大的数据库。
当然,我不是说众包能代替专家。核心的理论创新、方向把控,还是得靠深耕领域的精英,众包代替不了。但那些需要堆人力的脏活累活,众包技术平台全部包圆,能帮专家省多少时间?
专家能把全部精力放在真正需要动脑子的地方,这不就是推进科研最快的方式吗?
我去年和一个做众包技术平台的创始人聊天,他说他当初做这个的初心,就是见过太多好的科研项目,硬生生卡壳在“没人干活”这一步,太可惜了。本来五年就能出的成果,因为没人手拖到十年,不知道错过多少改变行业的机会。
真的,每次想到这里都觉得兴奋。原来普通人离科学这么近,原来零散的微小力量凑起来,能撬动这么大的事。
原来硬核科研也能“拼单”,众包技术平台不是低端活聚集地
很多人对众包的印象,还停留在十年前威客网站接个文案、做个logo的零散活计。早变天了。 现在的众包技术平台,早就扎进了最硬核的科研和产业领域,变成了不能缺的基础设施。
科研众包技术平台任务分发界面截图
之前看过中科院自动化所2023年的调研,2020到2023这三年,国内生命科学、天文、地理、自动驾驶这些领域,超过三成需要大样本处理的科研项目,都用过众包技术平台。
说白了,现在不管是AI训练还是大样本科研,最愁的不是技术突破,是脏活累活没人干。
AI模型再先进,总得有人标数据吧?自动驾驶要认不同路况的行人,总得有人把几万张路拍里的行人框出来吧?天文学家要找星云,总得有人先把无效图像筛出来吧?
大机构养一堆全职标注员,成本高,活少的时候养不起,活多的时候招不到人。找众包,按件计费,做完就结,灵活到骨子里。
说实话,我之前接触过一个做自动驾驶的创业公司,他们最难的环节根本不是写算法,是找各种极端天气下的道路场景标注。总不能自己开车跑遍全国所有山区戈壁等下雪吧?
放众包技术平台上,全国各地的兼职司机、户外爱好者都能接活标,半年攒了十几万份有效样本,成本比找传统外包便宜了快一半。
众包技术平台的坑,没碰过的人根本不知道
不过话说回来,不是把任务往平台上一扔,就能躺着等收成果。坑多了去了。 最大的问题,就是数据质量参差不齐。 接任务的人水平不一样,有人熬着夜仔细标,有人为了快随便瞎填混佣金。之前有个团队做医疗影像标注,找了个没资质的小平台,最后收上来近三成数据都是错的,直接耽误了项目大半年进度,项目负责人差点被开除。
众包技术平台数据质量校验流程图
现在成熟的众包技术平台,早就想出解法了。不是靠专家全检,那样成本还不如自己做。靠算法交叉校验,同一个小任务分给三个人做,三个结果一致直接通过,结果不一致就再分给第四个人,最后算法算结果置信度,乱填的水活直接就筛出去了。
还有个大坑,就是知识产权和隐私。之前出过事,科研单位把未公开的基因测序数据放平台招人标注,结果被人把整段数据泄露到外网,吃了好大的官司,项目直接停了一年。
现在正规的众包技术平台,都会先做数据脱敏,再把整项任务拆成无数个互不关联的小碎片,每个接任务的人只能拿到一小块匿名数据,拼都拼不出来完整信息,根本泄露不了核心内容。
我还见过更绝的,做密码学破译的科研项目,把整个任务拆成了几百万个独立的计算小碎片,每个接任务的人只需要算自己手里那道小题,谁都不知道整体项目在做什么,安全得离谱。
未来,众包技术平台会打开普通人进科研的大门
未来,众包技术平台会打开普通人进科研的大门
你有没有想过,以后你不用考博士,不用进顶级科研院所,下班回家刷半小时手机,就能参与世界级的科研项目,甚至能在顶级论文的致谢里留下名字?
这不是画饼,现在已经成真了。
早年寻找系外行星的开普勒项目,就是靠全球几十万天文爱好者在众包平台上帮着看望远镜拍的图像,真的找到了十多颗之前没发现的新行星,不少参与者就是普通的中学生、办公室职员,照样留名。
对吧?
现在国内不少985高校也开始搭自己的众包技术平台,不仅放科研任务,还给普通人做免费的基础培训,中学生、退休工程师、业余爱好者都能接活参与。去年有个甲骨文整理的科研项目,把需要拼对的碎片拆成小任务放平台,好多书法爱好者和中学历史老师参与,半年就整理好了过去专家要做十年的碎片库,还真破译了三个之前没人认出来的古文字。
众包技术平台本质上是什么?就是用技术把分散在社会各个角落的闲置智力、人力攒起来,干过去只有顶尖大机构才能干成的事。
以前我们总说,科学是少数精英在象牙塔里玩的东西。现在不一样了,一个项目需要的人手越多,需要的数据样本越分散,众包技术平台的优势就越大。
比如现在做全球气候变化研究,需要攒不同区域的植被覆盖、河流水文的观测数据,靠十几个研究队跑,跑十年都跑不完。放众包技术平台上,各地的环保志愿者、中学地理老师、登山爱好者都能帮忙上传观测数据、标注样本,不到两年就攒出来比过去十年总量还大的数据库。
当然,我不是说众包能代替专家。核心的理论创新、方向把控,还是得靠深耕领域的精英,众包代替不了。但那些需要堆人力的脏活累活,众包技术平台全部包圆,能帮专家省多少时间?
专家能把全部精力放在真正需要动脑子的地方,这不就是推进科研最快的方式吗?
我去年和一个做众包技术平台的创始人聊天,他说他当初做这个的初心,就是见过太多好的科研项目,硬生生卡壳在“没人干活”这一步,太可惜了。本来五年就能出的成果,因为没人手拖到十年,不知道错过多少改变行业的机会。
真的,每次想到这里都觉得兴奋。原来普通人离科学这么近,原来零散的微小力量凑起来,能撬动这么大的事。