数字媒体技术:藏在流量背后的科研新风口
你刷到的丝滑AI短视频,演唱会舞台上飘到观众席的裸眼3D怪兽,小红书上一键生成的专属AI写真,全是它在背后托底。
大部分人都没意识到,它早不是实验室里摆弄像素的冷门方向,已经成了撑住内容行业的隐形骨架。
移动端单目实时动捕数字媒体技术实验图
说实话,我前几年跟一个做内容的老板聊天,他还说数字媒体技术就是高校骗经费的花架子,现在转头就把研发部门一半的坑都留给了这个方向的毕业生。
真香。
现在出门随便拉一个刷短视频的人问,你有没有觉得最近的美颜越来越自然,转场越来越丝滑,视频加载越来越快?这些体验提升,全是数字媒体技术一点点抠出来的。小到短视频的动态码率优化,大到演唱会的8K裸眼3D直播,哪一步都离不了。
不过话说回来,这个方向最有意思的地方,从来不是只给大厂做嫁衣。普通创作者拿到了低成本工具,就能造出自己的小世界。现在B站上不到一万粉的虚拟小V,有一半都是用低成本动捕做内容,放在十年前想都不敢想。
敦煌壁画数字媒体技术修复对比图
还有更绝的,现在神经外科的微创手术,医生用的实时导航系统,就是数字媒体技术把术前CT的二维数据重建成立体模型,实时叠加在手术视野上,血管和神经的位置一清二楚,不用医生靠经验猜,手术风险直接降了三成。
我当年填志愿选方向的时候,我爸还跟我说,学这个以后是不是去婚庆公司剪录像?给我气得半天没说出话。现在再看,多少985高校抢着开交叉学科,计算机+考古,计算机+医学,计算机+美术,核心都是数字媒体技术。去年国家自然科学基金立项公示,跟数字媒体技术相关的项目,比五年前翻了整整三倍,真金白银砸进来,当然是因为有用。
对吧?
没有用的方向,谁会给你砸这么多钱。前两年元宇宙炒概念的时候,很多人说数字媒体技术要凉,结果呢?概念凉了,技术留下来了,渗透到各个行业里,悄悄赚钱,悄悄改变。
接下来要闯的几道坎
当然,现在整个方向也不是一片坦途,坑还不少。
第一个就是版权的烂摊子。现在AI生成内容,训练数据里用了多少创作者的原创作品,到现在都说不清。你用数字媒体技术做一个跟某明星一模一样的数字人商用,算不算侵权?现在法律跟不上技术的脚步,很多团队做项目做到一半,就卡在版权这里,不敢上线。
然后就是数据壁垒。好的训练数据都攥在大互联网公司手里,高校实验室和小创业团队想拿高质量的标注数据,要么掏不起钱,要么根本拿不到。我上次听一个清华的年轻博导吐槽,申请了两百万的项目经费,想买一套动作数据,人家开口就要一百八十万,直接把预算干没了,剩下的钱连买显卡都不够。
太无奈了。
还有一个问题,就是实验室成果到落地还差一大截。很多论文里写着精度九十八,放到真实场景里,光线暗一点,角度偏一点,精度直接掉到六十,根本用不了。之前火过一阵的AI直播换脸,就是因为实时精度上不去,要么卡要么糊,一直没办法大规模用。
有意思的是,现在越来越多的年轻人愿意往这个坑里扎。我前段时间去看大学生双创赛,十个项目有六个沾数字媒体技术,有给非遗传承人做数字博物馆的,有给养猫家庭做宠物动态表情包的,还有给中小画室做AI改画的,什么稀奇古怪的方向都有。
本来技术就是从各种各样的尝试里长出来的,不是躲在实验室里算出来的。
你现在每天刷的短视频,用的VR试衣,看的数字博物馆,全都是这个方向一点点试出来的成果。接下来几年,还会有更多好玩的东西出来。
不信你走着瞧。
实验室里走出的流量密码
去年刷到B站一个虚拟主播,动捕丝滑得跟真人没差,我特意去问了问设备,人家就用了一个普通手机,加一套一千多块的动捕软件。换十年前,你想拿到这个精度的动捕数据,得租满是传感器的光学动捕棚,一天租金就不止一万。 这背后就是数字媒体技术最近五年的突破——移动端实时动捕精度提升超过45%,成本直接砍掉了99%。去年CVPR收录的成果里,至少有七分之一的内容跟消费级数字媒体内容生成有关,全是冲着落地去的。
移动端单目实时动捕数字媒体技术实验图
说实话,我前几年跟一个做内容的老板聊天,他还说数字媒体技术就是高校骗经费的花架子,现在转头就把研发部门一半的坑都留给了这个方向的毕业生。
真香。
现在出门随便拉一个刷短视频的人问,你有没有觉得最近的美颜越来越自然,转场越来越丝滑,视频加载越来越快?这些体验提升,全是数字媒体技术一点点抠出来的。小到短视频的动态码率优化,大到演唱会的8K裸眼3D直播,哪一步都离不了。
不过话说回来,这个方向最有意思的地方,从来不是只给大厂做嫁衣。普通创作者拿到了低成本工具,就能造出自己的小世界。现在B站上不到一万粉的虚拟小V,有一半都是用低成本动捕做内容,放在十年前想都不敢想。
那些被低估的跨界科研玩法
很多人提起数字媒体技术,第一反应就是剪视频做游戏。那可真是太狭隘了。 现在这个方向早就跨界跨得没边了。敦煌研究院的壁画修复,现在全靠数字媒体技术做多光谱扫描加AI补全,氧化掉的色彩能一点点还原出来,连一千年前画师起稿的草稿线都能扒出来,比人工修复快了几十倍,还不会破坏原壁画。
敦煌壁画数字媒体技术修复对比图
还有更绝的,现在神经外科的微创手术,医生用的实时导航系统,就是数字媒体技术把术前CT的二维数据重建成立体模型,实时叠加在手术视野上,血管和神经的位置一清二楚,不用医生靠经验猜,手术风险直接降了三成。
我当年填志愿选方向的时候,我爸还跟我说,学这个以后是不是去婚庆公司剪录像?给我气得半天没说出话。现在再看,多少985高校抢着开交叉学科,计算机+考古,计算机+医学,计算机+美术,核心都是数字媒体技术。去年国家自然科学基金立项公示,跟数字媒体技术相关的项目,比五年前翻了整整三倍,真金白银砸进来,当然是因为有用。
对吧?
没有用的方向,谁会给你砸这么多钱。前两年元宇宙炒概念的时候,很多人说数字媒体技术要凉,结果呢?概念凉了,技术留下来了,渗透到各个行业里,悄悄赚钱,悄悄改变。
接下来要闯的几道坎
接下来要闯的几道坎
当然,现在整个方向也不是一片坦途,坑还不少。
第一个就是版权的烂摊子。现在AI生成内容,训练数据里用了多少创作者的原创作品,到现在都说不清。你用数字媒体技术做一个跟某明星一模一样的数字人商用,算不算侵权?现在法律跟不上技术的脚步,很多团队做项目做到一半,就卡在版权这里,不敢上线。
然后就是数据壁垒。好的训练数据都攥在大互联网公司手里,高校实验室和小创业团队想拿高质量的标注数据,要么掏不起钱,要么根本拿不到。我上次听一个清华的年轻博导吐槽,申请了两百万的项目经费,想买一套动作数据,人家开口就要一百八十万,直接把预算干没了,剩下的钱连买显卡都不够。
太无奈了。
还有一个问题,就是实验室成果到落地还差一大截。很多论文里写着精度九十八,放到真实场景里,光线暗一点,角度偏一点,精度直接掉到六十,根本用不了。之前火过一阵的AI直播换脸,就是因为实时精度上不去,要么卡要么糊,一直没办法大规模用。
有意思的是,现在越来越多的年轻人愿意往这个坑里扎。我前段时间去看大学生双创赛,十个项目有六个沾数字媒体技术,有给非遗传承人做数字博物馆的,有给养猫家庭做宠物动态表情包的,还有给中小画室做AI改画的,什么稀奇古怪的方向都有。
本来技术就是从各种各样的尝试里长出来的,不是躲在实验室里算出来的。
你现在每天刷的短视频,用的VR试衣,看的数字博物馆,全都是这个方向一点点试出来的成果。接下来几年,还会有更多好玩的东西出来。
不信你走着瞧。