数字媒体技术:藏在日常里的酷科研,不止带货数字人
上周去大学城参加产学研沙龙。推开门那秒,我直接看呆了。
不是那种摆满易拉宝的无聊聚会,整个展厅的墙都是动态交互的,你走过去,影子碰上去就会开出不同的花,墙面上还飘着最近两年国内数字媒体技术方向发的顶会论文标题,碰一下就能看成果演示。
数字媒体技术打造沉浸式交互展厅现场
去年清华大学计算机系团队在SIGGRAPH发的轻量化NeRF实时渲染成果,我当时看了现场演示,原来在手机端就能跑4K精度的动态NeRF渲染,功耗比之前的主流算法降了47%。
什么概念?之前你用AR试衣服,转个身模型就糊成马赛克,现在转一圈,衣服的纹理褶皱都跟你真穿身上差不多。我之前踩过坑,前年AR试了一条牛仔裙,看着挺合身,拿到手肩宽宽出三厘米,退货运费花了我十二块,现在用了新算法的商家,我试了三次都没踩错,技术进步真的能省钱。
还有你刷到的那些古风AI换脸视频,自然到看不出破绽,背后也是数字媒体技术做的人脸纹理匹配优化,放在五年前,根本做不到这么流畅。
数字媒体技术复原敦煌壁画残片成果展示
还有更神奇的,和临床医学交叉。现在南方医科大学的团队做情感交互数字人,能通过摄像头捕捉你的微表情,结合穿戴设备测到的生理数据,调整自己的语气和动作,给抑郁症患者做初始心理疏导,现在已经有三家精神卫生中心在做临床试点了,据说出诊率比纯线上文字咨询高了一倍还多。
好多社恐患者不敢跟真人医生说话,对着数字人反而能敞开心扉,你说,这算不算技术救人?
我之前跟一个做数字媒体的博导聊天,他说十年前招学生,大家都想来做游戏做动画,赚快钱,现在呢?大半学生选的方向都是无障碍、文物保护、医疗交互,谁不想做点真能留下痕迹的东西啊。
别让资本带偏了数字媒体技术的节奏
不过话说回来,现在这个领域也有挺闹心的事。
资本一窝蜂扎进去做带货数字人,一天能包装出来十个"金牌主播数字人",全是千篇一律的喊"家人们冲呀",好多真正有社会价值的科研成果,反倒找不到钱落地。
我上次沙龙碰到一个川大的博士,他做的手语翻译数字人,准确率能到98%,能实时翻译直播、视频内容,给听障人士用,找投资的时候,投资人开口就问他,能帮品牌带多少货,能做多少流量,他答不出来,就拿不到投资。你说闹心不闹心?
好多技术本来就是做公共服务的,怎么可能像带货数字人那样三个月回本?
好在最近一两年风向变了,不管是国家的科研基金,还是慢慢冷静下来的资本,都开始往真正有价值的方向投。去年国家自然科学基金立项的数字媒体技术方向项目,超过六成都是面向公共服务和文化保护的,不少互联网大厂也开始开公益项目养这些冷门方向的团队。
那个做手语翻译数字人的博士,上个月拿到了公益基金的资助,今年年底就能上线第一个版本,对接主流视频平台,到时候上千万听障人士就能看懂直播了。太好不是吗?
数字媒体技术,本质上是连接人和内容的技术,它可以用来赚快钱,也可以用来留住文明,帮助那些需要帮助的人。我见过年薪百万的数字媒体工程师,也见过在敦煌待了三年每个月拿几千块补贴的研究员,说实话,后者眼睛亮得惊人,聊起自己刚复原的一幅北魏壁画,能聊三个小时不重样,那股劲儿,真的能感染人。
技术从来都没有固定的模样,选择把它用在哪,才是最动人的部分。
我们的日常,早被数字媒体技术悄悄改写了
很多人对这个专业的印象还停留在"做剪片""做动画",早翻篇了好吗。 你早上刷短视频,AI给你做的智能背景虚化,你出门用AR导航找地铁站,你去网红馆打卡的沉浸式投影,你逛淘宝用的AR试鞋试衣,全是数字媒体技术堆出来的。 说实话,要是没这十几年数字媒体技术的迭代,我们现在的互联网内容,还停留在十年前图文加低清视频的阶段,根本不会有这么多花样。
数字媒体技术打造沉浸式交互展厅现场
去年清华大学计算机系团队在SIGGRAPH发的轻量化NeRF实时渲染成果,我当时看了现场演示,原来在手机端就能跑4K精度的动态NeRF渲染,功耗比之前的主流算法降了47%。
什么概念?之前你用AR试衣服,转个身模型就糊成马赛克,现在转一圈,衣服的纹理褶皱都跟你真穿身上差不多。我之前踩过坑,前年AR试了一条牛仔裙,看着挺合身,拿到手肩宽宽出三厘米,退货运费花了我十二块,现在用了新算法的商家,我试了三次都没踩错,技术进步真的能省钱。
还有你刷到的那些古风AI换脸视频,自然到看不出破绽,背后也是数字媒体技术做的人脸纹理匹配优化,放在五年前,根本做不到这么流畅。
现在的数字媒体技术科研,早就跳出内容创作的圈了
别以为数字媒体技术就是给娱乐圈做流量内容,现在的交叉方向,能惊掉你下巴。 比如说,和考古交叉,用数字媒体技术做文物复原。去年浙江大学艺术与考古学院联合计算机学院发的成果,用多模态语义分割加数字重建,把敦煌壁画碎成上百片的残片自动拼对,准确率做到了92%。 我给你算笔账,之前一个资深文物修复师,拼这么一组残片要小半年,还不一定对,现在呢?算法跑三天,人工修两周就能出完整的虚拟复原图,还能直接做线上展出,不用碰脆弱的原图,太香了。
数字媒体技术复原敦煌壁画残片成果展示
还有更神奇的,和临床医学交叉。现在南方医科大学的团队做情感交互数字人,能通过摄像头捕捉你的微表情,结合穿戴设备测到的生理数据,调整自己的语气和动作,给抑郁症患者做初始心理疏导,现在已经有三家精神卫生中心在做临床试点了,据说出诊率比纯线上文字咨询高了一倍还多。
好多社恐患者不敢跟真人医生说话,对着数字人反而能敞开心扉,你说,这算不算技术救人?
我之前跟一个做数字媒体的博导聊天,他说十年前招学生,大家都想来做游戏做动画,赚快钱,现在呢?大半学生选的方向都是无障碍、文物保护、医疗交互,谁不想做点真能留下痕迹的东西啊。
别让资本带偏了数字媒体技术的节奏
别让资本带偏了数字媒体技术的节奏
不过话说回来,现在这个领域也有挺闹心的事。
资本一窝蜂扎进去做带货数字人,一天能包装出来十个"金牌主播数字人",全是千篇一律的喊"家人们冲呀",好多真正有社会价值的科研成果,反倒找不到钱落地。
我上次沙龙碰到一个川大的博士,他做的手语翻译数字人,准确率能到98%,能实时翻译直播、视频内容,给听障人士用,找投资的时候,投资人开口就问他,能帮品牌带多少货,能做多少流量,他答不出来,就拿不到投资。你说闹心不闹心?
好多技术本来就是做公共服务的,怎么可能像带货数字人那样三个月回本?
好在最近一两年风向变了,不管是国家的科研基金,还是慢慢冷静下来的资本,都开始往真正有价值的方向投。去年国家自然科学基金立项的数字媒体技术方向项目,超过六成都是面向公共服务和文化保护的,不少互联网大厂也开始开公益项目养这些冷门方向的团队。
那个做手语翻译数字人的博士,上个月拿到了公益基金的资助,今年年底就能上线第一个版本,对接主流视频平台,到时候上千万听障人士就能看懂直播了。太好不是吗?
数字媒体技术,本质上是连接人和内容的技术,它可以用来赚快钱,也可以用来留住文明,帮助那些需要帮助的人。我见过年薪百万的数字媒体工程师,也见过在敦煌待了三年每个月拿几千块补贴的研究员,说实话,后者眼睛亮得惊人,聊起自己刚复原的一幅北魏壁画,能聊三个小时不重样,那股劲儿,真的能感染人。
技术从来都没有固定的模样,选择把它用在哪,才是最动人的部分。