数字媒体技术：当比特流撞上真实感官
去年9月23日在南京江北的一场小型产学研对接会上，我听一个做技术落地的工程师吐槽了快半小时。
甲方拿了一张清晰度勉强够看的卫星图，就让他一周做出整座古城的可交互数字模型，精度要能看清城墙上的砖缝。
这不扯吗。
户外自然光下动作捕捉精度对比图
说实话，很多所谓的创新应用，本质就是堆钱堆硬件，根本没搞清楚技术本身的适用边界。做古建数字化，你要的是文物存档精度还是文旅展示效果？要存档就得上激光扫描，一块区域一块区域慢慢扫，急不得，要展示就可以做简化LOD模型，别硬要两头都占。
很多泡沫就是这么来的，把技术的能力吹得太满，最后用户期待拉得太高，摔下来的只能是做落地的人。
实时渲染分辨率帧率算力关系图
不少人说AI补帧补分辨率能解决这个问题，其实AI补出来的细节都是训练出来的“合理猜测”，做提前渲染好的影视内容没问题，放到实时交互场景里，AI补帧的误差会被动态动作放大，经常出现物体边缘扭曲、抖动的问题，体验感反而更差。
不过话说回来，工业界早就找到务实的实现路径，现在主流的方案就是视差分层渲染，把画面按照前景、中景、背景分开，给需要高清晰度的交互物体分配满算力，背景只保留低精度动态，既保证了核心的视觉效果，又把算力占用压下来了。没有什么黑科技，就是取舍的艺术。
未来的窄路：往细分场景扎进去
现在到处都在做通用数字人、超大场景数字孪生，看起来热热闹闹，其实大多数项目都没法实现正向盈利，本质就是抢噱头堆规模，没有解决真问题。
反过来，往细分垂直场景扎进去，反而能走出实实在在的路。比如骨科手术的术前规划场景，把患者的二维CT扫描数据重建成可交互的三维病灶模型，医生可以在模型上模拟切割、置钉，提前规划手术路径，比对着二维平片规划的准确率高了不止一点。这类场景不需要你做多么花哨的交互效果，也不需要你吹多少概念，只需要精度够、数据准、符合医疗行业的规范，就能产生真正的价值，也能活得很好。
当然，必须要提的就是现在还没完全厘清的应用边界和风险。最突出的就是数据风险，做数字人要采集用户的面部特征，做动捕要采集用户的肢体信息，这些属于不可更改的生物特征数据，一旦泄露被滥用，根本没法像密码那样换一个，对用户的伤害是永久性的。现在很多小团队采集数据的时候，授权协议写得糊里糊涂，存储也不做端到端加密，留了很大的隐患。
内容层面的风险也一样，深度合成技术的滥用，已经给虚假内容传播开了方便之门，技术本身没有对错，但使用的边界一定要清晰。
那天南京的会散场的时候，那个吐槽的工程师说，他现在接项目，第一件事就是给甲方讲三遍，技术能做什么，不能做什么，讲清楚了再谈价格，省得最后闹得不愉快。
技术从来不是用来吹泡泡的。
是拿来解决问题的。
泡泡吹得再大，总有破的一天。
被放大的“全能幻觉”
现在太多行业外的参与者，会默认能做出惊艳展示效果的技术，就能搞定所有场景的需求。太多招商PPT把技术吹得无所不能，真到落地全是藏不住的坑。 就拿动作捕捉来说，影棚内用标记点的方案，精度可以稳定做到亚毫米级，够满足影视动画、游戏制作的需求。但放到户外文旅的互动场景里，阳光的漫反射、风吹树叶的遮挡、游客身上衣物的反光，随便一个变量就能让误差跳到厘米级，原本设计好的体感交互，动不动就失灵。很多没踩过坑的团队接了活，最后交不出货亏保证金的，不在少数。户外自然光下动作捕捉精度对比图
说实话，很多所谓的创新应用，本质就是堆钱堆硬件，根本没搞清楚技术本身的适用边界。做古建数字化，你要的是文物存档精度还是文旅展示效果？要存档就得上激光扫描，一块区域一块区域慢慢扫，急不得，要展示就可以做简化LOD模型，别硬要两头都占。
很多泡沫就是这么来的，把技术的能力吹得太满，最后用户期待拉得太高，摔下来的只能是做落地的人。
感官模拟的算力枷锁
这么多年过去，这个领域绕不开的核心问题从来没变：我们想要模拟越真实的感官体验，需要的算力就是指数级往上翻。 人眼单眼等效像素大约是1.2亿，等效刷新率约120Hz，要实时渲染匹配这个参数的画面，当前最顶级的消费级显卡，算力也差了至少两个数量级。 现在商圈随处可见的裸眼3D大屏，号称8K分辨率，其实大多是用了分层渲染的折中方案——只有吸引眼球的前景物体用满分辨率，中远景都是压缩过的低精度纹理，毕竟观看距离大多在10米以外，没人会凑到跟前去抠像素，这么做完全够用。但如果是做家用的裸眼3D显示器，观看距离只有不到半米，一点点分辨率不足都会显得格外刺眼，现有硬件根本撑不起全画面的满精度实时渲染。实时渲染分辨率帧率算力关系图
不少人说AI补帧补分辨率能解决这个问题，其实AI补出来的细节都是训练出来的“合理猜测”，做提前渲染好的影视内容没问题，放到实时交互场景里，AI补帧的误差会被动态动作放大，经常出现物体边缘扭曲、抖动的问题，体验感反而更差。
不过话说回来，工业界早就找到务实的实现路径，现在主流的方案就是视差分层渲染，把画面按照前景、中景、背景分开，给需要高清晰度的交互物体分配满算力，背景只保留低精度动态，既保证了核心的视觉效果，又把算力占用压下来了。没有什么黑科技，就是取舍的艺术。
未来的窄路：往细分场景扎进去
未来的窄路：往细分场景扎进去
现在到处都在做通用数字人、超大场景数字孪生，看起来热热闹闹，其实大多数项目都没法实现正向盈利，本质就是抢噱头堆规模，没有解决真问题。
反过来，往细分垂直场景扎进去，反而能走出实实在在的路。比如骨科手术的术前规划场景，把患者的二维CT扫描数据重建成可交互的三维病灶模型，医生可以在模型上模拟切割、置钉，提前规划手术路径，比对着二维平片规划的准确率高了不止一点。这类场景不需要你做多么花哨的交互效果，也不需要你吹多少概念，只需要精度够、数据准、符合医疗行业的规范，就能产生真正的价值，也能活得很好。
当然，必须要提的就是现在还没完全厘清的应用边界和风险。最突出的就是数据风险，做数字人要采集用户的面部特征，做动捕要采集用户的肢体信息，这些属于不可更改的生物特征数据，一旦泄露被滥用，根本没法像密码那样换一个，对用户的伤害是永久性的。现在很多小团队采集数据的时候，授权协议写得糊里糊涂，存储也不做端到端加密，留了很大的隐患。
内容层面的风险也一样，深度合成技术的滥用，已经给虚假内容传播开了方便之门，技术本身没有对错，但使用的边界一定要清晰。
那天南京的会散场的时候，那个吐槽的工程师说，他现在接项目，第一件事就是给甲方讲三遍，技术能做什么，不能做什么，讲清楚了再谈价格，省得最后闹得不愉快。
技术从来不是用来吹泡泡的。
是拿来解决问题的。
泡泡吹得再大，总有破的一天。