当前位置:首页 > 资讯 > 正文

英特尔“自由视图合成”技术可实现照片级3D图像渲染效果

如果我说“优秀的图形”,你大概会认为这是指支持高分辨率纹理和光追的最新3A级游戏。如果我说“照片级真实感”,答案可能会类似,但会额外关注图形细节和真实世界之间的相似性。不过,英特尔实验室的最新研究向我们展示了何谓照片级真实感,以及其在游戏开发方面的应用,尤其是虚拟现实。

这种新技术名为Free View Synthesis(自由视图合成),它可以利用你从环境中获取源图像(如在森林行走时录制的视频),并重建和渲染图像描述的环境,而且这一切是以完全的“照片级真实感”3D格式进行。你将能拥有玩家般的“Target View(目标视图)”,然后在这个环境中自由行走并产生新的真实感视图。值得一提的是,研究人员将在ECCV2020展示相关的研究,有兴趣的读者可以关注大会。

英特尔“自由视图合成”技术可实现照片级3D图像渲染效果  第1张

这种技术对游戏开发的应用显而易见。就理论而言,当拥有了真实世界的图片,系统就能够自动生成一个不仅在布局和内容方面相同,而且在外观方面同样接近的游戏环境。利用所述技术,游戏开发者能够快速轻松地进行关卡设计,并实现可与现实媲美的视觉逼真度。

Free View Synthesis(自由视图合成)拥有大量的应用,但具体到游戏方面,英特尔实验室智能系统的首席科学家弗拉登·科尔顿(Vladen Koltun)指出“它可以创造出与现实别无二致的游戏”。

具体的技术细节请参阅下面的论文,但概要而言,根据源图像产生的环境是利用了Structure from Motion(SfM)和Multi-View Stereo(MVS),它们可以创建一个代理深度映射,然后,目标视图通过“卷积网络”重投影和处理特征,从而合成新视图。简而言之:获取源图像,根据图像创建一个“深度映射”环境,然后使用卷积网络合成新视图。

相关论文:Free View Synthesis

“这会涉及在经典图形管道中遇到的一定几何计算,然后再通过一个卷积网络,正如你在标准深度网络推理中看到的那样。”团队将深度学习用于只有有限数量源图像作为参考的真实场景,并创建照片级真实感视图的任务。

下面的视频展示了其他尝试做类似事情的技术,包括NPBG。但正如视频所示,Free View Synthesis(自由视图合成)可以产生稍微更好的效果。

科尔顿指出,SfM和MVS的使用对于Free View Synthesis(自由视图合成)非常重要,“许多其他技术没有像我们那样使用SfM/MVS”。研究人员认为不重视SfM/MVS已经取得(并将继续取得)的所有惊人进展是非常浪费的事情,“相反,我们应该以其作为基础,并再接再厉。我们的方法之所以能达到如此高的保真度,很大程度上要归功于SfM/MVS技术在过去30年间所取得的进步。”

就理论而言,利用Free View Synthesis(自由视图合成),游戏开发者可以录制一段在当地公园漫步的视频,然后将图像放入相关管道,这样就能够产生公园的照片级真实感画面,并选择想要的任何移动路线。我们同时可以由此推论,这项技术应该可以快速地创建一个逼真的虚拟现实环境,并允许玩家在其中自由走动。另外,尽管“当前的实现没有针对实时性能进行优化……但在实时执行方面没有根本性的障碍”。

Free View Synthesis(自由视图合成)需要深度学习的图形能力,但这应该不是一个问题。真正需要解决的挑战是(至少对于游戏而言):在场景中创造新的合成元素。在一个照片真实感的公园里走来走去当然不错,但要制作一款游戏,你需要能够与环境交互,或许要引入其他元素(比如FPS游戏中的枪支)。

科尔顿表示,这种技术如何应对所述情况“是一个有待研究的问题”。换言之,这个问题尚未得到回答。“在目前的形式中,所述方法只适合处理静态场景。它允许你在静态场景中自由移动视点,同时保留照片级真实感的外观。最终,诸如此类的技术将能够扩展到动态场景中。这是一个活跃的研究课题。”

这可能就是为什么这项技术“不会马上出现”在游戏中的原因。他补充道:“即使在未来几年内都不会出现,但最终会成为现实”。

对于Free View Synthesis(自由视图合成)这样的渲染技术,再结合头显硬件方面的进步,这将能为虚拟现实带来了巨大的技术飞跃。