作者 | ZeR0编辑 | 漠影

智东西7月16日宣布，NVIDIA将于7月28日至8月1日在美国丹佛市举行的顶尖打算机图形大会SIGGRAPH 2024上展示渲染、仿真和天生式AI领域的多项最新进展，包括如何通过AI研究来提高图像质量、优化3D呈现办法、使仿真仿照更逼真。

据悉，这次NVIDIA Research携20多篇论文参会，分享涉及推动合成数据天生器和逆渲染工具发展的创新成果。
这些新研究进展适用于视觉天生式AI的扩散模型、基于物理的仿真以及日益逼真的AI渲染，能够为演习下一代模型供应助力。

个中有两篇论文荣获最佳技能论文奖，还有一些论文是与美国、加拿大、中国、以色列和日本的大学以及Adobe和Roblox等公司的研究职员合著的。

从落地代价来看，这些研究将有助于为开拓者和企业创造出用于天生繁芜虚拟物体、角色和环境的工具，帮助科学家理解自然征象，或帮忙机器人和自动驾驶汽车的仿真仿照演习。

在本届SIGGRAPH大会上，NVIDIA创始人兼首席实行官黄仁勋将与《连线》资深撰稿人 Lauren Goode进行炉边发言，磋商机器人和AI如何影响工业数字化。

扩散模型是文生图常用工具，可快速天生脚本或作品的视觉效果，缩短将创意变为现实的韶光。
NVIDIA有两篇论文与此干系。

NVIDIA与特拉维夫大学的研究职员联合开拓的ConsiStory，引入了一种名为“主体驱动的共享把稳力”的技能，可将天生同等主体图像所需的韶光从13分钟缩短到30秒旁边，使多幅同一个主角的图像天生变得更加随意马虎。

▲ConsiStory能够天生一系列以同一人物为主题的图像

这项研究对付绘制连环画或开拓脚本等叙事运用处景来说很有帮助。

去年，NVIDIA研究职员凭借将文本或图像提示转化成自定义纹理材料的AI模型赢得了SIGGRAPH的Real-Time Live最佳展示奖。
今年其研究团队又揭橥了一篇先容如何将2D天生扩散模型运用于3D网格上的交互式纹理绘制的新论文，使艺术家能够基于任何参考图像实时绘制出繁芜的纹理。

二、研究基于物理的仿真，加速仿照真实天下的运动

基于物理的仿真能缩小实物与其虚拟呈现之间的差距，使数字物体和角色犹如在真实天下中一样运动。
多篇NVIDIA Research论文先容了干系打破性进展，包括一种更加高效的头发建模技能、一种可将流体仿真速率加快10倍的事情流等等。

一篇与卡内基梅隆大学研究职员合著的一篇新型渲染器论文，是获评本届SIGGRAPH“最佳论文”的五篇论文之一。

这个渲染器不是用于物理光建模，而是能够用于实行热剖析、静电剖析和流体力学剖析，其方法易于并行化且不须要繁琐的模型清理，为加速工程设计周期带来了新的可能性。

▲渲染器对好奇号火星探测器进行热剖析

针对基于文本提示仿照繁芜人体动作的寻衅，研究职员通过将强化学习与监督学习相结合，展示了如何演习SuperPADL框架再现5000多种技能的动作，以及该框架如何在消费级NVIDIA GPU上实时运行。

另一篇论文先容了一种神经物理学方法，将AI运用于学习物体（无论因此3D网格、NeRF还是由文本转3D模型技能天生的实体物体呈现）在环境中移动时的行为办法。

三、提高渲染逼真度，仿照衍射效应提速1000倍

NVIDIA的另一组论文先容了一些新技能，能将可见光建模速率提速最高达25倍，将仿照衍射效应（例如用于演习自动驾驶汽车的雷达仿照）提速最多达1000倍。

路径追踪可对多个路径（穿过场景的多束光芒）进行采样，从而创造出照片般逼真的图片。
ReSTIR是NVIDIA和达特茅斯学院研究职员在SIGGRAPH 2020上首次发布的路径追踪算法，是将路径追踪技能运用于游戏和其他实时渲染产品的关键。

今年NVIDIA有两篇SIGGRAPH论文先容了如何提高ReSTIR的采样质量。
个中一篇论文由NVIDIA与犹他大学合著，先容了一种重复利用打算路径的新方法，最多可将有效采样数增加 25 倍，大大提升了图像质量。
另一种方法则是通过随机改变光的路径的子集来提高采样质量。
这有助于更好地运行去噪算法，减少终极渲染中产生的视觉伪影。

▲从左到右：早前采样、25倍改进后的样本和参照图像之间的视觉质量比较。
示例由Blender事情室供应。

NVIDIA和滑铁卢大学的研究职员合著的一篇论文则办理了自由空间衍射问题。
自由空间衍射是一种光芒在物体边缘扩散或波折的光学征象。
其方法可以与路径追踪事情流集成，以提高繁芜场景中仿照衍射的效率，最多可供应1000倍的加速。
除渲染可见光外，该模型还可用于仿照波长较长的雷达、声波或无线电波。

▲城市蜂窝旗子暗记覆盖仿照

NVIDIA研究职员将在SIGGRAPH上展示一些用于3D呈现和设计的多用场AI工具。

例如，NVIDIA与达特茅斯学院研究职员合著的一篇论文得到了最佳技能论文奖，先容了一种呈现3D物体如何与光相互浸染的理论，能将各种不同的外不雅观统一到一个单一的模型中。

NVIDIA与东京大学、多伦多大学和Adobe Research互助撰写的一篇论文先容了一种可在3D网格上实时天生平滑的空间添补曲线的算法。
以前的方法须要运行几个小时，而该框架的运行韶光只需几秒钟，并能够支持用户对输出结果进行高度掌握，以实现交互设计。

还有一篇论文先容了一种GPU优化的3D深度学习框架fVDB。
该框架能够匹配现实天下的规模，为实现城市规模3D模型和NeRF的大空间尺度与高分辨率以及大规模点云的分割和重修供应了AI根本举动步伐。

结语：天生式AI+仿真技能，缩小现实与虚拟天下之间的间隔

作为图形与加速打算领域的领跑者，NVIDIA多年来在SIGGRAPH大会上先容了许多覆盖视觉打算与图形渲染的前沿论文。
这些研究进展不仅持续提升仿真建模的真实感和效率，还推动了打算机图形学、打算机视觉、人机交互和AI技能的领悟，使得仿照真实天下的相互浸染日益成为可能。

凭借增强重修能力和提升仿真质量的特性，天生式AI通过正成为显著加速仿照仿真发展的新引擎。
用合成数据演习大模型，又能加快天生式AI运用的落地。
仿真与天生式AI技能的相辅相成，使得办理仿真模型与物理天下同等性难题的研究取得更多打破，终极将赋能工业制造、自动驾驶、具身智能和机器人等行业，助力办理现实天下中的各种繁芜工程寻衅。

在SIGGRAPH 2024期间，NVIDIA研究职员还将举办NVIDIA OpenUSD日，展示开拓职员和行业领导者如何通过利用和发展OpenUSD来构建AI赋能的3D事情流。