NVIDIAGET3D仅使用2D图像进行训练，可生成具有高保真纹理和复杂几何细节的三维图形。这些3D对象的创建格式与热门图形软件
应用所用的格式相同，允许用户立即将其形体导入3D渲染器和游戏引擎，以便进行后续编辑。
其所生成的对象可用于建筑、户外空间或整个城市的3D表现，为游戏、
机器人开发、建筑和社交媒体等行业量身打造。
GET3D可以根据受训练时使用的数据生成几乎无限量的三维图形。就像一位艺术家将一块粘土制成精细的雕塑一样，该模型会将数字转换为复杂的三维图形。
例如，借助2D汽车图像的训练数据集，它创建了轿车、卡车、赛车和面包车等系列集。当在动物图像上训练后，它会生成狐狸、犀牛、马和熊等生物。如果输入椅子时，模型会生成各种旋转椅、餐椅和舒适的躺椅。
NVIDIAAI研究副总裁SanjaFidler负责领导创建此工具的多伦多AI实验室，她表示：“GET3D让我们离普及AI驱动的3D内容创作更近了一步。它能够即时生成纹理化的三维图形，这可能会为开发者带来颠覆性的变化，有助于他们迅速填充包含各种有趣对象的虚拟世界。”
在11月26日至12月4日于新奥尔良（以及在线）举办的NeurIPSAI大会上，NVIDIA有20多篇论文、专题研讨会，GET3D就是其中之一。
打造虚拟世界需要多种AI类型
现实世界充满了多样性：街道上的建筑各有特点，各有不同的车辆则在其间呼啸而过，川流不息的人群更是异彩纷呈。为反映这一情景的3D虚拟世界进行手动建模非常耗时，因此难以填入详细的数字环境。
以前的3D生成式AI模型，虽然比人工方法更快，但在所能生成的细节水平上也被限制了。即使是最近的反向渲染方法也只能根据从多个角度拍摄的2D图像生成3D物体，这就需要开发者一次构建一个三维图形。
相反，在单个NVIDIAGPU上运行推理时，GET3D每秒可生成大约20个形体，就像处理2D图像的生成式对抗网络一样，只是生成的是3D对象。作为学习来源的训练数据集更大、更多样化，输出也会更多样化，并且更详细。
NVIDIA研究人员使用合成数据训练GET3D，数据中包含使用不同摄像头角度拍摄的三维图形2D图像。该团队仅用了两天时间，就使用NVIDIAA100TensorCoreGPU，对模型进行了100万张图像的训练。
让创作者能够修改形状、纹理、材质
GET3D的名称源于其能够生成显式纹理3D(GenerateExplicitTextured3D)网格，这意味着它会以三角形网格的形式创建形体并使用纹理材质覆盖，就像papier-mché模型一样。这使得用户能够轻松地将对象导入游戏引擎、3D建模软件和
电影渲染器，并进行编辑。
在创作者将GET3D生成的形体导出到图形应用后，当这些物体移动或旋转时，就能使用逼真的照明效果。通过整合NVIDIAResearch提供的另一种AI工具StyleGAN-NADA，开发者可以使用文本提示将特定风格添加到图像中，例如将渲染出的汽车调整为被烧毁的汽车或出租车，或将普通房屋设置成鬼屋。
研究人员指出，未来版本的GET3D可以使用摄像头姿态预估技术，让开发者能够使用真实世界的数据（而不是合成数据集）来训练模型。还可以对其进行改进以支持通用生成，这意味着开发者可以一次性训练用于各种三维图形的GET3D，而不必每一次在一个对象类别上进行训练。
