据介绍,LDM3D是业界领先的利用扩散过程(diffusion process)生成深度图(depth map)的模型,进而生成逼真的、沉浸式的360度全景图。LDM3D有望革新内容创作、元宇宙
应用和数字体验,改变包括娱乐、游戏、建筑和设计在内的许多行业。
英特尔表示,LDM3D是在LAION-400M数据集包含一万个样本的子集上训练而成的。LAION-400M是一个大型图文数据集,包含超过4亿个图文对。对训练语料库进行标注时,研究团队使用了之前由英特尔研究院开发的稠密深度估计模型DPT-Large,为图像中的每个像素提供了高度准确的相对深度。LAION-400M数据集是基于研究用途创建而成的,以便广大研究人员和其它兴趣社群能在更大规模上测试模型训练。
LDM3D模型在一台英特尔AI超级计算机上完成了训练,该超级计算机由英特尔至强处理器和英特尔Habana Gaudi AI加速器驱动。最终的模型和流程整合了RGB图像和深度图,生成360度全景图,实现了沉浸式体验。