增强现实

ViewExtrapolator

ViewExtrapolator是一种基于稳定视频扩散(SVD)的新视角外推方法,能够生成超出训练视图范围的新视角图像,特别适用于提升3D渲染质量和视觉真实性。该工具通过优化SVD的去噪过程,减少了伪影问题,同时支持多视图一致性生成,无需额外微调即可实现高效的数据和计算性能,广泛适用于虚拟现实、3D内容创作及文物保护等多个领域。

DNA

DNA-Rendering是一个具有高多样性和高保真度的神经演员渲染库,它为广泛的研究任务提供了丰富的数据和高质量的注释。

MMAudio

MMAudio是一款基于多模态联合训练的音频合成工具,通过深度学习技术实现视频到音频、文本到音频的精准转换。它具备强大的同步模块,确保生成的音频与视频帧或文本描述时间轴完全对应,适用于影视制作、游戏开发、虚拟现实等多种场景,极大提升了跨模态数据处理的能力和应用效率。

StereoCrafter

StereoCrafter是一款由腾讯AI Lab与ARC Lab联合开发的创新性工具,可将传统2D视频转化为高质量的立体3D视频。它采用深度估计、视频变形及立体视频修复等关键技术,确保生成的3D视频具备高保真度和一致性。该工具广泛应用于影视制作、虚拟现实(VR)、增强现实(AR)、游戏开发等领域,为用户提供更加沉浸式的视觉体验。

Explorer

Explorer是一款由Odyssey公司研发的生成性世界模型,主要功能包括将图像转换为高质量的3D场景,并支持动态效果生成。它利用高斯溅射技术和先进的图像识别算法,实现逼真的视觉效果。Explorer生成的场景可无缝集成到主流创作软件中,广泛应用于电影、游戏开发、虚拟现实等领域,显著提升内容创作效率。

Omages

Omages是一个开源的3D模型生成项目,基于图像扩散技术将3D形状的几何和纹理信息编码到64×64像素的2D图像中。该工具不仅提高了3D对象生成的效率,还在低分辨率下保留丰富的细节。Omages支持3D对象生成、几何和纹理编码、多图谱表示以及自动材质生成等功能。它适用于3D打印与制造、虚拟现实、增强现实、游戏开发、电影和动画制作及室内设计等多种应用场景。

Genie 2

Genie 2是一款由DeepMind开发的大规模基础世界模型,其核心功能包括基于单一图片生成可交互3D游戏世界、模拟物体交互及物理效果、支持多类型动作控制、具备长时间记忆能力以及实时生成新场景内容。该工具不仅适用于智能体训练与评估,还广泛应用于游戏开发、模拟与训练、机器人学习以及虚拟现实和增强现实等领域。

DeepMotion

DeepMotion的先行解决方案运用了最新的物理模拟、运动感知、运动图形以及人类智能技术来创造一个活灵活现的展览。

AutoVFX

AutoVFX是一款由伊利诺伊大学香槟分校研发的先进物理特效框架,通过神经场景建模、大型语言模型(LLM)代码生成及物理模拟技术,实现自然语言指令驱动的视频特效编辑与创作。其主要功能涵盖3D场景建模、程序生成、VFX模块、物理模拟、渲染与合成等,适用于电影制作、广告营销、游戏开发、虚拟现实及教育等多个领域。

Depth Pro

Depth Pro 是一款由苹果公司开发的先进单目深度估计模型,能够在不到一秒的时间内从单张2D图像生成高分辨率的3D深度图。它支持零样本学习,无需依赖相机内参即可提供度量级深度信息,并在细节捕捉方面表现出色。Depth Pro 在增强现实、3D重建、图像编辑、机器人导航和自动驾驶等领域展现出广泛的应用前景。