虚拟现实
DynamicCity
DynamicCity是由上海AI Lab开发的大规模动态场景生成框架,支持高质量4D LiDAR场景的生成与重建,适用于自动驾驶、机器人导航、虚拟现实等多个领域。该框架基于VAE和DiT模型,实现高效的场景编码与生成,支持轨迹引导、指令驱动生成和动态修复等多种应用,展现出优异的性能和广泛的应用潜力。
Infinite Mobility
Infinite Mobility是由上海AI Lab开发的交互式物体生成模型,基于程序化技术快速生成高质量、多样化的可交互物体,支持22类常见物体,单次生成仅需1秒,成本低至0.01元。其生成的物体广泛应用于机器人仿真、医疗设备开发、家庭服务机器人等领域,提升虚拟训练的真实性和效率。
DistriFusion
DistriFusion是一个专为加速高分辨率扩散模型在多GPU环境中生成图像的分布式并行推理框架。通过将图像分割成多个小块并分配至不同设备上进行独立处理,它能够在不增加额外训练负担的情况下,将推理速度提升高达六倍,同时保持图像质量。其技术原理包括Patch Parallelism(分片并行)、异步通信、位移补丁并行性等,适用于多种现有的扩散模型。应用场景包括AI艺术创作、游戏和电影制作、VR/A
SwiftBrush V2
SwiftBrush V2 是一款基于文本到图像的单步扩散模型,通过改进权重初始化、LoRA训练及夹紧CLIP损失等技术,实现了与多步Stable Diffusion模型相媲美的性能。它无需真实图像数据即可训练,显著提升了生成速度和图像质量,广泛应用于艺术创作、游戏开发、虚拟现实等领域。
Stable Video 3D (SV3D)
Stable Video 3D(SV3D)是一款由Stability AI公司开发的多视角合成和3D生成模型,能够从单张图片生成一致的多视角图像,并进一步优化生成高质量的3D网格模型。该模型在视频扩散模型基础上进行改进,提供更好的质量和多视角体验。主要功能包括多视角视频生成、3D网格创建、轨道视频生成、相机路径控制以及新视角合成。SV3D在新视角合成方面取得显著进展,能够生成逼真且一致的视图,提升