虚拟现实

Direct3D

Direct3D-S2是由南京大学、DreamTech、复旦大学和牛津大学联合开发的高分辨率3D生成框架,基于稀疏体积表示和空间稀疏注意力(SSA)机制,提升扩散变换器(DiT)的计算效率并降低训练成本。该框架包含全端到端的稀疏SDF变分自编码器(SS-VAE),支持多分辨率训练,在1024³分辨率下仅需8个GPU即可训练。Direct3D-S2能够从图像生成高分辨率3D形状,具有精细几何细节和高

Motion Prompting

Motion Prompting 是一种利用点轨迹表示的视频生成技术,支持对象控制、相机控制及物理现象模拟等功能。它通过将用户输入转化为详细的运动轨迹,结合预训练的视频扩散模型与控制网络,在保持灵活性的同时提高生成质量。这项技术广泛应用于电影制作、游戏开发、虚拟现实等领域,为用户提供了强大的交互式视频生成工具。 ---

MatAnyone

MatAnyone是一款由南洋理工大学S-Lab实验室与商汤科技联合开发的视频抠图框架,专注于复杂背景下人像视频的精准分割。采用一致内存传播和区域自适应内存融合技术,确保视频中目标的语义稳定性和边界细节精度。结合大规模分割数据和优化的训练策略,提升了模型在真实场景下的性能。适用于影视制作、直播、广告、游戏开发等多个领域,具备高精度、强适应性和良好的交互性。

DreamFit

DreamFit是由字节跳动与高校联合研发的虚拟试衣框架,专注于轻量级服装图像生成。通过优化文本提示与特征融合技术,提升图像质量与一致性,降低模型复杂度和训练成本。支持姿势控制、多主题服装迁移等功能,适用于虚拟试穿、服装设计、广告制作等多个场景,具备良好的泛化能力和易用性。

Sapiens

Sapiens是由Meta实验室开发的AI视觉模型,主要用于解析图片和视频中的人类动作。它支持2D姿态估计、身体部位分割、深度估计和表面法线预测等功能,采用视觉变换器架构。Sapiens具有强大的泛化能力,适用于虚拟现实、增强现实、3D人体数字化、人机交互、视频监控分析、运动捕捉及医学成像与康复等多个领域。

GaussianAnything

GaussianAnything 是一款基于多模态输入的 3D 内容生成框架,支持点云、文本和图像等多种输入方式,能够生成高精度且可编辑的 3D 模型。其核心技术包括点云结构化潜空间和级联扩散模型,具备几何与纹理解耦特性,适用于游戏开发、影视制作、VR/AR、工业设计等多个场景。该工具在生成质量和一致性方面表现优异,为 3D 内容创作提供了高效解决方案。

Scenethesis

Scenethesis是NVIDIA推出的AI框架,可通过文本生成高质量的3D场景。它结合LLM与视觉技术,经过布局规划、视觉细化、物理优化和场景验证四个阶段,确保生成结果具备物理合理性和空间连贯性。支持用户交互与多样化场景构建,广泛应用于VR/AR、游戏开发、具身智能及虚拟内容创作等领域。

The Matrix

The Matrix是一款基于AI的世界模拟器,能够生成高保真度、无限时长的视频流,支持实时交互控制。它融合了3A游戏数据与真实世界视频,具备零样本泛化能力。核心技术包括交互模块、移窗去噪过程模型和流一致性模型,适用于游戏开发、影视制作、虚拟现实、教育模拟及城市规划等多个领域。

ComfyUI客户端

ComfyUI客户端是一款专为图像生成与处理设计的桌面应用程序,支持Windows和Mac系统。它具备一键安装、自动更新及预配置Python环境等功能,可帮助用户快速搭建AI生图流程。软件提供丰富的节点连接选项,支持图像生成、编辑、修复以及虚拟现实场景构建等多样化应用场景,适用于艺术家、设计师及医学影像专家等领域。

Aether

Aether是由上海AI Lab开发的生成式世界模型,基于合成数据训练,具备4D动态重建、动作条件视频预测和目标导向视觉规划等核心功能。它通过三维时空建模和多任务协同优化,实现对环境的精准感知与智能决策,具有出色的零样本泛化能力,适用于机器人导航、自动驾驶、虚拟现实等多个领域。