3D重建

PartGen

PartGen是一款基于多视图扩散模型的3D对象生成与重建工具,可从文本、图像或现有3D模型生成由意义明确部分组成的三维对象。它具备自动部分分割、3D重建及基于文本指令的部分编辑等功能,广泛应用于3D打印、游戏开发、影视制作等领域,显著提升工作效率并优化用户体验。

AuraFusion360

AuraFusion360是一款面向360°无边界场景修复的AI工具,采用高斯散射表示和深度感知技术,实现高质量的物体移除与孔洞填充。其核心包括自适应引导深度扩散(AGDD)和基于SDEdit的细节增强,确保多视角一致性。适用于虚拟现实、建筑可视化、影视特效及文物修复等多个领域,提供高效、精确的场景修复解决方案。

DiffSplat

DiffSplat是一款高效的3D生成工具,能够根据文本或图像快速生成高质量的3D高斯点云。它基于预训练的文本到图像扩散模型,结合2D先验知识和3D渲染损失机制,确保生成内容在多视角下保持一致。支持文本、图像或组合输入,具备可控生成能力,适用于3D内容创作、图像重建及多种下游应用。

Matrix3D

Matrix3D 是一种由多所高校与科技企业联合开发的统一摄影测量模型,集姿态估计、深度预测、新视图合成与3D重建于一体。其核心技术为多模态扩散变换器,支持跨模态数据融合与灵活任务处理。通过掩码学习策略,提高数据利用效率并增强模型泛化能力。适用于VR/AR、游戏开发、影视制作等领域,具有高度交互性和灵活性。

OmniCam

OmniCam 是一种基于多模态输入的高级视频生成框架,结合大型语言模型与视频扩散模型,实现高质量、时空一致的视频内容生成。支持文本、视频或图像作为输入,精确控制摄像机运动轨迹,具备帧级操作、复合运动、速度调节等功能。采用三阶段训练策略提升生成效果,并引入 OmniTr 数据集增强模型性能。适用于影视、广告、教育及安防等多个领域,提高视频创作效率与质量。

LBM

LBM(Latent Bridge Matching)是一种基于潜在空间桥接匹配的图像到图像转换框架,支持目标移除、图像重光照、深度图生成等多种任务。通过布朗桥和随机微分方程实现高效且多样化的图像转换,具备良好的可控性和视觉一致性。适用于摄影、设计、3D建模等多个领域,具有广泛的应用前景。

SPAR3D

SPAR3D是一种基于两阶段设计的单图像3D重建工具,能从单张2D图像生成高质量的3D网格。它结合点扩散模型与三平面Transformer技术,实现快速、精确的几何与纹理重建,并支持用户交互式编辑。适用于增强现实、影视制作、工业设计等多个领域。

Wonderland

Wonderland是一项由多伦多大学、Snap和UCLA联合开发的技术,能够基于单张图像生成高质量的3D场景,并支持精确的摄像轨迹控制。它结合了视频扩散模型和大规模3D重建模型,解决了传统3D重建技术中的视角失真问题,实现了高效的三维场景生成。Wonderland在多个基准数据集上的3D场景重建质量均优于现有方法,广泛应用于建筑设计、虚拟现实、影视特效、游戏开发等领域。

LHM

LHM是由阿里巴巴通义实验室推出的3D人体模型重建系统,能从单张图像快速生成高质量、可动画化的3D人体模型。基于多模态Transformer架构,融合3D几何与2D图像信息,保留服装与面部细节,并采用3D高斯点云表示方式,支持实时渲染和姿态控制。适用于AR/VR、游戏开发、影视制作及教育等多个领域,具备高保真、强泛化和低延迟等优势。

CAVIA

CAVIA是一款由苹果、得克萨斯大学奥斯汀分校和谷歌联合研发的多视角视频生成框架。它通过单一输入图像生成多个时空一致的视频序列,并采用视角集成注意力模块增强视频的一致性和连贯性,支持用户精准控制相机运动。此外,CAVIA利用多种数据源进行联合训练,优化生成视频的质量和真实感,在虚拟现实、增强现实以及电影制作等领域具有重要价值。