虚拟现实

DreamPolish

DreamPolish是一款基于文本输入生成高质量3D模型的AI工具,其创新点在于采用两阶段方法优化几何与纹理:第一阶段通过神经网络逐步细化几何形状,第二阶段利用领域得分蒸馏技术生成逼真的纹理。该工具支持复杂对象的精细建模,并广泛应用于虚拟现实、影视特效、游戏开发及教育培训等领域,为3D内容创作提供高效解决方案。

SOLAMI

SOLAMI是一款基于VR环境的3D角色扮演AI系统,支持用户通过语音和肢体语言与虚拟角色进行沉浸式互动。系统采用社交视觉-语言-行为模型(Social VLA),可识别用户的多模态输入并生成相应响应,涵盖多种角色类型及互动场景,如游戏、舞蹈等。其核心技术涉及多任务预训练和指令微调,适用于虚拟社交、教育、心理治疗及娱乐等多个领域。

SAM2Point

SAM2Point是一种基于SAM2的3D分割技术,无需额外训练或2D-3D投影,即可直接对任意3D数据进行零样本分割。该工具通过将3D数据体素化,并将其模拟为多方向视频流,实现精确的空间分割。SAM2Point支持多种3D提示类型,如点、框和掩码,展现了在多种场景下的泛化能力,包括3D物体、室内室外环境以及LiDAR数据,为未来的3D可提示分割研究提供了新起点。

3DHM

3DHM是一项由加州大学伯克利分校开发的3D人体动作生成技术,能够从单张照片生成动态人体视频,具备动作生成、编辑、评估、纹理修复、人体渲染及动作模仿等功能。该技术通过学习人体先验知识和3D运动序列,结合扩散模型和4DHumans预测模型,广泛应用于电影特效、虚拟现实、游戏开发等领域,为动画制作和人体动作模拟提供了创新解决方案。

MagicMan

MagicMan是由多个顶尖研究机构联合开发的AI工具,主要功能是从单张2D图像生成高质量的3D人类模型。它结合了预训练的2D扩散模型和参数化的SMPL-X模型,并通过混合多视角注意力机制和迭代细化策略,实现精确的3D感知和图像生成。MagicMan在游戏、电影、虚拟现实、时尚、零售和教育等多个领域有广泛应用,能够显著提高角色设计的真实感和多样性。

MotionCLR

MotionCLR是一款利用自注意力和交叉注意力机制的人体动作生成与编辑工具。它能够根据文本提示生成动作,并支持多种编辑操作,如动作强调、减弱、替换、擦除及风格迁移。MotionCLR在动作生成的精度、多样性及编辑灵活性上表现出色,广泛应用于游戏开发、动画制作、虚拟现实等领域。

PanoDreamer

PanoDreamer是一款基于单张图像生成连贯360° 3D场景的AI工具。其核心技术包括将全景图像生成与深度估计转化为优化任务,并引入交替最小化策略,确保场景的一致性和完整性。该工具支持全景图像及深度信息生成,可应用于虚拟现实、游戏开发、内容创作等多个领域,展现出卓越的性能表现。

LHM

LHM是由阿里巴巴通义实验室推出的3D人体模型重建系统,能从单张图像快速生成高质量、可动画化的3D人体模型。基于多模态Transformer架构,融合3D几何与2D图像信息,保留服装与面部细节,并采用3D高斯点云表示方式,支持实时渲染和姿态控制。适用于AR/VR、游戏开发、影视制作及教育等多个领域,具备高保真、强泛化和低延迟等优势。

DanceFusion

DanceFusion是一款由清华大学开发的开源框架,专注于音频驱动的舞蹈动作生成与重建。它采用分层时空Transformer-VAE和扩散模型,能够处理不完整或嘈杂的数据,生成与音乐高度同步的逼真舞蹈动作。该工具支持多种应用场景,包括内容创作、虚拟现实、互动娱乐、舞蹈教育以及动画制作等,展现了其在多领域的应用价值。

PrimitiveAnything

PrimitiveAnything是由腾讯AIPD与清华大学联合开发的3D形状生成框架,通过将复杂3D形状分解为基本基元并自回归生成,实现高质量、高保真度的3D模型重建。其支持从文本或图像生成内容,具备高效存储、模块化设计及良好的泛化能力,适用于3D建模、游戏开发、UGC创作及VR/AR应用等领域。