虚拟现实

WorldCraft

WorldCraft是一款基于大型语言模型的3D世界创建系统,支持用户通过自然语言交互快速生成和调整虚拟场景。其核心模块包括物体定制、场景布局优化和轨迹控制,具备高精度的几何与纹理控制能力。系统兼容多种3D生成工具,适用于建筑设计、影视娱乐、教育等多个领域,为非专业人士提供高效、直观的创意设计解决方案。

ACTalker

ACTalker 是一种基于视频扩散模型的端到端工具,可生成高质量、自然的说话人头部视频。支持多信号控制(如音频、表情),采用并行 Mamba 结构和门控机制,实现跨时间和空间的精准面部动作控制。实验表明其在音频同步性和视频质量上表现优异,适用于虚拟主播、远程会议、在线教育等多种场景。

T2I

T2I-R1是由香港中文大学与上海AI Lab联合开发的文本到图像生成模型,采用双层推理机制(语义级和 Token 级 CoT),实现高质量图像生成与复杂场景理解。其基于 BiCoT-GRPO 强化学习框架,结合多专家奖励模型,提升生成图像的多样性和稳定性。适用于创意设计、内容制作、教育辅助等多个领域,具有广泛的应用潜力。

FaceLift

FaceLift是一种由Adobe与加州大学默塞德分校联合开发的AI工具,能够从单张人脸图像中重建出高精度的3D头部模型。其核心技术包括多视图扩散模型和GS-LRM重建器,支持多视角一致性、身份保持和4D新视图合成,适用于虚拟现实、数字娱乐、远程交互等多个领域。该工具具备强大的几何与纹理细节表现能力,且可与2D面部重动画技术集成,广泛应用于内容创作与科研场景。

LCVD

LCVD是一种由四川大学开发的高保真肖像动画生成框架,支持光照可控的动态视频生成。它通过分离肖像的内在与外在特征,并结合多条件分类器自由引导机制,实现对光照和姿态的精细控制。LCVD在图像质量、视频一致性和光照真实感方面表现突出,适用于虚拟现实、视频会议、影视制作及内容创作等多个领域。

MIDI

MIDI是一种基于多实例扩散模型的3D场景生成技术,能将单张2D图像快速转化为高保真度的360度3D场景。它通过智能分割、多实例同步扩散和注意力机制,实现高效的3D建模与细节优化。具有良好的泛化能力,适用于游戏开发、虚拟现实、室内设计及文物数字化等多个领域。

MVoT

MVoT是一种多模态推理框架,通过生成图像形式的推理痕迹,增强多模态大语言模型在复杂空间推理任务中的表现。其核心技术包括多模态推理范式、token discrepancy loss以及递归生成机制,有效提升推理准确性和可解释性。该工具适用于机器人导航、自动驾驶、智能教育、医疗影像分析及VR/AR交互等多个领域,具有广泛的应用潜力。

Cartwheel

Cartwheel 是一款基于文本到动画(Text-to-Motion)技术的 AI 3D 动画生成平台,用户只需输入文本描述即可快速生成高质量的 3D 角色动画。平台结合深度学习与传统动画技术,支持动作捕捉、自动化运动合成,并与主流 3D 软件无缝集成。其功能包括文本驱动动画、可编辑动画、动作库预设等,适用于游戏开发、影视制作、广告营销、VR/AR 及教育等多个场景。Cartwheel 提供不同

CAT4D

CAT4D是一种由Google DeepMind、哥伦比亚大学及加州大学圣地亚哥分校共同开发的工具,它利用多视图视频扩散模型,从单目视频中生成动态3D(4D)场景表示。该工具可以合成新视图、重建动态3D模型,并支持独立控制相机视点和场景动态,适用于电影制作、游戏开发、虚拟现实等多种领域。

Find3D

Find3D是一款由加州理工学院开发的3D部件分割模型,通过自动化数据生成技术和对比学习方法,实现了高效且精准的3D对象分割。它能够在多个数据集上达到三倍于次优方法的性能提升,支持开放世界下的任意文本查询分割,广泛应用于机器人、虚拟现实、建筑设计等领域。