虚拟现实

Project Turntable

Project Turntable是一款由Adobe发布的AI工具,支持用户在三维空间中旋转二维矢量图像,并利用生成式AI和深度学习技术即时生成图像的隐藏部分。它显著提升了设计师的工作效率,减少了重复性劳动,适用于平面设计、插画创作、动画制作及游戏开发等领域,同时保持了图像的二维特性和平滑过渡效果。

HourVideo

HourVideo是一项由斯坦福大学研发的长视频理解基准数据集,包含500个第一人称视角视频,涵盖77种日常活动,支持多模态模型的评估。数据集通过总结、感知、视觉推理和导航等任务,测试模型对长时间视频内容的信息识别与综合能力,推动长视频理解技术的发展。其高质量的问题生成流程和多阶段优化机制,使其成为学术研究的重要工具。

AuraFusion360

AuraFusion360是一款面向360°无边界场景修复的AI工具,采用高斯散射表示和深度感知技术,实现高质量的物体移除与孔洞填充。其核心包括自适应引导深度扩散(AGDD)和基于SDEdit的细节增强,确保多视角一致性。适用于虚拟现实、建筑可视化、影视特效及文物修复等多个领域,提供高效、精确的场景修复解决方案。

Janus

Janus是一种由DeepSeek AI开发的自回归框架,专注于多模态理解和生成任务的统一化。它通过分离视觉编码路径并使用单一Transformer架构来提升灵活性和性能,支持多种输入模态如图像、文本等,并在某些任务中表现出色。Janus具备多模态理解、图像生成及跨模态交互能力,适用于图像创作、自动标注、视觉问答等多个领域。

HoloTime

HoloTime 是由北京大学深圳研究生院与鹏城实验室联合开发的全景 4D 场景生成框架,可将单张全景图像转化为动态视频,并进一步重建为沉浸式 4D 场景。其核心技术包括全景动画生成器(Panoramic Animator)和时空重建技术,结合 360World 数据集进行训练,实现高质量的视频生成与场景重建。该工具支持 VR/AR 应用,适用于虚拟旅游、影视制作、游戏开发等多个领域,提供高效的沉

DIAMOND

DIAMOND是一款基于扩散模型的强化学习代理,专注于模拟复杂环境以支持代理的学习与决策。它在Atari游戏和3D环境中表现出色,能够捕捉丰富的视觉信息。通过连续潜在变量和优化的去噪步骤,DIAMOND提升了模型的稳定性和效率。其应用场景涵盖游戏AI开发、机器人技术、虚拟现实、教育培训及科学研究等领域。

EMAGE

EMAGE是一款基于音频输入生成全身手势的AI框架,可同步生成面部表情、肢体动作及整体运动。通过掩蔽音频手势变换器和多模块VQ-VAE建模,实现高质量、多样化的手势生成。适用于虚拟现实、动画制作、数字人交互等领域,提升虚拟角色表现力与交互自然度。

GAS

GAS是一种从单张图像生成高质量、视角一致且时间连贯虚拟形象的AI工具,结合3D人体重建与扩散模型技术,支持多视角合成与动态姿态动画。其统一框架提升模型泛化能力,适用于游戏、影视、体育及时尚等领域,具备高保真度与真实感。

Emu3

Emu3是一款由北京智源人工智能研究院开发的原生多模态世界模型,结合了多模态自回归技术和单一Transformer架构,能够在图像、视频和文本之间实现无缝转换。它不仅能够根据文本生成高质量图像,还能预测视频发展并理解图文内容,广泛应用于内容创作、广告营销、教育、娱乐等多个领域。

MIDI

MIDI是一种基于多实例扩散模型的3D场景生成技术,能将单张2D图像快速转化为高保真度的360度3D场景。它通过智能分割、多实例同步扩散和注意力机制,实现高效的3D建模与细节优化。具有良好的泛化能力,适用于游戏开发、虚拟现实、室内设计及文物数字化等多个领域。