多模态
VoiceCanvas
VoiceCanvas 是一款开源的多语言语音合成平台,基于 AI 技术提供高质量文字转语音服务,支持超过 50 种语言。用户可通过上传简短音频实现个性化声音克隆,并集成多种语音服务以保障输出质量。平台适用于内容创作、教育、企业及个人等多种场景,提升语音内容制作效率。
GaussianAnything
GaussianAnything 是一款基于多模态输入的 3D 内容生成框架,支持点云、文本和图像等多种输入方式,能够生成高精度且可编辑的 3D 模型。其核心技术包括点云结构化潜空间和级联扩散模型,具备几何与纹理解耦特性,适用于游戏开发、影视制作、VR/AR、工业设计等多个场景。该工具在生成质量和一致性方面表现优异,为 3D 内容创作提供了高效解决方案。
WorldScore
WorldScore是由斯坦福大学推出的统一世界生成模型评估基准,支持3D、4D、图像到视频(I2V)和文本到视频(T2V)等多种模态。它从可控性、质量和动态性三个维度进行评估,涵盖3000个测试样本,包括静态与动态、室内与室外、逼真与风格化等多种场景。WorldScore具备多场景生成、长序列支持、图像条件生成、多风格适配等功能,适用于图像到视频、图像到3D生成以及自动驾驶场景模拟等应用,为研究
Project Astra
Project Astra是一款由谷歌DeepMind研发的多模态虚拟助手,支持自然语言和视觉交互。它具备实时对话、记忆功能及工具集成能力,可帮助用户处理日常任务、旅行规划、健康咨询等多种场景需求。当前版本仍在测试中,致力于提升用户体验并保障技术的可靠性。
MultiFoley
MultiFoley是一款基于多模态控制的音效生成系统,能够根据文本、音频或视频输入生成与视频同步的高质量Foley声音效果。它支持文本驱动和音频驱动的音效生成,同时具备音频扩展和质量控制功能,广泛应用于电影、游戏、动画及虚拟现实等领域,为用户提供灵活且高效的声音设计解决方案。