多模态
MultiFoley
MultiFoley是一款基于多模态控制的音效生成系统，能够根据文本、音频或视频输入生成与视频同步的高质量Foley声音效果。它支持文本驱动和音频驱动的音效生成，同时具备音频扩展和质量控制功能，广泛应用于电影、游戏、动画及虚拟现实等领域，为用户提供灵活且高效的声音设计解决方案。
WorldScore
WorldScore是由斯坦福大学推出的统一世界生成模型评估基准，支持3D、4D、图像到视频（I2V）和文本到视频（T2V）等多种模态。它从可控性、质量和动态性三个维度进行评估，涵盖3000个测试样本，包括静态与动态、室内与室外、逼真与风格化等多种场景。WorldScore具备多场景生成、长序列支持、图像条件生成、多风格适配等功能，适用于图像到视频、图像到3D生成以及自动驾驶场景模拟等应用，为研究
紫东太初 – 多模态大模型
“紫东太初”平台展现了中国科学院自动化研究所在人工智能领域的深厚实力。它不仅具备强大的多模态处理能力，还通过自监督学习和跨模态语义关联技术，为广泛的AI应用提供了坚实的模...
GaussianAnything
GaussianAnything 是一款基于多模态输入的 3D 内容生成框架，支持点云、文本和图像等多种输入方式，能够生成高精度且可编辑的 3D 模型。其核心技术包括点云结构化潜空间和级联扩散模型，具备几何与纹理解耦特性，适用于游戏开发、影视制作、VR/AR、工业设计等多个场景。该工具在生成质量和一致性方面表现优异，为 3D 内容创作提供了高效解决方案。
OmniSearch
OmniSearch是一款由阿里巴巴通义实验室开发的多模态检索增强生成框架，具备自适应规划能力。它能够动态解析复杂问题，根据检索结果和问题情境调整检索策略，模拟人类解决复杂问题的行为，提升检索效率和准确性。OmniSearch支持多模态信息处理，包括文本、图像等，并通过递归检索与推理流程逐步接近问题解答，显著提高多模态检索的灵活性和效果。
