增强

VMB

VMB是一个由多机构合作研发的多模态音乐生成框架,可从文本、图像和视频等多样化输入生成音乐。它通过文本桥接和音乐桥接优化跨模态对齐与可控性,显著提高了音乐生成的质量和定制化程度。VMB具有增强模态对齐、提升可控性、显式条件生成等特点,适用于电影、游戏、虚拟现实等多个领域。

Infinity

Infinity-MM是智源研究院发布的千万级多模态指令数据集,包含4300万条样本,涵盖视觉问答、文字识别、文档分析及数学推理等多领域任务。它通过严格的筛选和去重保证数据质量,并采用合成数据生成技术扩展数据集规模。基于此数据集,智源研究院训练出了20亿参数的Aquila-VL-2B模型,在多项基准测试中表现出色,推动了多模态AI领域的研究与发展。

Wavy

Wavy是一款利用AI技术的照片编辑工具,可将普通照片转换为具有艺术风格的作品。它提供多种功能,包括AI艺术生成、图像放大、照片优化以及对象移除等,适用于个人摄影、社交媒体内容创作、艺术设计等多个场景,帮助用户实现创意表达与个性化展示。

FLOAT

FLOAT是一款基于音频驱动的虚拟人像生成模型,利用运动潜在空间和流匹配技术,实现时间一致性视频生成。它支持情感增强,生成自然且富有表现力的虚拟人物,广泛应用于虚拟主播、视频会议、社交媒体、游戏以及电影制作等多个领域,同时具备高效的采样和生成能力。

libcom

libcom是一款由上海交通大学BCMI实验室开发的图像合成工具箱,支持图像融合、和谐化、阴影生成、对象放置及生成式合成等功能,采用传统图像处理与深度学习技术相结合的方式,提供高质量的合成图像解决方案。适用于增强现实、艺术创作、电子商务、影视制作及游戏开发等多个领域。

Audio Enhancer

一个在线音频增强工具,Audio Enhancer使用人工智能算法来帮助用户轻松地减少音频文件中的背景噪音,用于改善音频录音的清晰度和整体质量。

Matryoshka Diffusion Models

Matryoshka Diffusion Models (MDM) 是一种由苹果公司开发的创新扩散模型,专为生成高分辨率图像和视频而设计。通过多尺度扩散机制与NestedUNet架构,MDM实现了高效的信息共享与渐进式训练,显著提升了模型的训练效率与生成质量。该模型适用于资源受限的环境,可减少训练步骤并保持生成图像的细节与清晰度。其主要功能包括高分辨率图像生成、多分辨率处理、特征共享以及渐进式训练

PSHuman

PSHuman是一款基于跨尺度多视图扩散模型的单图像3D人像重建工具,仅需一张照片即可生成高保真度的3D人体模型,支持全身姿态和面部细节的精确重建。其核心技术包括多视角生成、SMPL-X人体模型融合及显式雕刻技术,确保模型在几何和纹理上的真实感。该工具适用于影视、游戏、VR/AR、时尚设计等多个领域,具备高效、精准和易用的特点。

ImageRAG

ImageRAG 是一种基于检索增强生成(RAG)技术的图像生成工具,通过动态检索相关图像提升文本到图像模型的生成能力。它能够增强对罕见概念的理解与生成,提升图像的真实度和相关性,支持多模态生成与个性化定制。无需额外训练即可适配多种 T2I 模型,广泛应用于创意设计、品牌推广、教育及影视等领域。

APISR

一个专注于动漫图像超分辨率的项目,旨在恢复和增强来自现实世界场景的低质量、低分辨率动漫图像和视频源。