扩散模型

Diff

Diff-Instruct是一种基于积分Kullback-Leibler散度的知识迁移方法,用于从预训练扩散模型中提取知识并指导生成模型的训练。它能够在无需额外数据的情况下,通过最小化IKL散度提升生成模型的性能。Diff-Instruct适用于多种场景,包括预训练扩散模型的蒸馏、现有GAN模型的优化以及视频生成等。

HiCo

HiCo是一款基于扩散模型的层次化可控布局到图像生成工具,采用多分支结构设计,能够精确控制对象的位置和文本描述,解决复杂布局中的常见问题。该工具支持高分辨率图像生成,兼容多种快速生成插件,并在多目标布局生成任务中表现出色,适用于图像编辑、游戏设计、虚拟现实等多个领域。

Ingredients

Ingredients是一款基于多身份图像与视频扩散Transformer的视频生成框架,支持多身份特征的高效整合与动态分配。其核心模块包括面部提取器、多尺度投影器和ID路由器,能够保持身份一致性并生成高质量视频内容。无需额外训练即可实现个性化视频制作,适用于娱乐、广告、教育等多个领域。

Kandinsky

Kandinsky-3是一款基于潜在扩散模型的文本到图像生成框架,支持文本到图像生成、图像修复、图像融合、文本-图像融合、图像变化生成及视频生成等多种功能。其核心优势在于简洁高效的架构设计,能够快速生成高质量图像并提升推理效率。

AvatarGO

AvatarGO是由南洋理工大学、上海AI Lab和香港大学联合开发的AI框架,能够根据文本描述生成高质量的4D人体与物体交互场景。其核心在于利用LLM引导的接触重定位、空间感知的分数蒸馏采样和运动优化技术,实现精确的接触识别与动画生成,有效解决穿透问题。支持多种人物与物体组合,适用于虚拟导购、展厅讲解、VR/AR内容创作等多个领域。

UniVG

百度公司推出的视频生成模型,能够以文本和图像的任意组合作为输入条件进行视频生成。

DIAMOND

DIAMOND是一款基于扩散模型的强化学习代理,专注于模拟复杂环境以支持代理的学习与决策。它在Atari游戏和3D环境中表现出色,能够捕捉丰富的视觉信息。通过连续潜在变量和优化的去噪步骤,DIAMOND提升了模型的稳定性和效率。其应用场景涵盖游戏AI开发、机器人技术、虚拟现实、教育培训及科学研究等领域。

VideoDrafter

一个高质量视频生成的开放式扩散模型,相比之前的生成视频模型,VideoDrafter最大的特点是能在主体不变的基础上,一次性生成多个场景的视频。

SongCreator

SongCreator是一款基于AI技术的音乐生成工具,由清华大学深圳国际研究生院与香港中文大学等机构联合开发。它采用双序列语言模型(DSLM)和注意力掩码策略,支持歌词到歌曲、歌词到声乐、伴奏到歌曲等多种音乐生成任务,并允许用户灵活调整生成内容的声学特性。SongCreator适用于音乐制作、教育、娱乐、内容创作等多个领域,为用户提供高效便捷的音乐解决方案。

OmniCam

OmniCam 是一种基于多模态输入的高级视频生成框架,结合大型语言模型与视频扩散模型,实现高质量、时空一致的视频内容生成。支持文本、视频或图像作为输入,精确控制摄像机运动轨迹,具备帧级操作、复合运动、速度调节等功能。采用三阶段训练策略提升生成效果,并引入 OmniTr 数据集增强模型性能。适用于影视、广告、教育及安防等多个领域,提高视频创作效率与质量。