扩散模型
MakeAnything
MakeAnything是由新加坡国立大学Show Lab团队开发的多领域程序性序列生成框架,能够根据文本或图像生成高质量的分步教程。它采用扩散变换器和ReCraft模型,支持从文本到过程和从图像到过程的双向生成。覆盖21个领域,包含超24,000个标注序列,具备良好的逻辑连贯性和视觉一致性,适用于教育、艺术、工艺传承及内容创作等多种场景。
FramePainter
FramePainter 是一款基于AI的交互式图像编辑工具,结合视频扩散模型与草图控制技术,支持用户通过简单操作实现精准图像修改。其核心优势包括高效训练机制、强泛化能力及高质量输出。适用于概念艺术、产品展示、社交媒体内容创作等场景,具备低训练成本和自然的图像变换能力。
GameFactory
GameFactory 是由香港大学与快手科技联合研发的AI框架,专注于解决游戏视频生成中的场景泛化问题。它基于预训练视频扩散模型,结合开放域数据与高质量游戏数据,通过多阶段训练实现动作可控的多样化场景生成。具备高精度动作控制、交互式视频生成及丰富场景支持,适用于游戏开发、自动驾驶模拟及具身智能研究等领域。
Video Diffusion Models
Video Diffusion Models项目展示了扩散模型在视频生成领域的潜力,通过创新的梯度条件方法和自回归扩展技术,生成了具有高度时间连贯性和质量的视频样本。
ResAdapter
ResAdapter是一种专为扩散模型设计的分辨率适配器,允许图像生成模型生成任意分辨率和宽高比的图像,同时保持原始风格。其主要功能包括分辨率插值、分辨率外推、域一致性、即插即用设计以及广泛的兼容性。通过在扩散模型中插入ResCLoRA和引入ResENorm,ResAdapter能够在不影响模型风格的情况下扩展其分辨率范围。
DynamicFace
DynamicFace是由小红书团队开发的视频换脸技术,结合扩散模型与时间注意力机制,基于3D面部先验知识实现高质量、一致性的换脸效果。通过四种精细的面部条件分解和身份注入模块,确保换脸后的人脸在不同表情和姿态下保持一致性。该技术适用于视频与图像换脸,广泛应用于影视制作、虚拟现实、社交媒体等内容创作领域,具备高分辨率生成能力和良好的时间连贯性。
