扩散模型

HiCo

HiCo是一款基于扩散模型的层次化可控布局到图像生成工具,采用多分支结构设计,能够精确控制对象的位置和文本描述,解决复杂布局中的常见问题。该工具支持高分辨率图像生成,兼容多种快速生成插件,并在多目标布局生成任务中表现出色,适用于图像编辑、游戏设计、虚拟现实等多个领域。

ChatDLM

ChatDLM是由Qafind Labs开发的高效扩散语言模型,结合区块扩散与专家混合技术,具备7B参数规模,推理速度达2800 tokens/s,支持131,072 tokens的超长上下文处理。其核心优势包括高效文本生成、可控生成与局部修复、资源高效性及动态优化能力。适用于多轮对话、实时情绪监测、长文档创作及学术研究等场景,支持垂直领域知识召回率提升至95.6%。

Champ

Champ是由阿里巴巴、复旦大学和南京大学的研究人员共同开发的一款基于3D的AI工具,能够将人物图片转换为高质量的视频动画。Champ通过结合3D参数化模型和潜在扩散模型,精准捕捉和再现人体的3D形态和动态,保证动画的连贯性和视觉逼真度。此外,Champ还支持跨身份动画生成,并能与文本生成图像模型结合,使用户可以根据文本描述生成特定的角色外观和动作。

Pix2Gif

Pix2Gif是一个由微软研究院开发的基于运动引导的扩散模型,能够将静态图像转换成动态的GIF动画或视频。该模型通过运动引导的扩散过程实现图像到GIF的生成,并利用文本描述和运动幅度作为输入。Pix2Gif还引入了感知损失机制,确保生成的GIF帧在视觉上与原始图像保持一致性和连贯性。

Animate Anyone 2

Animate Anyone 2 是由阿里巴巴通义实验室开发的高保真角色动画生成技术,能基于输入图像和运动信号生成高质量、自然流畅的角色动画。通过环境感知、形状无关掩码策略、物体交互增强等技术,实现角色与环境的深度融合,提升动画的真实感与稳定性。支持复杂动作处理、多角色互动及跨身份动画生成,适用于影视、广告、VR/AR、游戏及教育等多个领域。

3DHM

3DHM是一项由加州大学伯克利分校开发的3D人体动作生成技术,能够从单张照片生成动态人体视频,具备动作生成、编辑、评估、纹理修复、人体渲染及动作模仿等功能。该技术通过学习人体先验知识和3D运动序列,结合扩散模型和4DHumans预测模型,广泛应用于电影特效、虚拟现实、游戏开发等领域,为动画制作和人体动作模拟提供了创新解决方案。

谛韵DiffRhythm

DiffRhythm(谛韵)是一款由西北工业大学与香港中文大学(深圳)联合开发的端到端音乐生成工具,基于潜扩散模型技术,能在10秒内生成包含人声和伴奏的完整歌曲。用户只需提供歌词和风格提示,即可快速获得高质量音乐作品。其支持多语言输入,具备歌词对齐、风格定制、非自回归生成等技术优势,广泛应用于音乐创作、影视配乐、教育及个人创作等领域。

Jodi

Jodi是由中国科学院计算技术研究所和中国科学院大学推出的扩散模型框架,基于联合建模图像域和多个标签域,实现视觉生成与理解的统一。它支持联合生成、可控生成和图像感知三种任务,利用线性扩散Transformer和角色切换机制,提升生成效率和跨领域一致性。Jodi使用Joint-1.6M数据集进行训练,包含20万张高质量图像和7个视觉域标签,适用于创意内容生成、多模态数据增强、图像编辑与修复等场景。

SeedFoley

SeedFoley 是由字节跳动开发的端到端视频音效生成模型,能智能识别并生成与视频内容高度同步的动作和环境音效。通过融合视频时空特征与扩散生成技术,提升音效的准确性和细腻度,支持多种视频长度,适用于生活Vlog、短片制作、游戏视频等多种场景,显著提升视频的沉浸感和表现力。

DanceFusion

DanceFusion是一款由清华大学开发的开源框架,专注于音频驱动的舞蹈动作生成与重建。它采用分层时空Transformer-VAE和扩散模型,能够处理不完整或嘈杂的数据,生成与音乐高度同步的逼真舞蹈动作。该工具支持多种应用场景,包括内容创作、虚拟现实、互动娱乐、舞蹈教育以及动画制作等,展现了其在多领域的应用价值。