扩散模型

EyeDiff

EyeDiff是一款基于扩散模型的文本到图像生成工具,专为多模态眼科图像生成设计。通过自然语言提示,EyeDiff能够捕捉常见及罕见眼病的关键特征,显著提升诊断准确性。该工具采用CLIP文本编码器与交叉注意力机制,结合潜在扩散模型(LDM),生成高质量、与文本高度一致的图像,适用于数据增强、疾病筛查、数据共享及医学教育等场景。

MegaTTS 3

MegaTTS 3是由字节跳动与浙江大学合作开发的零样本文本到语音合成系统,采用轻量级扩散模型,支持中英文及混合语音合成,具备语音克隆、音色控制、韵律调节等功能。系统通过分解语音属性实现精准建模,可快速生成高质量语音,适用于教育、内容制作、语音交互等多个领域。

Prometheus

Prometheus是一款基于潜在扩散模型的3D生成工具,能够从文本描述中快速生成高质量、高保真的3D场景。其核心技术包括两阶段训练框架、RGB-D潜在空间解耦、前馈生成策略和无分类器引导,确保生成结果在视觉和几何上的准确性与一致性。适用于内容创作、游戏开发、建筑设计等多个领域,显著提升了3D内容生成的效率和质量。

StochSync

StochSync是一种基于扩散同步(DS)和分数蒸馏采样(SDS)的图像生成技术,适用于360°全景图和3D纹理生成。它通过引入最大随机性与多步去噪方法,兼顾图像细节与连贯性,无需额外训练即可生成高质量图像。支持高分辨率输出,适用于复杂几何纹理化任务。

VidSketch

VidSketch是由浙江大学研发的视频生成框架,支持通过手绘草图和文本提示生成高质量动画。它采用层级草图控制策略和时空注意力机制,提升视频连贯性和质量,适用于不同技能水平的用户。具备多样化风格支持和低门槛创作特点,广泛应用于创意设计、教学、广告及内容创作等领域。

DragAnything

DragAnything 是一款由快手与高校联合研发的视频生成工具,通过实体表示和轨迹输入实现对视频中物体的精确运动控制。它支持多实体独立操作、相机运动调整,并采用扩散模型生成高质量视频内容。具备用户友好的交互方式,适用于视频编辑、游戏开发、教育及广告等多个场景。

IDM

IDM-VTON是一种基于改进扩散模型的先进AI虚拟试穿技术,由韩国科学技术院和OMNIOUS.AI的研究人员共同开发。该技术利用视觉编码器提取服装的高级语义信息,并通过GarmentNet捕捉服装的低级细节特征,从而生成逼真的人物穿戴图像。IDM-VTON支持文本提示理解,实现了个性化定制和逼真的试穿效果,广泛应用于电子商务、时尚零售、个性化推荐、社交媒体以及时尚设计等领域。

PlayDiffusion

PlayDiffusion是Play AI推出的音频编辑模型,基于扩散模型技术实现音频的精细编辑和修复。它将音频编码为离散标记序列,通过掩码处理和去噪生成高质量音频,保持语音连贯性和自然性。支持局部编辑、高效文本到语音合成、动态语音修改等功能,具有非自回归特性,提升生成速度与质量。适用于配音纠错、播客剪辑、实时语音互动等场景。

Add

Add-it是一款无需训练的图像编辑工具,允许用户通过文本指令在图像中插入新对象。其核心功能包括保持场景结构一致性、确保对象自然融合、支持非真实感图像处理等。Add-it采用扩展的注意力机制和主题引导潜在混合技术,无需额外训练即可实现高质量图像编辑。广泛适用于广告、内容创作、影视制作等领域。

EasyControl Ghibli

EasyControl Ghibli 是一款基于扩散模型的 AI 工具,专注于将普通图像转换为吉卜力风格,具备风格迁移、面部特征保留、高效运行等优点。它通过少量数据训练即可生成高质量图像,适用于插画、动画、广告及个人照片风格化等多种场景。用户可免费使用,操作便捷,适合艺术创作与内容生成需求。