扩散模型

Add

Add-it是一款无需训练的图像编辑工具,允许用户通过文本指令在图像中插入新对象。其核心功能包括保持场景结构一致性、确保对象自然融合、支持非真实感图像处理等。Add-it采用扩展的注意力机制和主题引导潜在混合技术,无需额外训练即可实现高质量图像编辑。广泛适用于广告、内容创作、影视制作等领域。

IDM

IDM-VTON是一种基于改进扩散模型的先进AI虚拟试穿技术,由韩国科学技术院和OMNIOUS.AI的研究人员共同开发。该技术利用视觉编码器提取服装的高级语义信息,并通过GarmentNet捕捉服装的低级细节特征,从而生成逼真的人物穿戴图像。IDM-VTON支持文本提示理解,实现了个性化定制和逼真的试穿效果,广泛应用于电子商务、时尚零售、个性化推荐、社交媒体以及时尚设计等领域。

HoloPart

HoloPart 是一种基于扩散模型的 3D 分割工具,能准确识别并补全被遮挡的语义部件,支持几何与材质编辑等任务。其两阶段方法结合局部与全局注意力机制,提升分割精度与一致性。适用于动画制作、几何优化及数据生成等领域,已在多个数据集上取得优异性能。

DiffEditor

DiffEditor是由北京大学深圳研究生院与腾讯PCG联合研发的图像编辑工具,基于扩散模型,结合图像与文本提示,支持细粒度对象移动、尺寸调整、内容拖动及跨图像编辑。采用区域随机微分方程(Regional SDE)和时间旅行策略,提升编辑准确性和灵活性。无需额外训练即可实现高效图像处理,适用于创意设计、人像修复和风景优化等场景。

EyeDiff

EyeDiff是一款基于扩散模型的文本到图像生成工具,专为多模态眼科图像生成设计。通过自然语言提示,EyeDiff能够捕捉常见及罕见眼病的关键特征,显著提升诊断准确性。该工具采用CLIP文本编码器与交叉注意力机制,结合潜在扩散模型(LDM),生成高质量、与文本高度一致的图像,适用于数据增强、疾病筛查、数据共享及医学教育等场景。

LanDiff

LanDiff是一种结合自回归语言模型和扩散模型的文本到视频生成框架,采用粗到细的生成策略,有效提升语义理解与视觉质量。其核心功能包括高效语义压缩、高质量视频生成、语义一致性保障及灵活控制能力。支持长视频生成,降低计算成本,适用于视频制作、VR/AR、教育及社交媒体等多个领域。

VideoPainter

VideoPainter是由多所高校及科研机构联合开发的视频修复与编辑框架,采用双分支架构,结合轻量级上下文编码器和扩散模型,实现高效背景保留与前景生成。支持插件式操作,具备长视频对象一致性维持能力,并构建了大规模视频修复数据集,广泛应用于影视、广告、教育等领域。

Unique3D

Unique3D是一款由清华大学团队开发的开源框架,专注于单张图像到3D模型的转换。它利用多视图扩散模型和法线扩散模型,结合多级上采样策略和ISOMER算法,能够在短时间内生成高保真度且纹理丰富的3D网格模型。Unique3D能够从单个2D图像生成3D网格模型、多个正交视图图像和法线贴图,并通过多级上采样过程提高图像分辨率,最终实现颜色和几何细节的高度整合。

SDXL

SDXL-Lightning是一种基于扩散模型的文本到图像生成技术,由字节跳动的研究团队开发。该模型通过结合渐进式和对抗式蒸馏方法,能够在一至少数步骤内快速生成1024像素分辨率的高质量图像。该模型提供开源模型和权重,支持与现有的LoRA模块和控制插件兼容,可以轻松集成到现有的图片生成系统中。核心技术包括扩散模型、渐进式蒸馏、对抗式蒸馏和鉴别器设计,以确保生成图像的质量和多样性。

MotionCanvas

MotionCanvas是一种图像到视频生成工具,能将静态图像转化为动态视频。它提供相机与物体运动的联合控制,支持复杂轨迹设计和局部运动调整,具备3D感知能力,可生成高质量长视频。适用于电影制作、动画创作、VR/AR、游戏开发及教育等多个领域。