扩散模型

TryOffDiff

TryOffDiff是一种基于扩散模型的虚拟试穿技术,通过高保真服装重建实现从单张穿着者照片生成标准化服装图像的功能。它能够精确捕捉服装的形状、纹理和复杂图案,并在生成模型评估和高保真重建领域具有广泛应用潜力,包括电子商务、个性化推荐、时尚设计展示及虚拟时尚秀等场景。

InstructMove

InstructMove是由东京大学与Adobe合作开发的图像编辑模型,基于视频帧对变化学习如何根据指令进行图像操作。它能够执行非刚性编辑、视角调整和元素重排等任务,同时支持精确的局部编辑。该模型采用真实视频数据训练,提升编辑自然性与真实性,适用于影视、广告、设计等多个领域。其技术基于多模态语言模型和扩散模型,结合掩码和ControlNet等控制机制,实现灵活高效的图像编辑。

Imagen 4

Imagen 4是谷歌推出的最新图像生成AI模型,支持高达2K分辨率的图像生成,具备出色的细节呈现能力,可清晰展示复杂织物纹理、水滴折射及动物毛发质感。其文本渲染能力显著提升,适合广告、漫画等设计场景。支持多种艺术风格,包括超现实、抽象、插图和摄影,满足多样化创作需求。同时,Imagen 4拥有快速生成模式和高效的特征蒸馏技术,提升了生成速度,并已集成到Gemini应用、Google Worksp

VidSketch

VidSketch是由浙江大学研发的视频生成框架,支持通过手绘草图和文本提示生成高质量动画。它采用层级草图控制策略和时空注意力机制,提升视频连贯性和质量,适用于不同技能水平的用户。具备多样化风格支持和低门槛创作特点,广泛应用于创意设计、教学、广告及内容创作等领域。

LCVD

LCVD是一种由四川大学开发的高保真肖像动画生成框架,支持光照可控的动态视频生成。它通过分离肖像的内在与外在特征,并结合多条件分类器自由引导机制,实现对光照和姿态的精细控制。LCVD在图像质量、视频一致性和光照真实感方面表现突出,适用于虚拟现实、视频会议、影视制作及内容创作等多个领域。

VideoAnydoor

VideoAnydoor是一款由多所高校与研究机构联合开发的视频对象插入系统,基于文本到视频的扩散模型,支持高保真对象插入与精确运动控制。其核心模块包括ID提取器和像素变形器,能实现对象的自然融合与细节保留。该工具适用于影视特效、虚拟试穿、虚拟旅游、教育等多个领域,具备良好的通用性和扩展性。

BlockDance

BlockDance是由复旦大学与字节跳动联合开发的扩散模型加速技术,通过识别结构相似的时空特征(STSS)减少冗余计算,提升推理效率达25%-50%。结合强化学习的BlockDance-Ada模块实现动态资源分配,平衡速度与质量。适用于图像、视频生成及实时应用,支持多种模型,兼顾高效与高质,适用于资源受限环境。

SongCreator

SongCreator是一款基于AI技术的音乐生成工具,由清华大学深圳国际研究生院与香港中文大学等机构联合开发。它采用双序列语言模型(DSLM)和注意力掩码策略,支持歌词到歌曲、歌词到声乐、伴奏到歌曲等多种音乐生成任务,并允许用户灵活调整生成内容的声学特性。SongCreator适用于音乐制作、教育、娱乐、内容创作等多个领域,为用户提供高效便捷的音乐解决方案。

MMaDA

MMaDA(Multimodal Large Diffusion Language Models)是由普林斯顿大学、清华大学、北京大学和字节跳动联合开发的多模态扩散模型,支持跨文本推理、多模态理解和文本到图像生成等多种功能。其采用统一的扩散架构和模态不可知设计,结合混合长链推理微调策略与UniGRPO强化学习算法,提升跨模态任务性能。MMaDA在多项任务中表现优异,适用于内容创作、教育辅助、智能客

MotionCanvas

MotionCanvas是一种图像到视频生成工具,能将静态图像转化为动态视频。它提供相机与物体运动的联合控制,支持复杂轨迹设计和局部运动调整,具备3D感知能力,可生成高质量长视频。适用于电影制作、动画创作、VR/AR、游戏开发及教育等多个领域。