图像

Pix2Gif

Pix2Gif是一个由微软研究院开发的基于运动引导的扩散模型,能够将静态图像转换成动态的GIF动画或视频。该模型通过运动引导的扩散过程实现图像到GIF的生成,并利用文本描述和运动幅度作为输入。Pix2Gif还引入了感知损失机制,确保生成的GIF帧在视觉上与原始图像保持一致性和连贯性。

Follow

Follow-Your-Click是一款由腾讯、清华大学和香港科技大学合作开发的图像到视频生成模型。它允许用户通过简单的点击和动作提示将静态图像转化为包含局部动画效果的动态视频。主要功能包括直观的用户界面、局部动画生成、多对象处理、简短动作提示、高质量视频生成及运动速度控制。其工作原理涉及用户交互、图像分割、第一帧遮罩策略、运动增强模块和基于光流的运动幅度控制。

VLOGGER

VLOGGER AI是一款由谷歌研究团队开发的多模态扩散模型,主要用于从单一输入图像和音频样本生成逼真的、连贯的人像动态视频。该工具能够根据音频控制人物动作,包括面部表情、唇部动作、头部运动、眼神、眨眼及上身和手部动作,实现音频驱动的视频合成。VLOGGER生成的视频具有高度的真实性和多样性,能够展示原始主体的不同动作和表情。此外,VLOGGER还可以用于编辑现有视频和跨语言视频内容适配。

StreamMultiDiffusion

StreamMultiDiffusion是一款开源的实时交互式图像生成框架,结合了扩散模型的高质量图像合成能力和区域控制的灵活性。用户可以实时生成和编辑图像,通过文本提示和手绘区域生成特定部分的图像,提供高质量的图像输出。其主要功能包括实时图像生成、指定区域文本到图像生成、直观的用户界面、多提示流批处理架构、快速推理技术、区域控制、稳定化技术和Semantic Palette交互式图像生成。

Mora

Mora是一个多智能体框架,专为视频生成任务设计,通过多个视觉智能体的协作实现高质量视频内容的生成。主要功能包括文本到视频生成、图像到视频生成、视频扩展与编辑、视频到视频编辑以及视频连接。尽管在处理大量物体运动场景时性能稍逊于Sora,Mora仍能在生成高分辨率视频方面表现出色。

BrushNet

BrushNet是一款基于扩散模型的图像修复工具,采用双分支架构处理遮罩区域。它能够实现像素级修复,保持修复区域与原始图像的一致性和高质量。BrushNet适用于多种场景和风格的图像,包括人类、动物、室内和室外场景,以及自然图像、铅笔画、动漫、插画和水彩画等。通过与预训练扩散模型结合,BrushNet提供灵活的修复控制,同时保留未遮罩区域的细节。

SUPIR

SUPIR是一种创新的图像修复和画质增强方法,基于大规模生成模型StableDiffusion-XL(SDXL)和模型扩展技术。它通过深度学习和多模态方法实现低质量图像的高质量恢复,支持通过文本提示进行图像恢复的精细控制。SUPIR适用于多种应用场景,如老照片修复、模糊图像增强、噪点去除和色彩校正与增强。

Champ

Champ是由阿里巴巴、复旦大学和南京大学的研究人员共同开发的一款基于3D的AI工具,能够将人物图片转换为高质量的视频动画。Champ通过结合3D参数化模型和潜在扩散模型,精准捕捉和再现人体的3D形态和动态,保证动画的连贯性和视觉逼真度。此外,Champ还支持跨身份动画生成,并能与文本生成图像模型结合,使用户可以根据文本描述生成特定的角色外观和动作。

DesignEdit

DesignEdit是一个由微软亚洲研究院和北京大学的研究人员共同开发的AI图像编辑框架。它采用了多层潜在分解和融合技术,能够实现对象移除、移动、调整大小、翻转、相机平移和缩放等复杂图像编辑任务。DesignEdit还支持跨图像元素的组合,特别适用于设计图像和海报的编辑。通过关键掩码自注意力机制和伪影抑制方案,DesignEdit能够在不破坏图像整体连贯性的情况下,实现高精度的空间感知图像编辑。

Stable Artisan

Stable Artisan是一款基于Discord平台的图像和视频生成机器人服务,利用Stability AI的AI技术和模型,如Stable Diffusion 3和Stable Video Diffusion,使用户能够通过自然语言提示生成高质量的图像和视频。此外,它还提供了一系列图像编辑工具,包括搜索替换、背景去除、高清放大、扩展外延、控制素描和结构等功能,适用于创意人士、设计师、内容创作