扩散模型
RelightVid
RelightVid是一款基于时序一致性扩散模型的视频重照明工具,由多所高校和研究机构联合开发。它支持通过文本提示、背景视频或HDR环境贴图对视频进行细粒度和一致的场景编辑,具备全场景和前景保留重照明功能。该模型在预训练图像照明编辑框架基础上扩展,引入时序层提升视频重照明效果,并结合真实视频与3D渲染数据生成高质量数据对。RelightVid在保持时序一致性和照明细节方面表现突出,适用于影视制作、
Seaweed APT
Seaweed APT是字节跳动研发的对抗性后训练模型,支持图像和视频的一站式生成。其通过在真实数据上进行对抗性训练,实现单步高质量输出,包括1024px图像和1280×720、24fps视频。该模型采用先进的生成器和判别器设计,结合近似R1正则化技术,提升训练稳定性和生成质量。适用于视频广告、影视创作、社交媒体等内容生产场景。
Lemon Slice Live
Lemon Slice Live 是一款基于扩散变换器模型(DiT)的实时视频聊天工具,可将图片转化为可互动的动画角色,支持多语言和实时对话。通过优化模型提升流畅度与响应速度,适用于娱乐、教育、营销等多种场景,结合语音识别、文本生成等技术,提供完整的交互体验。
Sonauto AI
一款AI音乐生成器,允许用户通过将文本提示、歌词或旋律转换为完整的不同风格的歌曲。它采用了潜在扩散模型,这使得它与其他人工智能音乐生成模型相比更加可控。
InstructMove
InstructMove是由东京大学与Adobe合作开发的图像编辑模型,基于视频帧对变化学习如何根据指令进行图像操作。它能够执行非刚性编辑、视角调整和元素重排等任务,同时支持精确的局部编辑。该模型采用真实视频数据训练,提升编辑自然性与真实性,适用于影视、广告、设计等多个领域。其技术基于多模态语言模型和扩散模型,结合掩码和ControlNet等控制机制,实现灵活高效的图像编辑。
