InstructMove

InstructMove是什么

InstructMove是由东京大学与Adobe公司联合开发的一种基于指令的图像编辑模型。该模型通过分析视频中的帧对变化，学习如何根据文本指令执行图像操作。其核心技术依托于多模态大型语言模型（MLLMs），能够生成描述帧间变化的编辑指令，并在保持内容一致性的前提下，完成复杂的非刚性编辑任务，如调整主体姿势、表情和视角等。InstructMove采用真实视频帧作为训练数据，确保编辑结果的自然性和真实性，弥补了传统合成数据集在复杂编辑任务上的不足。此外，它支持基于掩码等控制机制的精确局部编辑，提升了实际应用中的灵活性与实用性。

InstructMove的主要功能

• 非刚性编辑：支持对图像中主体的姿势、表情等非刚性特征进行调整，以符合给定的编辑指令。
• 视角调整：可根据指令改变图像的拍摄角度，如左右移动相机视角，优化构图和视觉效果。
• 元素重新排列：允许对图像中的元素进行重新布局或移动，满足特定的编辑需求。
• 精确局部编辑：结合掩码等控制机制，实现对图像特定区域的精准修改。

InstructMove的技术原理

• 数据集构建
  • 视频帧采样：从互联网视频中提取具有意义变换的帧对，如主体姿态变化、元素移动或视角调整，获取大量自然真实的图像变换样本。
  • 多模态语言模型生成指令：利用多模态大型语言模型（如GPT-4o或Pixtral-12B）分析帧对差异，生成准确的编辑指令。
• 模型架构与训练
  • 预训练模型微调：在构建的数据集上对文本到图像模型（如Stable Diffusion）进行微调。
  • 空间条件策略：引入空间条件策略，将参考图像与噪声输入沿空间维度拼接。
  • 去噪网络训练：将拼接后的输入送入去噪U-Net网络，预测噪声图并优化模型参数，实现基于指令的图像去噪与重建。
• 控制机制集成
  • 掩码引导：支持掩码控制编辑区域，在推理阶段融合更新后的潜在表示，实现局部修改。
  • 其他空间控制：可与ControlNet等可控扩散模型集成，接受草图、关键点等额外视觉线索，实现更复杂的图像编辑。

InstructMove的项目地址

• 项目官网：ljzycmd.github.io/projects/InstructMove
• arXiv技术论文：https://arxiv.org/pdf/2412.12087v1

InstructMove的应用场景

• 影视后期制作：用于调整科幻电影中外星生物的表情，使其更符合剧情要求。
• 广告创意设计：可用于调整汽车广告中的视角和背景元素，突出车型特点。
• 室内设计：帮助设计师调整房间布局和装饰，提升用户体验。
• 艺术教育：辅助教学，通过调整人物动作帮助学生理解艺术表达。
• 个人照片编辑：让用户轻松调整照片中的人物表情，提升分享体验。