FaceShot

FaceShot简介

FaceShot是由同济大学、上海AI Lab和南京理工大学联合开发的一种新型无需训练的肖像动画生成框架。该框架通过外观引导的地标匹配模块和基于坐标的地标重定位模块，为各种角色生成精确且稳定的地标序列。结合潜在扩散模型的语义对应关系，FaceShot能够在不同角色类型之间生成一致的面部动作序列，并将其输入预训练的地标驱动动画模型以生成最终的动画视频。该技术突破了传统方法对现实肖像地标的依赖，适用于多种风格化角色和驱动视频，同时具备良好的兼容性，可与各类地标驱动的动画模型无缝集成，显著提升整体性能。

FaceShot的核心功能

• 角色动画生成：支持多种角色类型的面部动画生成，保留角色原始特征。
• 跨领域适配：能够从人类视频驱动非人类角色（如动物、玩具等）的动画。
• 无需训练：不依赖特定角色或视频的额外训练，直接生成高质量动画。
• 高度兼容：可作为插件与多种地标驱动的动画模型兼容。

FaceShot的技术架构

• 外观引导的地标匹配模块：利用潜在扩散模型的语义对应关系，结合外观先验知识，为任意角色生成精准的面部地标。通过DDIM逆过程提取特征，减少跨领域差异，并采用余弦距离进行匹配，提升地标一致性。
• 基于坐标的地标重定位模块：通过坐标变换捕捉驱动视频中的细微面部动作，生成对齐的地标序列。该模块分为全局运动和局部运动两个阶段，分别处理面部整体和局部区域的运动。
• 地标驱动的动画模型：将生成的地标序列输入预训练模型（如MOFA-Video），生成高质量的动画视频。通过在U-Net中引入地标序列作为条件，确保动画与驱动视频保持一致。

FaceShot项目信息

• 项目官网：https://faceshot2024.github.io/faceshot/
• GitHub仓库：https://github.com/open-mmlab/FaceShot
• arXiv技术论文：https://arxiv.org/pdf/2503.00740

FaceShot的应用场景

• 影视娱乐：用于电影、电视剧中角色动画制作，增强视觉表现。
• 游戏开发：快速生成游戏角色动画，提升互动体验。
• 教育领域：增强教学内容的可视化效果。
• 广告营销：创建品牌吉祥物动画，提升传播效果。
• VR/AR应用：为虚拟角色生成自然动画，增强沉浸感。