LatentSync
LatentSync是由字节跳动与北京交通大学联合研发的端到端唇形同步框架，基于音频条件的潜在扩散模型，无需中间3D或2D表示，可生成高分辨率、动态逼真的唇同步视频。其核心技术包括Temporal Representation Alignment (TREPA)方法，提升视频时间一致性，并结合SyncNet监督机制确保唇部动作准确。适用于影视制作、教育、广告、远程会议及游戏开发等多个领域。
PersonaTalk
PersonaTalk是一种基于注意力机制的两阶段框架，用于实现高保真度和个性化的视觉配音。其核心技术包括风格感知音频编码、唇形同步几何生成、双注意力面部渲染等，能够确保视频中人物的嘴型动作与输入音频精准匹配，同时保留说话者的独特风格和面部特征。相比现有技术，PersonaTalk在视觉质量和唇形同步方面表现更优，适用于电影、游戏、虚拟助手等多个领域。
AniPortrait
AniPortrait是一款由腾讯开源的AI视频生成框架，通过音频和一张参考肖像图片生成高质量的动画。该框架包含两个核心模块：Audio2Lmk模块将音频转换为2D面部标记点，而Lmk2Video模块则基于这些标记点生成连贯且逼真的视频动画。AniPortrait以其高质量的视觉效果、时间一致性和灵活的编辑能力著称，能够精确捕捉面部表情和嘴唇动作。
SmoothCache
SmoothCache是一种针对Diffusion Transformers（DiT）模型的推理加速技术，通过分析层输出的相似性实现自适应缓存和特征重用，有效减少计算成本并提升生成效率。该技术具有模型无关性、跨模态适用性和易于集成的特点，支持图像、视频、音频及3D模型生成，并在多种应用场景中展现出卓越的性能表现。
