视频生成

Phantom

Phantom是由字节跳动研发的视频生成框架,支持从参考图像中提取主体并生成符合文本描述的视频内容。它采用跨模态对齐技术,结合文本和图像提示,实现高质量、主体一致的视频生成。支持多主体交互、身份保留等功能,适用于虚拟试穿、数字人生成、广告制作等多种场景。模型基于文本-图像-视频三元组数据训练,具备强大的跨模态理解和生成能力。

VideoPoet

VideoPoet是一款基于大模型的AI视频生成工具,支持从文本、图像或视频输入中合成高质量的视频内容及匹配的音频。其核心优势在于多模态大模型设计,能够处理和转换不同类型的输入信号,无需特定数据集或扩散模型即可实现多种风格和动作的视频输出。主要功能包括文本到视频转换、图像到视频动画、视频风格化、视频编辑和扩展、视频到音频转换以及多模态学习等。技术原理涉及多模态输入处理、解码器架构、预训练与任务适应

MovieDreamer

MovieDreamer是一个由浙江大学与阿里巴巴联合开发的AI视频生成框架,专为长视频设计。该框架结合自回归模型和扩散渲染技术,生成复杂的长视频内容。它支持多层次叙事一致性、高质量视觉渲染和多模态脚本,适用于电影预告片、VR叙事、教育视频和游戏内剧情等多种场景。

Stability AI

Stability AI提供了一套完整的生成式AI模型,覆盖图像、视频和音频等多个领域,旨在推动AI技术的普及和应用。

UniReal

UniReal是一款由香港大学与Adobe研究院合作开发的多功能图像处理框架,能够实现图像生成、编辑、定制和合成等任务。它通过视频生成模型的设计理念,利用大规模视频数据作为监督源,学习图像间的连贯性与变化性,生成高质量的逼真图像。该框架特别擅长处理复杂的场景,支持多种应用场景,包括数字内容创作、媒体娱乐、广告营销、电子商务及教育等领域。

讯飞AI聊天对话

讯飞AI聊天对话是科大讯飞推出的AI大语言模型,具备多模态理解和生成能力,支持多种文件类型的智能管理、分析和再创作。

HunyuanCustom

HunyuanCustom是腾讯混元团队开发的多模态视频生成框架,支持图像、音频、视频和文本等多种输入条件,生成高质量定制化视频。采用文本-图像融合与图像ID增强技术,提升身份一致性和视频真实性。适用于虚拟人广告、虚拟试穿、视频编辑等场景,具备音频驱动和视频驱动两种生成方式,展现强大可控性与灵活性。

Pika 1.5

Pika 1.5是一款基于AI的视频生成工具,拥有直观的界面和强大的“Pikaffects”特效库,支持从图片或文本生成高质量视频。其核心功能包括智能特效识别与应用、动态场景模拟及灵活的镜头控制,适合社交媒体内容创作、教育培训、广告宣传及个人娱乐等多种应用场景。

FLOAT

FLOAT是一款基于音频驱动的虚拟人像生成模型,利用运动潜在空间和流匹配技术,实现时间一致性视频生成。它支持情感增强,生成自然且富有表现力的虚拟人物,广泛应用于虚拟主播、视频会议、社交媒体、游戏以及电影制作等多个领域,同时具备高效的采样和生成能力。

ID

ID-Animator是一款由腾讯光子工作室、中科大和中科院合肥物质科学研究院联合开发的零样本人类视频生成技术。它能够根据单张参考面部图像生成个性化视频,并根据文本提示调整视频内容。ID-Animator通过结合预训练的文本到视频扩散模型和轻量级面部适配器,实现高效的身份保真视频生成。其主要功能包括视频角色修改、年龄和性别调整、身份混合以及与ControlNet等现有条件模块的兼容性。