生成

xGen

xGen-MM是一款由Salesforce开发的开源多模态AI模型,具备处理文本和图像等数据类型的能力。该模型通过学习大量图像和文字信息,在视觉语言任务中表现出色,并通过开源模型、数据集和微调代码库促进模型性能的提升。xGen-MM具有多模态理解、大规模数据学习、高性能生成、开源可访问和微调能力等特点。其应用场景广泛,包括图像描述生成、视觉问答、文档理解、内容创作和信息检索等。

ReCapture

ReCapture是一种先进的视频处理技术,由谷歌与新加坡国立大学联合研发。它通过多视图扩散模型和点云渲染生成新视角视频,同时使用掩码视频微调技术优化视频质量,保留场景运动并补全不可见部分,广泛应用于电影制作、视频编辑、虚拟现实及新闻报道等领域。

FlashVideo

FlashVideo是由字节跳动团队研发的高分辨率视频生成框架,采用两阶段方法优化计算效率。第一阶段在低分辨率下生成高质量内容,第二阶段通过流匹配技术提升至1080p,仅需4次函数评估。其特点包括高效计算、细节增强、快速预览及多场景应用,适用于广告、影视、教育等领域。

Hedra

Hedra是由一批前斯坦福大学研究员组成的数字创新实验室推出的一款人工智能驱动的视频创作工具。它致力于将先进的AI技术运用到角色视频的创造过程中。用户只需提供一张照片和一段音...

Cassette

Cassette能帮助您立即创作出高品质的节拍。 凭借其先进的AI技术,Cassette可以生成与您的音乐视觉相匹配的独特节拍和节奏。 只要向人工智能模型描述你的节拍,应用程序就会完成剩...

VMix

VMix是一款提升文本到图像生成美学质量的工具,通过解耦文本内容与美学描述,并引入细粒度美学标签,增强图像在色彩、光线、构图等方面的视觉表现。其核心技术为交叉注意力混合控制模块,可在不改变原有模型结构的情况下注入美学条件,保持图文一致性。VMix兼容多种扩散模型及社区模块,支持多源输入、高质量视频处理、实时直播与远程协作,广泛应用于电视直播、网络直播、现场活动及虚拟演播室等场景。

ImagePulse

ImagePulse是由魔搭社区推出的开源项目,专注于图像理解和生成模型的数据集支持。它通过将复杂任务拆解为“修改、添加、移除”“风格迁移”“人脸保持”等原子能力,构建专门的数据集,提升模型在特定任务上的性能。项目提供开源脚本,支持数据集的生成与扩展,并结合多种技术资源实现多模型协同,适用于艺术创作、视频制作、产品展示等多个领域。

Fugatto

Fugatto是一款由英伟达开发的音频合成与转换模型,利用增强型Transformer架构实现了从文本到音频的高效转化。它支持多种音频生成任务,如音乐创作、声音效果设计及语音合成,并可通过ComposableART技术实现对声音属性的精细调控。此外,Fugatto擅长生成动态变化的声音景观,广泛应用于音乐创作、声音设计及广告音频制作等领域。

Hallo3

Hallo3是由复旦大学与百度联合开发的基于扩散变换器网络的肖像动画生成技术,能够生成多视角、动态且逼真的视频内容。其核心功能包括身份一致性保持、语音驱动动画、动态对象渲染和沉浸式背景生成。技术上采用预训练变换器模型,结合身份参考网络与音频条件机制,实现高质量视频生成。适用于游戏开发、影视制作、社交媒体及VR/AR等多个领域。

PipiGPT

通过AI技术自动识别图片内容并一键生成文案,发布在朋友圈、小红书等社交平台上。