多模态
  1. 首页
  2. 多模态

列表

VideoPoet

VideoPoet

VideoPoet是一款基于大模型的AI视频生成工具，支持从文本、图像或视频输入中合成高质量的视频内容及匹配的音频。其核心优势在于多模态大模型设计，能够处理和转换不同类型的输入信号，无需特定数据集或扩散模型即可实现多种风格和动作的视频输出。主要功能包括文本到视频转换、图像到视频动画、视频风格化、视频编辑和扩展、视频到音频转换以及多模态学习等。技术原理涉及多模态输入处理、解码器架构、预训练与任务适应
AI项目与工具 2024年01月01日
Stackie.AI

Stackie.AI

Stackie.AI 是一款基于AI的智能记录与管理工具，支持多模态输入（文本、语音、图像），提供自动整理、任务生成、个性化模板及角色互动等功能。适用于健康管理、学习辅助、日常计划与习惯养成等场景，提升信息处理效率与用户体验。
AI项目与工具 2025年06月12日
EMMA

EMMA

EMMA是一款基于Gemini模型的端到端自动驾驶多模态模型，可直接从原始相机传感器数据生成驾驶轨迹并执行多种任务，如3D对象检测、道路图元素识别及场景理解。该模型利用自然语言处理技术实现跨任务协作，并展现出强大的泛化能力，但在某些方面仍需改进。
AI项目与工具 2025年06月12日
Seaweed

Seaweed

Seaweed-7B 是一款由字节跳动开发的视频生成模型，拥有约 70 亿参数，支持从文本、图像或音频生成高质量视频。具备文本到视频、图像到视频、音频驱动生成、长镜头、连贯叙事、实时生成等功能，适用于内容创作、教育、广告等多个领域。采用变分自编码器和扩散变换器技术，结合多阶段训练与优化策略，提升生成效率与质量，兼顾性能与成本效益。
AI项目与工具 2025年06月11日
Augment Agent

Augment Agent

Augment Agent 是一款 AI 编程助手，支持 VS Code 和 JetBrains，具备强大上下文处理能力（最高 20 万 tokens），可自动学习用户编码风格并保持一致性。支持多模态输入、代码检查点、终端命令及跨平台协作，适用于复杂代码库开发和日常编程任务，性能在基准测试中表现优异。
AI项目与工具 2025年06月12日
Image to Music

Image to Music

Image to Music 是一款基于AI的图像转音乐工具，通过分析图像的颜色、形状和纹理等元素，生成多种风格的音乐。用户可直接上传图片并选择模型，快速获得钢琴、吉他、管弦乐等音乐作品。无需注册，无使用限制，适用于音乐创作、广告营销、教育及个性化礼物制作等多种场景，为艺术创作提供新思路。
AI项目与工具 2025年06月11日
Vidu 1.5

Vidu 1.5

Vidu 1.5是一款基于多模态视频大模型的AI生成工具，支持参考生视频、图生视频和文生视频生成，通过精准的语义理解能力，在30秒内完成高质量视频创作，适用于影视、动漫、广告等多行业场景，助力创作者高效产出多样化内容。
AI项目与工具 2025年06月12日
UniFluid

UniFluid

UniFluid是由谷歌DeepMind与麻省理工学院联合开发的统一自回归框架，支持图像生成与视觉理解任务。它通过连续视觉标记处理多模态输入，结合Gemma模型和VAE技术，实现高质量图像生成与强大视觉理解能力。该框架在图像编辑、视觉问答和图像描述等任务中表现出色，具备良好的下游任务迁移能力，适用于创意设计、内容创作等多个领域。
AI项目与工具 2025年06月12日
Gemma 3

Gemma 3

Gemma 3 是谷歌推出的开源人工智能模型，支持多语言、多模态处理，具备文本、图像及短视频分析能力。提供多种模型尺寸，适配不同硬件环境，优化了单 GPU/TPU 性能，推理速度提升显著。内置图像安全分类器，增强内容安全性。支持多种开发工具和部署方式，适用于人脸识别、物体检测、智能助手、文本分析等场景。
AI项目与工具 2025年06月12日
VACE

VACE

VACE是由阿里巴巴通义实验室推出的视频生成与编辑框架，支持文本到视频、参考生成、视频扩展、遮罩编辑等多种任务。其核心是Video Condition Unit（VCU），可整合多模态输入，实现任务灵活组合。支持480P和720P分辨率，适用于创意视频制作、视频修复、风格转换及互动创作等场景，具备高灵活性和广泛的应用潜力。
AI项目与工具 2025年06月12日