多模态

1. 首页
2. 多模态

PixVerse AI

PixVerse是一个强大的生成式AI模型，仅需几分钟时间，就可以轻松地将多模态输入转化为令人惊叹的视频。

Ai视频生成 2025年06月05日 58 点赞 0 评论 830 浏览

QLIP

QLIP是一种基于二进制球形量化（BSQ）的视觉标记化方法，具备高质量图像重建和零样本图像理解能力。通过对比学习目标和两阶段训练策略，QLIP可作为视觉编码器或图像标记器，广泛应用于多模态任务，如文本到图像生成、图像到文本生成及多模态理解。其技术设计提升了模型的语义表达与训练效率，为统一多模态模型的开发提供了新思路。

AI项目与工具 2025年06月11日 18 点赞 0 评论 829 浏览

LiveKit Agents

LiveKit Agents 是一款基于 Python 的多模态 AI 工具框架，支持实时语音、视频和数据交互。其核心功能包括基于 WebRTC 的低延迟通信、与 OpenAI 等服务的深度集成、丰富的插件生态系统以及负载均衡与自动扩展能力。适用于虚拟助手、客户服务、实时翻译、视频内容审核等多个应用场景。

AI项目与工具 2025年06月12日 55 点赞 0 评论 828 浏览

LLaVA

LLaVA-OneVision是字节跳动开发的开源多模态AI模型，主要功能包括多模态理解、任务迁移、跨场景能力、开源贡献及高性能。该模型采用多模态架构，集成了视觉和语言信息，通过Siglip视觉编码器和Qwen-2语言模型，实现高效特征映射和任务迁移学习。广泛应用于图像和视频分析、内容创作辅助、聊天机器人、教育和培训以及安全监控等领域。

AI项目与工具 2025年06月12日 34 点赞 0 评论 828 浏览

OpenEMMA

OpenEMMA是一个开源的端到端自动驾驶多模态模型框架，基于预训练的多模态大型语言模型（MLLMs），能够处理视觉数据和复杂驾驶场景的推理任务。它通过链式思维推理机制提升轨迹规划和感知任务性能，并集成了优化的YOLO模型以提高3D边界框预测的准确性。此外，OpenEMMA支持人类可读的输出，适用于多种驾驶环境，包括城市道路、高速公路、夜间及复杂天气条件下的驾驶。

AI项目与工具 2025年06月12日 36 点赞 0 评论 828 浏览

OmniSearch

OmniSearch是一款由阿里巴巴通义实验室开发的多模态检索增强生成框架，具备自适应规划能力。它能够动态解析复杂问题，根据检索结果和问题情境调整检索策略，模拟人类解决复杂问题的行为，提升检索效率和准确性。OmniSearch支持多模态信息处理，包括文本、图像等，并通过递归检索与推理流程逐步接近问题解答，显著提高多模态检索的灵活性和效果。

AI项目与工具 2025年06月12日 52 点赞 0 评论 827 浏览

Veo 3

Veo 3是谷歌推出的新一代视频生成模型，在I/O开发者大会上发布。它是首个能生成视频背景音效的模型，可合成画面并匹配人物对话和口型，支持1080P高质量视频生成，具备物理模拟与口型同步能力，可生成超过60秒的视频片段，并支持多种视觉风格。Veo 3整合了多项先进技术，适用于影视制作、广告营销及教育领域。

AI项目与工具 2025年06月11日 90 点赞 0 评论 826 浏览

HealthGPT

HealthGPT是由多家高校与企业联合开发的医学视觉语言模型，支持医学图像分析、视觉问答、文本生成及多模态融合等任务。其核心技术包括异构低秩适应（H-LoRA）、分层视觉感知（HVP）和三阶段学习策略（TLS），可高效处理复杂医疗数据。模型适用于医学诊断、教育、研究及健康管理等多个场景，具有良好的适应性和实用性。

AI项目与工具 2025年06月12日 80 点赞 0 评论 826 浏览

谷觅AI

支持AI文章自动生成，谷觅AI提供自动写作和批量创作能力，AI写作生成器系统工具。

AI写作对话 2025年06月05日 87 点赞 0 评论 826 浏览

跃问视频

由阶跃星辰开发的AI视频生成工具，只需通过简单的文本输入跃问视频就可以生成最长10秒的视频。

Ai视频生成 2025年06月05日 88 点赞 0 评论 825 浏览