多模态模型
  1. 首页
  2. 多模态模型

列表

TableGPT2

TableGPT2

TableGPT2是一种由浙江大学开发的多模态人工智能模型，专注于结构化数据的处理与分析。它具备强大的表格数据理解能力，支持SQL查询执行、数据分析以及数据增删改查等功能。通过创新的表格编码器和双维注意力机制，TableGPT2在处理不规则表格和模糊查询方面表现优异。其应用场景广泛，涵盖商业智能、财务分析、市场研究及供应链管理等领域。
AI项目与工具 2025年06月12日
Magic 1

Magic 1

Magic 1-For-1是由北京大学、Hedra Inc. 和 Nvidia 联合开发的高效视频生成模型，通过任务分解和扩散步骤蒸馏技术实现快速、高质量的视频生成。支持文本到图像和图像到视频两种模式，结合多模态输入提升语义一致性。采用模型量化技术降低资源消耗，适配消费级硬件。广泛应用于内容创作、影视制作、教育、VR/AR及广告等领域。
AI项目与工具 2025年06月12日
InternVideo2.5

InternVideo2.5

InternVideo2.5是一款由上海人工智能实验室联合多机构开发的视频多模态大模型，具备超长视频处理能力和细粒度时空感知。它支持目标跟踪、分割、视频问答等专业视觉任务，适用于视频检索、编辑、监控及自动驾驶等多个领域。模型通过多阶段训练和高效分布式系统实现高性能与低成本。
AI项目与工具 2025年06月12日
NoteLLM

NoteLLM

NoteLLM 是一款基于多模态大型语言模型的笔记推荐框架，支持文本与图像信息的融合处理。通过自动生成标签、压缩嵌入、对比学习和指令微调等技术，提升推荐准确性与相关性。其升级版 NoteLLM-2 引入多模态上下文学习与晚期融合机制，增强视觉信息处理能力，适用于个性化推荐、冷启动优化及内容创作辅助等场景。
AI项目与工具 2025年06月11日
QLIP

QLIP

QLIP是一种基于二进制球形量化（BSQ）的视觉标记化方法，具备高质量图像重建和零样本图像理解能力。通过对比学习目标和两阶段训练策略，QLIP可作为视觉编码器或图像标记器，广泛应用于多模态任务，如文本到图像生成、图像到文本生成及多模态理解。其技术设计提升了模型的语义表达与训练效率，为统一多模态模型的开发提供了新思路。
AI项目与工具 2025年06月11日
HealthGPT

HealthGPT

HealthGPT是由多家高校与企业联合开发的医学视觉语言模型，支持医学图像分析、视觉问答、文本生成及多模态融合等任务。其核心技术包括异构低秩适应（H-LoRA）、分层视觉感知（HVP）和三阶段学习策略（TLS），可高效处理复杂医疗数据。模型适用于医学诊断、教育、研究及健康管理等多个场景，具有良好的适应性和实用性。
AI项目与工具 2025年06月12日
基石智算

基石智算

基石智算是青云科技推出的AI算力云服务平台，支持多种异构算力资源的统一调度与管理，具备弹性扩容、分布式任务调度、一站式AI开发及模型部署等功能。平台适用于AI模型训练、高性能计算、数据科学分析及模型推理等多种场景，提供灵活的服务模式和全面的资源监控与管理能力，助力用户高效开展人工智能相关工作。
AI项目与工具 2025年06月11日
HumanOmni

HumanOmni

HumanOmni 是一款面向人类中心场景的多模态大模型，融合视觉与听觉信息，具备情感识别、面部描述、语音理解等功能。基于大量视频与指令数据训练，采用动态权重调整机制，支持多模态交互与场景理解。适用于影视分析、教育、广告及内容创作等领域，具备良好的可扩展性和灵活性。
AI项目与工具 2025年06月12日
OpenEMMA

OpenEMMA

OpenEMMA是一个开源的端到端自动驾驶多模态模型框架，基于预训练的多模态大型语言模型（MLLMs），能够处理视觉数据和复杂驾驶场景的推理任务。它通过链式思维推理机制提升轨迹规划和感知任务性能，并集成了优化的YOLO模型以提高3D边界框预测的准确性。此外，OpenEMMA支持人类可读的输出，适用于多种驾驶环境，包括城市道路、高速公路、夜间及复杂天气条件下的驾驶。
AI项目与工具 2025年06月12日
Long

Long

Long-VITA是一款由腾讯优图实验室、南京大学和厦门大学联合开发的多模态AI模型，支持处理超长文本（超过100万tokens）及多模态输入（图像、视频、文本）。通过分阶段训练提升上下文理解能力，结合动态分块编码器与并行推理技术，实现高效处理长文本和高分辨率图像。模型基于开源数据训练，适用于视频分析、图像识别、长文本生成等场景，性能在多个基准测试中表现突出。
AI项目与工具 2025年06月12日