多模态

xGen

xGen-MM是一款由Salesforce开发的开源多模态AI模型,具备处理文本和图像等数据类型的能力。该模型通过学习大量图像和文字信息,在视觉语言任务中表现出色,并通过开源模型、数据集和微调代码库促进模型性能的提升。xGen-MM具有多模态理解、大规模数据学习、高性能生成、开源可访问和微调能力等特点。其应用场景广泛,包括图像描述生成、视觉问答、文档理解、内容创作和信息检索等。

PP

PP-DocBee是百度飞桨推出的多模态文档理解模型,基于ViT+MLP+LLM架构,支持文字、表格、图表等多类型文档内容的精准识别与解析。具备高效的推理性能和高质量输出,适用于文档问答、信息提取等场景,支持灵活部署,为文档处理提供智能化解决方案。

灵犀 X2

灵犀 X2 是智元机器人推出的双足人形机器人,具备 28 个自由度和高灵活性,可完成跳舞、奔跑、骑车等复杂动作。搭载 Diffusion 动作生成引擎和多模态交互系统,支持情感识别与毫秒级响应。适用于家庭服务、教育、医疗护理、工业协作及娱乐场景,具备强大的环境感知与任务执行能力。

PUMA

PUMA是一款先进的多模态大型语言模型,专注于通过整合多粒度视觉特征提升视觉生成与理解能力。它支持文本到图像生成、图像编辑、条件图像生成及多粒度视觉解码等功能,适用于艺术创作、媒体娱乐、广告营销等多个领域,凭借其强大的多模态预训练和微调技术,成为多模态AI领域的前沿探索。

LongLLaVA

LongLLaVA是由香港中文大学(深圳)研究团队开发的多模态大型语言模型,结合Mamba和Transformer模块,利用2D池化技术压缩图像token,大幅提升处理大规模图像数据的效率。该模型在视频理解、高分辨率图像分析及多模态代理任务中表现优异,特别擅长检索、计数和排序任务。其技术亮点包括渐进式训练策略和混合架构优化,支持多种多模态输入处理,广泛应用于视频分析、医学影像诊断、环境监测等领域。

心影大模型

心影大模型是一款专注于游戏领域的AI工具,基于超百万条游戏数据训练,支持《原神》《艾尔登法环》等主流游戏,提供精准攻略查询、情感化角色互动、多模态交互等功能。其响应速度快,准确率高,适用于游戏辅导、情绪支持、心理陪伴等多种场景,提升用户体验与互动性。

ImageBind

ImageBind是由Meta公司开发的开源多模态AI模型,能够整合文本、音频、视觉、温度和运动数据等多种模态的信息,并将其统一到一个嵌入空间中。该模型通过图像模态实现其他模态数据的隐式对齐,支持跨模态检索和零样本学习。它在增强现实(AR)、虚拟现实(VR)、内容推荐系统、自动标注和元数据生成等领域有广泛应用。

Eagle 2.5

Eagle 2.5 是一款由英伟达开发的视觉语言模型,专注于长上下文多模态学习,具备处理高分辨率图像和长视频序列的能力。其参数规模为 8B,但性能接近更大模型。采用信息优先采样和渐进式后训练策略,提升模型稳定性与适应性。支持多样任务,适用于视频分析、图像处理、内容创作及教育等多个领域。

ModelEngine

ModelEngine 是华为开源的全流程 AI 开发工具链,涵盖数据处理、模型训练与应用开发三大核心模块。支持多模态数据清洗、知识向量化及模型推理,提供低代码编排和 RAG 框架,适用于医疗、金融、制造等领域的 AI 应用开发与行业化落地。