多模态

GPTder

通过GPTder发现和使用GPTs插件。任何人都可以轻松构建自己的GPT。使用GPTs连接到世界。

TokenFD

TokenFD是由上海交通大学与美团联合开发的细粒度图文对齐基础模型,专为文档理解任务设计。通过图像与语言Token的统一特征空间对齐,支持Token级图文交互,提升了多模态任务性能。其基于自研的TokenIT数据集进行训练,涵盖2000万张图像和18亿高质量Token-Mask对,覆盖多种文本图像类型。TokenFD可用于文档处理、图像审查、文字检索及大模型知识增强等多个领域,具有广泛的适用性和

Luma Ray2

Luma Ray2 是 Luma AI 推出的视频生成模型,基于多模态架构,支持文本和图像输入,生成高质量、连贯的视频内容。相较前代,视频时长从 5 秒提升至 1 分钟,支持电影级运镜和逼真特效,适用于影视制作、广告、游戏动画及教育等多个领域。

GR00T N1

GR00T N1 是英伟达推出的开源人形机器人基础模型,支持多模态输入并具备复杂任务执行能力。采用双系统架构,结合视觉-语言模型与扩散变换器,实现精准动作控制。基于大规模数据训练,适应多种机器人形态和任务场景,广泛应用于物流、制造、医疗等领域,提升自动化水平与操作效率。

BLIP3

BLIP3-o是Salesforce Research等机构推出的多模态AI模型,结合自回归与扩散模型优势,实现高效图像理解和生成。基于CLIP语义特征,支持文本与图像间的双向转换及图像编辑。采用顺序预训练策略,提升模型性能。完全开源,适用于创意设计、视觉问答、艺术生成等多种场景。

DiffSensei

DiffSensei是一款由北京大学、上海AI实验室及南洋理工大学联合开发的漫画生成框架,它结合了基于扩散的图像生成技术和多模态大型语言模型(MLLM)。该工具能够根据用户提供的文本提示和角色图像,生成具有高精度和视觉吸引力的黑白漫画面板,支持多角色场景下的互动与布局调整。其核心技术包括掩码交叉注意力机制、对话布局编码以及MLLM作为特征适配器等,广泛应用于漫画创作、个性化内容生成、教育和培训等领

DINO

DINO-X是一款由IDEA研究院开发的通用视觉大模型,具备开放世界对象检测与理解的能力。它支持多种提示类型,无需用户额外输入即可识别图像中的任意对象,并在多个基准测试中刷新了性能记录。DINO-X拥有Pro和Edge两个版本,分别针对高性能需求和边缘设备优化。其应用范围涵盖自动驾驶、智能安防、工业检测及机器人视觉等领域,助力行业创新与发展。

蜜巢政务大模型

蜜巢为蜜度自主研发的政务大模型,在研发工作中,构建了Token数超1万亿、中文内容占比超75%的高质量语料数据集用于预训练工作。

Emotion

Emotion-LLaMA是一款基于多模态输入的情绪识别与推理模型,结合音频、视觉和文本信息,提升情感理解的准确性与可解释性。模型采用改进版LLaMA架构,通过指令调整增强情感处理能力,并依托自建的MERR数据集进行训练与验证。在多个挑战赛中表现优异,适用于人机交互、教育、心理健康、客户服务等领域,具有广泛的应用前景。

ManusAI

全球首款通用型AI智能体,ManusAI通过自主任务执行、动态任务拆解、多模态交互和跨平台执行等能力,帮助用户高效完成复杂任务。