多模态

Agentic Object Detection

Agentic Object Detection是由吴恩达团队研发的新型目标检测技术,通过智能代理系统实现无需标注数据的目标识别。用户输入文字提示后,AI可精准定位图像中的目标及其属性,支持内在属性、上下文关系及动态状态的识别。该技术无需复杂训练流程,适用于装配验证、作物检测、医疗影像分析、危险物品识别和商品管理等多种场景,显著提升了检测效率和准确性。

跃问视频

由阶跃星辰开发的AI视频生成工具,只需通过简单的文本输入跃问视频就可以生成最长10秒的视频。

GigaTok

GigaTok 是一款基于语义正则化的高参数视觉分词器,支持自回归图像生成,具备优异的图像重建与生成能力。通过一维架构和非对称扩展策略,实现高效计算与稳定训练。适用于图像生成、编辑、数据增强及多模态应用,具有广泛的技术拓展性。

TITAN

TITAN是一款由哈佛医学院研究团队开发的多模态全切片病理基础模型,通过视觉自监督学习和视觉-语言对齐预训练,能够在无需微调或临床标签的情况下提取通用切片表示并生成病理报告。它在多种临床任务中表现出色,包括线性探测、少样本和零样本分类、罕见癌症检索、跨模态检索和病理报告生成,尤其适用于资源有限的临床场景。

Mind GPT

Mind GPT-3o是一款由理想汽车推出的大规模多模态端到端人工智能模型,集成了语音、视觉与语言理解技术,具备记忆、规划、工具集成及表达能力。它不仅能理解复杂信息,还能提供个性化服务,如智能驾驶辅助、家居设备控制、日程管理和健康咨询等。通过强化逻辑推理与上下文理解,该模型实现了从感知到表达的智能化跨越,为用户提供全面的支持。

UI

UI-TARS是由字节跳动开发的图形用户界面代理模型,支持通过自然语言实现桌面、移动端和网页的自动化交互。具备多模态感知、跨平台操作、视觉识别、任务规划与记忆管理等功能,适用于自动化任务执行和复杂交互场景。支持云端与本地部署,提供丰富的开发接口,便于集成与扩展。

MME

MME-CoT 是一个用于评估大型多模态模型链式思维推理能力的基准测试框架,涵盖数学、科学、OCR、逻辑、时空和一般场景六大领域,包含1,130个问题,每题均附关键推理步骤和图像描述。该框架引入推理质量、鲁棒性和效率三大评估指标,全面衡量模型推理能力,并揭示当前模型在反思机制和感知任务上的不足,为模型优化和研究提供重要参考。

从容大模型

从容大模型是云从科技推出的多模态AI模型,在国际评测中表现优异,具备视觉语言理解与推理能力。其核心技术包括多模态对齐、高效工程优化和原生多模态推理,支持复杂场景下的文本识别和开放域问答。该模型在医学健康、金融、制造、政务等多个领域实现规模化应用,助力智能化转型。

MiniMax MCP Server

MiniMax MCP Server 是一款基于 MCP 协议的多模态生成服务器,支持视频、图像、语音及声音克隆等功能。其具备高分辨率输出、自然语音生成与声音克隆能力,兼容多种主流客户端。平台采用客户端-服务器架构,结合 RAG 技术提升响应准确性,适用于教学、游戏开发、内容创作等多个领域。

VRAG

VRAG-RL是阿里巴巴通义大模型团队推出的视觉感知驱动的多模态RAG推理框架,旨在提升视觉语言模型在处理视觉丰富信息时的检索、推理和理解能力。通过定义视觉感知动作空间,实现从粗粒度到细粒度的信息获取,并结合强化学习和综合奖励机制优化模型性能。该框架支持多轮交互推理,具备良好的可扩展性,适用于智能文档问答、视觉信息检索、多模态内容生成等多种场景。