多模态
VideoRefer
VideoRefer是由浙江大学与阿里达摩院联合开发的视频对象感知与推理系统，基于增强型视频大型语言模型，实现对视频中对象的细粒度理解与分析。其核心包括大规模视频数据集、多功能空间-时间编码器和全面评估基准，支持对象识别、关系分析、推理预测及多模态交互等功能，适用于视频剪辑、教育、安防、机器人控制和电商等多个领域。
PaliGemma 2
PaliGemma 2是一款由Google DeepMind研发的视觉语言模型（VLM），结合了SigLIP-So400m视觉编码器与Gemma 2语言模型，支持多种分辨率的图像处理。该模型具备强大的知识迁移能力和出色的学术任务表现，在OCR、音乐乐谱识别以及医学图像报告生成等方面实现了技术突破。它能够处理多模态任务，包括图像字幕生成、视觉推理等，并支持量化和CPU推理以提高计算效率。
BEHAVIOR Robot Suite
BEHAVIOR Robot Suite（BRS）是斯坦福大学李飞飞团队研发的机器人操作框架，专注于实现全身协调与复杂家务任务。它结合了低成本遥操作接口JoyLo和多模态学习算法WB-VIMA，提升机器人在真实环境中的适应性和操作精度。适用于家务自动化、垃圾处理、衣物整理等多个场景，具备高度灵活性和故障恢复能力。
FakeShield
FakeShield是一款由北京大学研发的多模态大型语言模型框架，主要用于检测和定位图像篡改。它通过结合视觉与文本信息，生成篡改区域掩码并提供详细的判断依据。其核心模块包括领域标签引导的检测模块和多模态定位模块，支持多种篡改技术的分析，具有较高的准确性与可解释性。FakeShield广泛应用于社交媒体内容审核、法律取证、新闻媒体真实性验证以及版权保护等领域。
Agent TARS
Agent TARS 是字节跳动推出的开源多模态 AI 代理工具，支持浏览器、命令行和文件系统的集成，实现复杂任务的自动化执行。其核心功能包括代理工作流、数据处理、代码生成与解释等。基于事件流和模型上下文协议（MCP），Agent TARS 能高效分解任务并实时反馈结果，适用于网页自动化、任务管理、数据分析和代码辅助等多种场景。目前支持 macOS 平台，处于技术预览阶段。
