视频理解
VideoLLaMB
VideoLLaMB 是一个创新的长视频理解框架，通过引入记忆桥接层和递归记忆令牌来处理视频数据，确保在分析过程中不会丢失关键的视觉信息。该模型专为理解长时间视频内容而设计，能够保持语义上的连续性，并在多种任务中表现出色，例如视频问答、自我中心规划和流式字幕生成。VideoLLaMB 能够有效处理视频长度的增加，同时保持高性能和成本效益，适用于学术研究和实际应用。
---
InternVideo2.5
InternVideo2.5是一款由上海人工智能实验室联合多机构开发的视频多模态大模型，具备超长视频处理能力和细粒度时空感知。它支持目标跟踪、分割、视频问答等专业视觉任务，适用于视频检索、编辑、监控及自动驾驶等多个领域。模型通过多阶段训练和高效分布式系统实现高性能与低成本。
StreamBridge
StreamBridge是一款由苹果与复旦大学联合开发的端侧视频大语言模型框架，支持实时视频流的理解与交互。通过内存缓冲区和轮次衰减压缩策略，实现长上下文处理与主动响应。项目配套发布Stream-IT数据集，包含60万样本，适用于多种视频理解任务，展现出在视频交互、自动驾驶、智能监控等领域的应用前景。
VideoRefer
VideoRefer是由浙江大学与阿里达摩院联合开发的视频对象感知与推理系统，基于增强型视频大型语言模型，实现对视频中对象的细粒度理解与分析。其核心包括大规模视频数据集、多功能空间-时间编码器和全面评估基准，支持对象识别、关系分析、推理预测及多模态交互等功能，适用于视频剪辑、教育、安防、机器人控制和电商等多个领域。
