多模态
书生·筑梦2.0(Vchitect 2.0)
书生·筑梦2.0是一款由上海人工智能实验室开发的开源视频生成大模型,支持文本到视频和图像到视频的转换,生成高质量的2K分辨率视频内容。它具备灵活的宽高比选择、强大的超分辨率处理能力以及创新的视频评测框架,适用于广告、教育、影视等多个领域。
OpenAI o1模型
OpenAI的最新推理系列AI大模型“Strawberry”,包括“o1-preview”和成本较低的“o1 mini”版本。该模型通过强化学习训练,具备复杂的推理能力和多模态理解能力。它采用了“思维链”机制,增强推理透明度,具备自我纠错功能。在国际数学奥林匹克等基准测试中表现出色,展现出强大的性能。设计时考虑了安全性、可靠性和成本效率。
---
WorldSense
WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具,用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对,覆盖8大领域及26类认知任务,强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证,确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域,推动AI模型在多模态场景下的性能提升。
