DrivingDojo

DrivingDojo是由中国科学院自动化研究所与美团无人车团队合作发布的一个数据集，旨在支持复杂自动驾驶交互式世界模型的研究与开发。该数据集包含超过18,000个视频片段，涵盖了全面的驾驶操作、多智能体交互及丰富的开放世界驾驶知识，为下一代自动驾驶模型的训练提供了重要基础。DrivingDojo还定义了动作指令跟随（AIF）基准，用于评估世界模型在执行动作控制时对未来预测的准确性。 DrivingDojo通过提供多样化驾驶操作（如加速、减速、紧急制动和车道变换）、多智能体交互能力以及对开放世界罕见事件和长尾场景的理解，帮助研究人员构建更先进的视频生成与预测模型。其核心技术包括数据收集、数据策划、动作编码以及基于视频生成模型（例如Stable Video Diffusion）的开发，同时采用FID和FVD等指标来评估生成视频的质量，并通过AIF错误衡量动作指令的跟随能力。 DrivingDojo的资源可通过多个平台获取，包括项目官网、GitHub仓库、HuggingFace模型库以及arXiv技术论文链接。这一工具广泛应用于自动驾驶算法开发、世界模型训练、多智能体交互模拟、罕见事件处理以及虚拟测试与验证等领域。