基准测试

xbench

xbench是红杉中国推出的AI基准测试工具,采用双轨评估体系,追踪模型的理论能力上限与实际落地价值。其长青评估机制动态更新测试内容,确保时效性。xbench包含科学问题解答和中文互联网深度搜索两个核心评估集,按季度或每月更新题目。工具还提供垂直领域智能体评测、实时更新与LeaderBoard功能,适用于模型能力评估、真实效用量化、产品迭代指导等场景,推动AI系统在真实场景中的效用提升。

WorldSense

WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具,用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对,覆盖8大领域及26类认知任务,强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证,确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域,推动AI模型在多模态场景下的性能提升。

URO

URO-Bench 是一个面向端到端语音对话模型的综合评估工具,支持多语言、多轮对话及副语言信息处理。它包含基础和高级两个赛道,分别涵盖16个和20个数据集,覆盖开放性问答、情感生成、多语言任务等。支持多种评估指标,提供简单易用的评估流程,并兼容多种语音对话模型。适用于智能家居、个人助理、语言学习等多个实际应用场景。

AxBench

AxBench是斯坦福大学推出的语言模型可解释性评估框架,支持概念检测与模型转向任务。它通过合成数据生成训练集,评估模型对特定概念的识别能力和干预后的表现。提供统一的评估平台,支持多种控制方法,如提示、微调和稀疏自编码器,并采用多维评分机制,适用于AI安全、伦理及内容生成等场景。