模型评估
  1. 首页
  2. 模型评估

列表

Math24o

Math24o

Math24o 是 SuperCLUE 开源的高中奥林匹克数学竞赛级别数学推理测评基准，基于 2024 年全国高中数学竞赛预赛试题，包含 21 道高难度解答题。评测通过程序自动判断答案一致性，客观评估模型正确率。支持自动化评估流程，适用于教育、学术研究和模型优化等领域，为数学推理能力的提升提供重要工具。
AI项目与工具 2025年06月12日
HealthBench

HealthBench

HealthBench是OpenAI推出的开源医疗评估工具，用于衡量大型语言模型在医疗保健领域的表现和安全性。它包含5000个由医生设计的多轮对话，涵盖多种健康场景，并通过多维度评分标准评估模型的准确性、沟通质量等。支持按主题和行为维度进行细分分析，帮助开发者识别模型优势与不足，指导优化方向。适用于模型性能评估、安全测试及医疗AI工具选择。
AI项目与工具 2025年06月11日
URO

URO

URO-Bench 是一个面向端到端语音对话模型的综合评估工具，支持多语言、多轮对话及副语言信息处理。它包含基础和高级两个赛道，分别涵盖16个和20个数据集，覆盖开放性问答、情感生成、多语言任务等。支持多种评估指标，提供简单易用的评估流程，并兼容多种语音对话模型。适用于智能家居、个人助理、语言学习等多个实际应用场景。
AI项目与工具 2025年06月12日
xbench

xbench

xbench是红杉中国推出的AI基准测试工具，采用双轨评估体系，追踪模型的理论能力上限与实际落地价值。其长青评估机制动态更新测试内容，确保时效性。xbench包含科学问题解答和中文互联网深度搜索两个核心评估集，按季度或每月更新题目。工具还提供垂直领域智能体评测、实时更新与LeaderBoard功能，适用于模型能力评估、真实效用量化、产品迭代指导等场景，推动AI系统在真实场景中的效用提升。
AI项目与工具 2025年06月11日
TIP

TIP

TIP-I2V是一个包含大量真实文本和图像提示的数据集，专为图像到视频生成领域设计。它涵盖了超过170万个独特的提示，并结合多种顶级图像到视频生成模型生成的视频内容。该数据集支持用户偏好分析、模型性能评估以及解决错误信息传播等问题，有助于推动图像到视频生成技术的安全发展。
AI项目与工具 2025年06月12日
WorldSense

WorldSense

WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具，用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对，覆盖8大领域及26类认知任务，强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证，确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域，推动AI模型在多模态场景下的性能提升。
AI项目与工具 2025年06月12日
VSI

VSI

VSI-Bench是一种用于评估多模态大型语言模型（MLLMs）视觉空间智能的基准测试工具，包含超过5000个问题-答案对，覆盖多种真实室内场景视频。其任务类型包括配置型任务、测量估计和时空任务，可全面评估模型的空间认知、理解和记忆能力，并提供标准化的测试集用于模型性能对比。 ---
AI项目与工具 2025年06月12日
SlideChat

SlideChat

SlideChat是一款先进的视觉语言助手，专注于处理和分析千兆像素级别的全切片病理图像。它具备强大的多模态对话能力和复杂指令响应能力，在显微镜检查、诊断等领域展现出卓越性能。通过两阶段训练机制，SlideChat实现了视觉与语言特征的有效对齐，并被广泛应用于病理诊断、医学教育、研究开发以及临床决策支持。 ---
AI项目与工具 2025年06月12日
TryOffDiff

TryOffDiff

TryOffDiff是一种基于扩散模型的虚拟试穿技术，通过高保真服装重建实现从单张穿着者照片生成标准化服装图像的功能。它能够精确捕捉服装的形状、纹理和复杂图案，并在生成模型评估和高保真重建领域具有广泛应用潜力，包括电子商务、个性化推荐、时尚设计展示及虚拟时尚秀等场景。
AI项目与工具 2025年06月12日
SimpleQA

SimpleQA

SimpleQA是OpenAI开发的一个基准测试工具，用于评估大型语言模型在回答简短、事实性问题时的表现。它包含4326个问题，每个问题都有唯一的正确答案，并通过严格的验证流程确保质量。SimpleQA不仅能够测试模型的事实性回答能力，还能衡量其自我认知水平和校准能力，广泛应用于模型开发、学术研究及教育工具等领域。
AI项目与工具 2025年06月12日