大型语言模型

braintrust

Braintrust 是一个端到端的 AI 工具平台,专注于通过迭代式的工作流帮助公司快速构建高效的 AI 应用。它提供了强大的提示调整、评分器配置及数据集管理功能,支持从模型评估到质量控制的全流程优化。此外,Braintrust 的直观界面和代码库集成特性使其适用于各类用户群体,广泛应用于 AI 产品开发、模型评估、质量控制及数据集构建等领域。

CodeArena

CodeArena是一个在线平台,用于实时比较多个大型语言模型(LLM)的代码生成能力。它通过实时渲染和排名机制,帮助开发者评估LLM的性能,包括代码的可读性、效率和准确性。CodeArena集成了开发者工具,支持企业选型、学术研究、编程教育和技能提升等多种应用场景。

LightEval

LightEval是一款由Hugging Face开发的轻量级AI评估工具,旨在评估大型语言模型。它支持多设备运行,包括CPU、GPU和TPU,具备多任务处理能力和自定义评估功能。LightEval与Hugging Face的生态系统集成,便于模型管理和共享。适用于企业、科研人员及教育机构。

MLE

MLE-Agent是一款面向机器学习工程师和研究人员的智能助手,具备自动化基线创建、智能调试、文件系统集成、工具集成和交互式命令行界面等功能。它通过集成大型语言模型(LLM)、自动化机器学习(AutoML)、代码生成和检索(Code Generation and Retrieval)以及智能调试(Smart Debugging)等技术,提供无缝的AI工程和研究体验。MLE-Agent支持与多个AI