TÜLU 3

TÜLU 3是由艾伦人工智能研究所（Ai2）研发的一系列开源指令遵循模型，包含8B和70B两种版本，并计划推出更大规模的405B版本。该模型在性能上超越了Llama 3.1 Instruct版本，通过详细的后训练技术报告、开放数据集以及评估代码和算法，展示了其技术优势。TÜLU 3结合了强化学习、直接偏好优化（DPO）等先进技术，在数学、编程及指令遵循等领域表现出色，推动了开源模型在多目标、多阶段训练框架中的研究进展。