TinyR1

TinyR1-Preview简介

TinyR1-Preview是由北京大学计算机学院与360公司联合研发的一款推理模型，参数量为32B。该模型通过优化设计，在仅使用5%参数量的情况下，性能接近Deepseek-R1-671B模型。在数学领域，其AIME评测成绩达到78.1分，接近原版R1的79.8分，显著优于70B参数的Deepseek-R1-Distill-Llama模型（70.0分）。TinyR1-Preview采用“分治-融合”策略，分别训练数学、编程和科学领域的子模型，并利用Mergekit工具进行智能融合，从而提升整体性能。

TinyR1-Preview的核心功能

• 数学推理能力：在复杂数学问题中表现优异，尤其在AIME 2024等高难度题目中具备高效解题能力。
• 编程辅助：支持代码生成与调试，提升开发效率。
• 科学问题解答：能够处理复杂的科学问题，提供准确答案与解释。
• 轻量部署：仅需32B参数量，相比大型模型更节省资源，适合多种应用场景。

TinyR1-Preview的技术实现

• 分治策略：基于DeepSeek-R1生成的大量数据，分别训练数学、编程和科学领域的子模型。
• 智能融合：利用Mergekit工具将不同领域的子模型进行融合，提升整体性能。
• 模型蒸馏：通过知识迁移技术，将大模型的知识压缩至小模型中，保持高性能的同时降低参数量。
• 优化训练：结合领域数据和融合策略，提升模型的推理效率和实用性。

TinyR1-Preview的获取方式

• HuggingFace模型库：https://huggingface.co/qihoo360/TinyR1-32B-Preview

TinyR1-Preview的应用场景

• 教育领域：支持数学学习与编程教学，提供解题思路与代码生成。
• 科研学术：协助解决科学问题，支持实验设计与数据分析。
• 软件开发：提高代码生成与算法优化效率。
• 企业应用：用于数据分析与流程优化，辅助决策。
• 个人使用：作为智能助手，提供知识查询与学习支持。