强化学习

Auto Think

Auto Think是快手Kwaipilot团队开源的KwaiCoder-AutoThink-preview自动思考大模型,针对深度思考大模型的“过度思考”问题,提出了一种全新的训练范式。模型融合“思考”和“非思考”能力,能根据问题难度自动切换模式,提升复杂任务表现。在代码和数学类任务中,性能提升可达20分。其技术原理包括最小提示干预和多阶段强化学习,适用于视频生成、文案创作、智能客服等多个场景。

AReaL

AReaL-boba 是由蚂蚁技术研究院与清华大学联合推出的开源强化学习训练框架,具备高效训练、推理能力提升、低资源训练等核心功能。其 7B 模型在数学推理任务中表现突出,且支持大规模模型的低成本复现。框架集成 SGLang 推理系统,采用数据蒸馏与工程优化技术,提升训练效率。适用于教育、自然语言处理、智能体开发等领域,具有高度可复现性和开源特性。

HuatuoGPT

HuatuoGPT-o1是一款专为医学领域设计的复杂推理模型,具备强大的复杂推理、错误识别与修正能力。通过两阶段训练方法及强化学习技术,该模型能够生成详尽的推理链条,有效提升医疗问题解决效率。它已在多个医学基准测试中展现出卓越性能,并在医学诊断、个性化治疗方案制定、教育及药物研发等领域具有广泛应用潜力。

OpenR

OpenR是一个由多家知名高校联合开发的开源框架,专注于通过强化学习和搜索技术提升大型语言模型的推理能力。它集成了数据获取、强化学习训练及非自回归解码功能,支持多种搜索算法和在线强化学习训练,能够有效提高模型的推理效率和精度。同时,其自动化数据处理能力减少了人工标注的需求,适用于数学问题求解、代码生成、自然语言处理等多种应用场景。

BALROG

BALROG是一款用于评估大型语言模型(LLMs)和视觉语言模型(VLMs)在游戏环境中推理能力的框架。它通过程序化生成的游戏环境,测试模型的规划、空间推理及探索能力,并提供细粒度的性能指标和公开排行榜,以促进AI技术的发展,适用于游戏AI开发、机器人技术、虚拟现实等多个领域。

PaSa

PaSa是由字节跳动研发的基于强化学习的学术论文检索系统,能够模仿人类研究者行为,自动调用搜索引擎、分析论文内容并追踪引文网络,提供精准全面的学术文献检索服务。其核心技术包括Crawler和Selector两个智能体,结合强化学习优化,显著提升了搜索效率与准确率。PaSa适用于学术研究、高校教学、知识产权分析等多个领域,具备高效检索和复杂查询处理能力。

PRefLexOR

PRefLexOR是由MIT开发的一种基于偏好优化和递归推理的自学习AI框架,能通过多步推理、反思和优化提升输出准确性。其核心技术包括ORPO和DPO,结合“思考令牌”与“反思令牌”实现更精准的推理路径对齐。具备动态知识图谱构建、跨领域推理和自主学习能力,适用于材料科学、信息学等复杂场景,支持开放域问题解决和持续优化。

TÜLU 3

TÜLU 3是艾伦人工智能研究所发布的开源指令遵循模型,提供8B、70B及未来的405B版本。它通过后训练技术显著提升了模型在数学、编程和推理等方面的表现,同时支持多种任务处理和创新的后训练方法,适用于自然语言处理、教育、编程开发及内容创作等多个领域。

RLCM

RLCM是由康奈尔大学开发的一种基于强化学习的文本到图像生成框架,通过微调一致性模型以适应特定任务的奖励函数,显著提升生成效率与图像质量。其核心技术包括强化学习、策略梯度优化及任务导向的奖励机制,适用于艺术创作、数据集扩展、图像修复等多个领域,具有高效的推理能力和对复杂任务的适应性。