PRefLexOR

PRefLexOR（Preference-based Recursive Language Modeling for Exploratory Optimization of Reasoning）是由麻省理工学院（MIT）研究团队提出的一种新型自学习AI框架。该框架融合了偏好优化与强化学习（RL）的理念，通过递归推理机制实现模型的自我迭代与改进。其核心在于多步骤推理、回顾和优化中间过程，从而提升输出的准确性。 PRefLexOR基于优势比偏好优化（ORPO）技术，并结合直接偏好优化（DPO），通过优化偏好响应与非偏好响应之间的对数几率来对齐推理路径。此外，它引入“思考令牌”和“反思令牌”，以明确标记推理过程中的关键阶段，进一步提升推理质量。 在功能上，PRefLexOR具备动态知识图谱构建能力，能够实时适应新任务并扩展知识体系；同时拥有跨领域推理能力，可整合不同领域的知识进行综合分析。该框架还支持自主学习与进化，通过反馈机制持续优化推理策略，展现出接近人类思维的深度推理能力。 PRefLexOR已在材料科学、生物信息学等多个领域展示出广泛的应用潜力，适用于开放域问题解决及复杂推理任务。