推理
  1. 首页
  2. 推理

列表

LayerSkip

LayerSkip

LayerSkip 是一种针对大型语言模型推理优化的技术，通过层 dropout 和早期退出损失机制，实现从早期层的精准退出，降低计算成本并提高解码效率。该方法结合自我推测解码技术，支持模型在早期层生成预测并通过后续层验证修正，广泛适用于文档摘要、编程任务、语义解析等自然语言处理任务，同时确保高精度与低延迟。
AI项目与工具 2025年06月12日
Math24o

Math24o

Math24o 是 SuperCLUE 开源的高中奥林匹克数学竞赛级别数学推理测评基准，基于 2024 年全国高中数学竞赛预赛试题，包含 21 道高难度解答题。评测通过程序自动判断答案一致性，客观评估模型正确率。支持自动化评估流程，适用于教育、学术研究和模型优化等领域，为数学推理能力的提升提供重要工具。
AI项目与工具 2025年06月12日
BALROG

BALROG

BALROG是一款用于评估大型语言模型（LLMs）和视觉语言模型（VLMs）在游戏环境中推理能力的框架。它通过程序化生成的游戏环境，测试模型的规划、空间推理及探索能力，并提供细粒度的性能指标和公开排行榜，以促进AI技术的发展，适用于游戏AI开发、机器人技术、虚拟现实等多个领域。
AI项目与工具 2025年06月12日

通义法睿

通义法睿
通义法睿
一个由阿里云提供的法律智能体AI法律助手，旨在让法律事务处理更快、更准确、更智能。
AI服务商 2025年06月05日
SearchAgent

SearchAgent

SearchAgent-X是由南开大学和伊利诺伊大学厄巴纳香槟分校（UIUC）研究人员开发的高效推理框架，旨在提升基于大型语言模型（LLM）的搜索Agent效率。通过高召回率的近似检索、优先级感知调度和无停顿检索等技术，显著提高系统吞吐量（1.3至3.4倍），降低延迟（降至原来的1/1.7至1/5），同时保持生成质量。该框架优化资源利用率，适用于智能客服、搜索引擎、企业知识管理等多种场景，为复杂A
AI项目与工具 2025年06月11日
Mooncake

Mooncake

Mooncake是一个以KVCache为中心的分布式大模型推理架构，由Kimi联合清华大学等机构开源。它通过分离预填充和解码阶段，有效利用GPU集群的其他资源，显著提升推理吞吐量，降低算力消耗，同时保持低延迟。Mooncake支持长上下文处理、负载均衡及过载管理，适用于多种应用场景，包括自然语言处理、语音识别、搜索引擎优化等，推动大模型技术的高效应用。
AI项目与工具 2025年06月12日

53AI

53AI
53AI
一个开箱即用的企业大模型应用平台，只要帮助企业快速部署和利用大型语言模型（LLMs），提供企业大模型落地应用、业务智能化改造、私有模型定制和大模型咨询服务。
AI服务商 2025年06月05日
LlamaV

LlamaV

LlamaV-o1是由阿联酋穆罕默德·本·扎耶德人工智能大学等机构开发的多模态视觉推理模型，具备结构化推理和透明性，支持文本、图像和视频等多种模态的信息处理。该模型引入了VRC-Bench基准测试，涵盖4000多个推理步骤，用于全面评估推理能力。其性能优于多个开源模型，适用于医疗影像分析、金融数据解读、教育辅助和工业检测等场景，具有高准确性和可解释性。
AI项目与工具 2025年06月12日
Awesome Chinese LLM

Awesome Chinese LLM

整理了开源的中文大语言模型（LLM），主要关注规模较小、可私有化部署且训练成本较低的模型，目前已收录了100多个相关资源。
Ai学习资源 2025年06月05日
HK

HK

HK-O1aw是一款由香港生成式AI研发中心与北京大学合作推出的专业法律推理大模型，基于深度学习技术和神经网络架构，专注于慢思考和链式推理。它能够深入分析法律文本，提供逻辑严密的法律意见，涵盖合同审查、消费者权益保护、商业调解等多个应用场景，适合法律从业者、教育机构以及普通用户使用。
AI项目与工具 2025年06月12日