推理

1. 首页
2. 推理

MHA2MLA

MHA2MLA是一种由多所高校与研究机构联合开发的数据高效微调方法，基于多头潜在注意力机制（MLA）优化Transformer模型的推理效率。通过Partial-RoPE和低秩近似技术，显著减少KV缓存内存占用，同时保持模型性能稳定。仅需少量数据即可完成微调，适用于边缘设备、长文本处理及模型迁移等场景，具备高兼容性和低资源消耗优势。

AI项目与工具 2025年06月12日 47 点赞 0 评论 630 浏览

TigerGPT

一个基于 OpenAI、DeepSeek-R1的深度推理AI投资助手，为投资者提供智能化的投资决策支持。

财经投资 2025年06月05日 89 点赞 0 评论 630 浏览

MAI

MAI-DS-R1 是微软基于 DeepSeek R1 优化的 AI 模型，具备高敏感话题响应能力（99.3%），有害内容风险降低 50%，并保持与原版相同的推理水平。支持多语言输出，适用于国际组织、企业及教育机构。已开源，可用于研究与开发，适用于内容审核、多语言客服、学术研究等多种场景。

AI项目与工具 2025年06月11日 56 点赞 0 评论 630 浏览

风声雨声

风声雨声是一款基于 GPT-3.5 的高质量翻译服务，能够适应各种语言和语境，拥有超强的上下文理解能力，实际的翻译效果远超 Google、DeepL 等同类型服务。

创作工具 1970年01月01日 0 点赞 0 评论 629 浏览

KTransformers

KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具，用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型，利用MoE架构和异构计算策略实现高效推理，预处理速度达286 tokens/s，推理速度达14 tokens/s。项目提供灵活的模板框架，兼容多种模型，并通过量化和优化技术减少存储需求，适合个人、企业及研究场景使用。

AI项目与工具 2025年06月12日 21 点赞 0 评论 624 浏览

TinyVLA

TinyVLA是一种轻量级的视觉-语言-动作（VLA）模型，专为机器人操控设计。它通过结合多模态模型和扩散策略解码器，实现了快速推理、数据高效和多任务学习的能力，并在泛化性能上表现优异。TinyVLA可应用于家庭、工业、服务等多个领域，具有广泛的实用价值。

AI项目与工具 2025年06月12日 91 点赞 0 评论 622 浏览

InftyThink

InftyThink是一种创新的大模型推理范式，通过分段迭代和阶段性总结的方式，突破传统模型在长推理任务中的上下文窗口限制，显著降低计算复杂度并提升推理性能。它适用于数学问题求解、逻辑推理、代码生成、智能辅导及药物研发等多个领域，具备良好的工程可落地性和广泛的适用性。

AI项目与工具 2025年06月12日 10 点赞 0 评论 621 浏览

SenseVoice

一款阿里通义实验室发布的FunAudioLLM框架多语言音频基础模型，SenseVoice具有多语种、混合语言、音色和情感控制能力。

Ai语音工具 2025年06月05日 58 点赞 0 评论 617 浏览

E2B

E2B 是一款面向 AI 开发者的工具平台，专注于构建自动化云环境，支持多种大型语言模型和 AI 框架。它提供代码解释与执行、沙箱环境、多代理支持等功能，旨在助力开发者高效构建生产级 AI 应用程序，涵盖代码生成、推理和数据分析等领域。

AI项目与工具 2025年06月12日 79 点赞 0 评论 614 浏览

壁仞科技

致力于研发原创性的通用计算体系，建立高效的软硬件平台

创作工具 1970年01月01日 0 点赞 0 评论 614 浏览