推理

Bamba

Bamba-9B是一种基于Mamba2架构的解码型语言模型,专注于提升大型语言模型的推理效率,尤其擅长处理长文本。它通过恒定的KV-cache设计解决了内存带宽瓶颈问题,并在多个开源平台上得到支持。Bamba-9B不仅具有高效的吞吐量和低延迟的特点,还支持模型量化及长上下文长度扩展,适用于多种应用场景,包括机器翻译、智能客服、内容推荐、自动摘要和社会媒体监控等。

Step

覆盖了从个人使用到企业级应用的多个方面的多模态大模型。

SFR-RAG

先进的大型语言模型,它通过强化对上下文的理解,提高了机器在生成文本方面的准确性和可靠性。无论是在客户服务、知识问答、内容创作还是专业咨询领域,SFR-RAG都能提供高质量的文...

AgentRefine

AgentRefine 是由北京邮电大学与美团联合开发的智能体合成框架,采用“精炼调整”方法提升基于大语言模型的智能体在多样化任务中的泛化能力。它通过轨迹中的观察实现错误纠正与自我优化,增强智能体在复杂环境中的适应性和鲁棒性。该框架支持多样化推理路径,广泛应用于自动化决策、游戏 AI、代码生成及自然语言处理等领域。

PaliGemma 2

PaliGemma 2是一款由Google DeepMind研发的视觉语言模型(VLM),结合了SigLIP-So400m视觉编码器与Gemma 2语言模型,支持多种分辨率的图像处理。该模型具备强大的知识迁移能力和出色的学术任务表现,在OCR、音乐乐谱识别以及医学图像报告生成等方面实现了技术突破。它能够处理多模态任务,包括图像字幕生成、视觉推理等,并支持量化和CPU推理以提高计算效率。

ViDoRAG

ViDoRAG是阿里巴巴通义实验室联合高校开发的视觉文档检索增强生成框架,采用多智能体协作与动态迭代推理技术,提升复杂文档的检索与理解能力。通过高斯混合模型优化多模态信息整合,支持精准检索与高质量生成,适用于教育、金融、医疗等多个领域,显著提升文档处理效率与准确性。

RAGEN

RAGEN是一款开源的强化学习框架,专为在交互式和随机环境中训练大型语言模型(LLM)推理代理而设计。它基于StarPO架构,支持多轮轨迹优化和多种强化学习算法,如PPO和GRPO。通过MDP形式化和渐进式奖励归一化策略,RAGEN提高了训练的稳定性和效率。其模块化设计支持多种环境,适用于智能对话、游戏AI、自动化推理等多个领域。

Gemini

Gemini是Google DeepMind推出的全新AI模型,集成了多模态推理功能,超越了以往模型的性能,适用于科学文献洞察、竞争性编程等多种应用场景。

QwQ

QwQ-32B-Preview是一款由阿里巴巴开发的开源AI推理模型,具有325亿参数,擅长处理数学与编程领域的复杂任务。它能在多个基准测试中超越同类产品,并提供透明化的推理流程。然而,该模型在语言切换及跨领域应用上存在一定局限性。

MiniCPM

MiniCPM-o 2.6 是一款高性能的多模态大模型,具备 8B 参数量,支持视觉、语音及多模态直播等多种功能。其在图像处理、语音识别和实时交互方面表现优异,采用高效的 token 技术提升推理速度,可在端侧设备上运行。支持多种语言和音色配置,适用于智能助手、内容创作、教育、客服和医疗等多个领域。