推理

Fireworks f1

Fireworks f1 是一款专为复杂推理任务设计的复合型 AI 模型,通过整合多个开源模型提升性能与可靠性。支持开发者通过提示词快速构建复杂 AI 应用,已在编码、对话及数学领域展现卓越能力。同时提供标准版和轻量版供用户选择,并在 AI Playground 提供免费体验。

KTransformers

KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。

Delta

Delta-CoMe是一种由清华大学NLP实验室牵头研发的增量压缩算法,它通过低秩分解与混合精度量化技术,显著减少了大型语言模型的存储和内存需求,同时保持了模型性能几乎无损。该工具支持多任务处理、推理加速,并广泛适用于云计算、边缘计算及学术研究等领域,特别擅长应对数学、代码和多模态任务。

s1

S1是由斯坦福大学和华盛顿大学联合开发的低成本、高性能AI推理模型,采用知识蒸馏技术从大型模型中提取推理能力。通过1000个高质量问题训练,成本低于50美元,训练时间短于30分钟。S1在数学和编程领域表现卓越,支持测试时扩展技术以优化推理效果,并已在GitHub开源,适用于科学问题解决、智能辅导、自动问答等多种场景。

Director

Director是一款基于VideoDB的视频智能处理框架,利用自然语言指令实现视频搜索、编辑、合成及生成等功能,同时支持实时流式传输。它提供了聊天式用户界面和预构建的视频代理,便于开发者和创作者快速构建定制化解决方案。此外,Director适用于视频内容管理、编辑、创作以及教育等多个领域,为企业和内容生产者提升工作效率。

星火医疗大模型X1

星火医疗大模型X1是科大讯飞开发的专注于医疗领域的深度推理模型,具备强大的复杂问题处理能力和循证推理能力,显著降低医疗幻觉问题。该模型支持个性化健康建议、辅助诊断、病历质控、多模态医疗应用及健康管理等多种功能,广泛应用于医院和健康服务平台,提升医疗效率与准确性。

SenseVoice

一款阿里通义实验室发布的FunAudioLLM框架多语言音频基础模型,SenseVoice具有多语种、混合语言、音色和情感控制能力。

CogView

CogView-3-Plus是智谱AI研发的AI文生图模型,采用Transformer架构替代传统的UNet,优化了扩散模型中的噪声规划。它能够根据用户指令生成高质量、高美学评分的图像,支持多种分辨率,并具有实时生成图像的能力。该模型已被集成到“智谱清言”APP中,并提供API服务,适用于艺术创作、游戏设计、广告制作等多个图像生成领域。

MHA2MLA

MHA2MLA是一种由多所高校与研究机构联合开发的数据高效微调方法,基于多头潜在注意力机制(MLA)优化Transformer模型的推理效率。通过Partial-RoPE和低秩近似技术,显著减少KV缓存内存占用,同时保持模型性能稳定。仅需少量数据即可完成微调,适用于边缘设备、长文本处理及模型迁移等场景,具备高兼容性和低资源消耗优势。

Amazon Bedrock

Amazon Bedrock是一款由AWS推出的完全托管型AI服务平台,集成了多家顶级AI公司的基础模型,支持企业通过单一API访问高性能模型。它提供了从基础模型接入、微调到代理构建的一系列功能,包括检索增强生成(RAG)、自动推理检查及多Agent协作等特性。此外,其模型蒸馏技术能够有效提升效率并降低运行成本,广泛适用于文本生成、虚拟助手、图像生成等多种应用场景。