推理

Mooncake

Mooncake是一个以KVCache为中心的分布式大模型推理架构,由Kimi联合清华大学等机构开源。它通过分离预填充和解码阶段,有效利用GPU集群的其他资源,显著提升推理吞吐量,降低算力消耗,同时保持低延迟。Mooncake支持长上下文处理、负载均衡及过载管理,适用于多种应用场景,包括自然语言处理、语音识别、搜索引擎优化等,推动大模型技术的高效应用。

Kimi

Kimi-VL是月之暗面推出的轻量级多模态视觉语言模型,支持图像、视频、文档等多种输入形式。其基于轻量级MoE架构和原生分辨率视觉编码器,具备强大的图像感知、数学推理和OCR能力。在长上下文(128K)和复杂任务中表现优异,尤其在多模态推理和长视频理解方面超越同类模型。适用于智能客服、教育、医疗、内容创作等多个领域。

DistriFusion

DistriFusion是一个专为加速高分辨率扩散模型在多GPU环境中生成图像的分布式并行推理框架。通过将图像分割成多个小块并分配至不同设备上进行独立处理,它能够在不增加额外训练负担的情况下,将推理速度提升高达六倍,同时保持图像质量。其技术原理包括Patch Parallelism(分片并行)、异步通信、位移补丁并行性等,适用于多种现有的扩散模型。应用场景包括AI艺术创作、游戏和电影制作、VR/A

AutoGLM沉思

AutoGLM沉思是一款由智谱推出的AI代理工具,支持深度研究与多步骤推理,能自主调用浏览器进行信息检索与网页操作。适用于市场分析、技术比较、产品推荐、旅游规划及教育辅助等场景,完全免费且不限量使用,突破了传统API限制,覆盖多平台信息源。

POINTS 1.5

POINTS 1.5 是腾讯微信开发的多模态大模型,基于LLaVA架构设计,包含视觉编码器、投影器和大型语言模型。它在复杂场景OCR、推理、关键信息提取、数学问题解析及图片翻译等方面表现突出,适用于票据识别、自动客服、新闻摘要、学术论文处理、旅游翻译和在线教育等多个领域。该模型通过高效的数据处理和特征融合技术,实现了跨模态任务的精准处理与高效输出。

mPLUG

mPLUG-Owl3是一款由阿里巴巴开发的多模态AI模型,专注于理解和处理多图及长视频内容。该模型具备高推理效率和准确性,采用创新的Hyper Attention模块优化视觉与语言信息的融合。它已在多个基准测试中展现出卓越性能,并且其源代码和资源已公开,可供研究和应用。

AlphaGeometry2

AlphaGeometry2 是谷歌 DeepMind 开发的 AI 系统,专用于解决国际数学奥林匹克竞赛中的几何问题。结合神经网络与符号推理技术,能高效预测几何构造并进行逻辑验证,解题准确率达 84%。系统具备扩展语言、强化推理引擎和优化搜索算法,可处理复杂几何问题,适用于数学教育、研究及工程计算等领域。

PRefLexOR

PRefLexOR是由MIT开发的一种基于偏好优化和递归推理的自学习AI框架,能通过多步推理、反思和优化提升输出准确性。其核心技术包括ORPO和DPO,结合“思考令牌”与“反思令牌”实现更精准的推理路径对齐。具备动态知识图谱构建、跨领域推理和自主学习能力,适用于材料科学、信息学等复杂场景,支持开放域问题解决和持续优化。

百度灵医Bot

百度灵医Bot作为百度推出的医疗大模型应用,通过其强大的语言处理能力和专业医疗知识库,为用户提供了全面、安全、智能的医疗健康服务。

BFS

BFS-Prover 是一种基于大语言模型的自动定理证明系统,通过改进广度优先搜索算法和长度归一化评分机制,提高证明搜索效率。系统结合专家迭代、直接偏好优化和分布式架构,支持复杂定理的高效验证,并与 Lean4 深度集成,确保形式化数学问题的逻辑正确性。适用于数学竞赛题、本科及研究生数学研究等领域,推动了自动定理证明技术的发展。