语言模型

LLaVA

LLaVA-OneVision是字节跳动开发的开源多模态AI模型,主要功能包括多模态理解、任务迁移、跨场景能力、开源贡献及高性能。该模型采用多模态架构,集成了视觉和语言信息,通过Siglip视觉编码器和Qwen-2语言模型,实现高效特征映射和任务迁移学习。广泛应用于图像和视频分析、内容创作辅助、聊天机器人、教育和培训以及安全监控等领域。

Mistral Large

Mistral Large是Mistral AI开发的一款先进的大型语言模型,具备出色的多语言推理能力和强大的上下文理解能力。它在多个基准测试中表现出色,尤其是在多语言处理、推理和知识、数学与编程方面。Mistral Large支持多语言处理,并且能精确遵循指令,还支持函数调用,便于与开发者工具集集成。此外,该模型可通过Azure AI Studio和Azure Machine Learning平

Ultravox

Ultravox 是一种多模态大型语言模型(LLM),能够直接处理文本和语音输入,无需额外的语音识别步骤。其核心技术包括多模态投影器,用于将音频数据转换为高维空间表示,显著提升语音理解和处理效率。该模型支持实时语音对话、多语言扩展及领域特定知识的学习,适用于智能客服、虚拟助手、语言学习、实时翻译及教育等领域。

DeepCoder

DeepCoder-14B-Preview 是一款基于 Deepseek-R1-Distilled-Qwen-14B 微调的开源代码生成模型,采用分布式强化学习技术,在 LiveCodeBench 基准上达到 60.6% 准确率。支持多语言代码生成、问题解决、补全优化、测试生成等功能,适用于开发、教育、竞赛等多个场景。项目提供完整训练数据与优化方案,推动 RL 在 LLM 中的应用。

Helix

Helix 是 Figure 公司推出的视觉-语言-动作(VLA)模型,专为人形机器人设计,支持对上半身的高精度、高频次控制,频率达 200Hz。它能基于自然语言指令执行未见过的物品操作,具备强大的泛化能力。系统采用端到端训练方式,可在低功耗设备上运行,适用于多机器人协作、家庭服务、工业自动化等多种场景,具有较高的商业化潜力。

OSUM

OSUM是一款由西北工业大学研发的开源语音理解模型,结合Whisper编码器与Qwen2 LLM,支持语音识别、情感分析、说话者性别分类等多种任务。采用“ASR+X”多任务训练策略,提升模型泛化能力和稳定性。基于约5万小时语音数据训练,性能优异,适用于智能客服、教育、心理健康监测等多个领域。

LatentLM

LatentLM是一款由微软与清华大学合作开发的多模态生成模型,能够统一处理文本、图像、音频等多种数据类型。它基于变分自编码器(VAE)和因果Transformer架构,支持自回归生成与跨模态信息共享,特别擅长图像生成、多模态语言模型及文本到语音合成等任务,其提出的σ-VAE进一步提升了模型的鲁棒性。

Consensus

Consensus 是一款基于人工智能技术的学术搜索引擎,整合了大型语言模型和向量搜索技术,能够高效检索和理解超过两亿篇同行评审的科学文献。它具备快速搜索、AI 生成摘要、Consensus Meter 和证据支持答案等功能,有效减少误导信息传播,增强信息可信度。适用于学术研究、文献综述、医学研究、教育等领域,助力用户高效获取科学知识并做出数据驱动型决策。

CAMPHOR

CAMPHOR是一款由苹果团队研发的端侧小型语言模型多智能体框架,通过在设备本地处理用户输入并进行个人上下文推理,实现了高效的隐私保护与快速响应。其分层架构包含高阶推理智能体和多个专家智能体,能够分解复杂任务、与设备工具交互并生成动态执行计划。此外,通过参数共享和提示压缩技术,大幅降低了模型资源需求。

LocAgent

LocAgent是一款由多所高校联合开发的代码定位工具,通过构建代码库的图结构并结合大语言模型进行多跳推理,帮助开发者快速找到需修改的代码片段。支持多种开发任务,如错误修复、功能添加和性能优化,具备高效的搜索与定位能力,适用于大规模代码维护场景。