Grok Grok-1是由xAI公司开发的大型语言模型，具备3140亿参数，是目前参数量最大的开源大语言模型之一。该模型基于Transformer架构，专用于自然语言处理任务，如问答、信息检索、创意写作和编码辅助等。尽管在信息处理方面表现出色，但需要人工审核以确保准确性。此外，Grok-1还提供了8bit量化版本，以降低存储和计算需求。 AI项目与工具 2024年01月01日 10 点赞 0 评论 298 浏览
Aria Aria是首个开源多模态原生混合专家（MoE）模型，支持文本、代码、图像和视频的综合处理，具有强大的多模态任务处理能力和长上下文窗口，可高效应对复杂长数据。模型开源且可扩展，适用于多模态AI领域的研究与应用。 AI项目与工具 2025年06月12日 48 点赞 0 评论 221 浏览
MeteoRA MeteoRA是一种基于LoRA和混合专家架构的多任务嵌入框架，用于大型语言模型。它支持多任务适配器集成、自主任务切换、高效推理及复合任务处理，提升模型灵活性和实用性。通过动态门控机制和前向加速策略，显著提高推理效率并降低内存占用，适用于多领域问答、多语言对话等场景。 AI项目与工具 2025年06月12日 72 点赞 0 评论 213 浏览
EPLB EPLB是DeepSeek推出的专家并行负载均衡工具，用于优化大规模模型训练中的资源分配。它通过冗余专家策略和分层/全局负载均衡机制，提升GPU利用率和训练效率。支持多层MoE模型，减少通信开销，适应不同场景需求。 AI项目与工具 2025年06月12日 10 点赞 0 评论 202 浏览
OLMoE OLMoE是一款基于混合专家（MoE）架构的开源大型语言模型，具有高效的稀疏激活机制和快速训练能力。它支持自然语言理解、文本生成、多任务处理等功能，并广泛应用于聊天机器人、内容创作、情感分析和问答系统等领域，通过预训练和微调实现高精度任务执行。 --- AI项目与工具 2025年06月12日 85 点赞 0 评论 147 浏览
源2.0 源2.0-M32是由浪潮信息开发的一种混合专家模型（MoE），包含32个专家，采用“注意力路由器”技术，显著提升了模型的效率和准确性。该模型在代码生成、数学问题解决、科学推理等多个领域表现出色，尤其在ARC-C和MATH基准测试中超越了其他模型。源2.0-M32具有高效的计算能力和广泛的适用性，适用于多种复杂任务。 AI项目与工具 2025年06月12日 31 点赞 0 评论 133 浏览
