Grok

Grok-1是由马斯克旗下的xAI公司开发的一款大型语言模型，属于混合专家（MoE）模型，具备3140亿参数，是当前参数量最大的开源大语言模型之一。Grok-1遵循开源原则，其权重和网络架构已经对外公开，基于Apache 2.0许可，允许用户自由使用、修改和分发，适用于个人及商业用途。 Grok-1是一款基于Transformer的自回归模型，经过广泛的反馈调整，专门用于下一个token的预测。它具有8192个token的上下文长度，并于2023年11月发布。该模型主要用于支持Grok聊天机器人，服务于包括问答、信息检索、创意写作和编码辅助等自然语言处理任务。 尽管Grok-1在信息处理方面表现出色，但仍需人工审核以确保准确性和可靠性。此外，该模型不具备独立搜索网络的能力，但在集成搜索工具和数据库后，能够增强其能力和事实性。Grok-1的训练数据主要来源于互联网以及xAI的AI训练人员提供的数据。