开源

Ultravox

Ultravox 是一种多模态大型语言模型(LLM),能够直接处理文本和语音输入,无需额外的语音识别步骤。其核心技术包括多模态投影器,用于将音频数据转换为高维空间表示,显著提升语音理解和处理效率。该模型支持实时语音对话、多语言扩展及领域特定知识的学习,适用于智能客服、虚拟助手、语言学习、实时翻译及教育等领域。

OpenEMMA

OpenEMMA是一个开源的端到端自动驾驶多模态模型框架,基于预训练的多模态大型语言模型(MLLMs),能够处理视觉数据和复杂驾驶场景的推理任务。它通过链式思维推理机制提升轨迹规划和感知任务性能,并集成了优化的YOLO模型以提高3D边界框预测的准确性。此外,OpenEMMA支持人类可读的输出,适用于多种驾驶环境,包括城市道路、高速公路、夜间及复杂天气条件下的驾驶。

Stagehand

Stagehand 是一款基于自然语言处理的 AI 工具,专注于网页自动化操作。其核心功能包括自然语言驱动的 `act`、`extract` 和 `observe` API,支持原子化指令执行和多模型适配。Stagehand 可实现网页测试、数据抓取、表单操作及内容监控等多样化任务,广泛应用于网页测试、数据分析、办公自动化等领域。

TextBase

TextBase 是一款简单的框架,用于构建 AI 聊天机器人,它可以帮助开发人员快速搭建和优化聊天机器人。

BlenderMCP

BlenderMCP 是一款将 Blender 与 Claude AI 集成的工具,通过 socket 服务器实现双向通信,支持 3D 对象操作、材质控制、场景信息获取及 Python 代码执行。用户可通过自然语言指令高效完成建模任务,提升创作效率。工具由插件和服务器组成,采用 JSON 协议进行数据交互,适用于快速建模、场景优化及教育辅助等场景。

DeepCoder

DeepCoder-14B-Preview 是一款基于 Deepseek-R1-Distilled-Qwen-14B 微调的开源代码生成模型,采用分布式强化学习技术,在 LiveCodeBench 基准上达到 60.6% 准确率。支持多语言代码生成、问题解决、补全优化、测试生成等功能,适用于开发、教育、竞赛等多个场景。项目提供完整训练数据与优化方案,推动 RL 在 LLM 中的应用。

AgiBot World

AgiBot World是一个由智元机器人开发的百万真机数据集,专注于具身智能技术的研究。它涵盖了80多种日常生活技能,涉及家居、餐饮、工业、商超及办公五大场景,数据规模和质量均领先于谷歌的Open X-Embodiment。数据采集利用了智元自建的工厂和实验基地,通过8个摄像头和6自由度灵巧手等先进硬件,确保了全域真实场景下的高质量数据获取。项目还计划开源仿真数据、发布具身基座大模型及配套工具链

ICEdit

ICEdit是由浙江大学与哈佛大学联合开发的指令式图像编辑框架,基于扩散变换器实现自然语言驱动的图像修改。支持多轮编辑、风格转换、对象替换等功能,具有高效处理能力(单张图像约9秒)。采用LoRA-MoE混合微调策略,降低资源需求,适用于创意设计、影视制作、社交媒体等多个领域。开源且提供在线体验,便于研究与应用。

Chat Nio

Chat Nio 是一款集成了丰富 AI 功能的一站式服务管理平台,支持文本、图像、音频和视频处理,兼容 OpenAI、Anthropic Claude 等多种 AI 模型。其主要功能包括文件解析、对话记忆、云端同步、多端适配等,同时提供开源版本以满足开发者的个性化需求。适用于个人用户、开发者及企业,支持多种应用场景,如客户服务、内容创作、数据分析和教育领域。

Lumina

Lumina-Image 2.0 是一款开源图像生成模型,基于扩散模型与 Transformer 架构,具有 26 亿参数。它能根据文本描述生成高质量、多风格的图像,支持中英文提示词,并具备强大的复杂提示理解能力。模型支持多种推理求解器,适用于艺术创作、摄影风格图像生成及逻辑推理场景,兼具高效性和灵活性。