训练

Video Diffusion Models

Video Diffusion Models项目展示了扩散模型在视频生成领域的潜力,通过创新的梯度条件方法和自回归扩展技术,生成了具有高度时间连贯性和质量的视频样本。

InfiMM

InfiMM-WebMath-40B是由字节跳动与中国科学院联合推出的大规模多模态数据集,涵盖大量数学和科学内容,包括文本、公式、符号及图像。该数据集通过筛选、清洗和标注优化,可显著提升多模态模型的数学推理能力。它适用于数学题库生成、学习工具开发、论文理解及科学研究等多个应用场景。 ---

GR00T

GR00T-Teleop是NVIDIA Isaac GR00T系统的一部分,用于远程操作数据的采集与处理。它基于NVIDIA CloudXR技术连接高保真头显设备,实现手部跟踪数据与机器人环境视图的实时双向传输,支持用户对机器人进行直观控制。该工具为机器人训练、复杂任务执行及危险环境操作提供高质量数据支持,具备低延迟、高精度和强交互性等特点。

Awesome Chinese LLM

整理了开源的中文大语言模型(LLM),主要关注规模较小、可私有化部署且训练成本较低的模型,目前已收录了100多个相关资源。

Genie 2

Genie 2是一款由DeepMind开发的大规模基础世界模型,其核心功能包括基于单一图片生成可交互3D游戏世界、模拟物体交互及物理效果、支持多类型动作控制、具备长时间记忆能力以及实时生成新场景内容。该工具不仅适用于智能体训练与评估,还广泛应用于游戏开发、模拟与训练、机器人学习以及虚拟现实和增强现实等领域。

Magma

Magma是微软研究院开发的多模态AI基础模型,具备理解与执行多模态任务的能力,覆盖数字与物理环境。它融合语言、空间与时间智能,支持从UI导航到机器人操作的复杂任务。基于大规模视觉-语言和动作数据预训练,Magma在零样本和微调设置下表现优异,适用于网页操作、机器人控制、视频理解及智能助手等多个领域。

AIEasyPic

利用了如Stable Diffusion、ControlNet和LoRAs等模型,根据您的文本输入生成视觉效果。

FlexIP

FlexIP 是腾讯推出的图像合成框架,支持在保持主体身份的同时进行个性化编辑。其双适配器架构分离身份保持与编辑功能,结合动态权重门控机制实现灵活控制,并通过多模态数据训练提升生成质量与稳定性,适用于艺术创作、广告设计、影视制作等多个领域。

The Language of Motion

The Language of Motion是一款由斯坦福大学李飞飞团队开发的多模态语言模型,能够处理文本、语音和动作数据,生成对应的输出模态。该模型在共同语音手势生成任务上表现出色,且支持情感预测等创新任务。它采用编码器-解码器架构,并通过端到端训练实现跨模态信息对齐。The Language of Motion广泛应用于游戏开发、电影制作、虚拟现实、增强现实及社交机器人等领域,推动了虚拟角色自

EPLB

EPLB是DeepSeek推出的专家并行负载均衡工具,用于优化大规模模型训练中的资源分配。它通过冗余专家策略和分层/全局负载均衡机制,提升GPU利用率和训练效率。支持多层MoE模型,减少通信开销,适应不同场景需求。