计算

HMoE

HMoE(混合异构专家模型)是腾讯混元团队提出的一种新型神经网络架构,旨在提升大型语言模型的性能和计算效率。通过引入不同规模的专家来处理不同复杂度的输入数据,HMoE增强了模型的专业化程度,并采用了新的训练目标和策略,如P-Penalty Loss,以提高参数利用率和计算效率。HMoE在多个预训练评估基准上表现出色,适用于自然语言处理、内容推荐、语音识别、图像和视频分析以及多模态学习等领域。

Delta

Delta-CoMe是一种由清华大学NLP实验室牵头研发的增量压缩算法,它通过低秩分解与混合精度量化技术,显著减少了大型语言模型的存储和内存需求,同时保持了模型性能几乎无损。该工具支持多任务处理、推理加速,并广泛适用于云计算、边缘计算及学术研究等领域,特别擅长应对数学、代码和多模态任务。

KTransformers

KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。

DualPipe

DualPipe是由DeepSeek开发的开源双向流水线并行技术,通过将前向和反向计算分离为独立管道并行执行,显著提升大规模深度学习模型的训练效率。该技术优化了计算与通信的重叠,降低内存峰值,提高资源利用率,并支持多模态处理、多任务学习等应用场景。适用于需要高效训练和推理的AI系统。

Augmented Physics

Augmented Physics是一款基于人工智能的教育工具,旨在通过计算机视觉技术和多模态语言模型,将物理教科书中的静态图表转化为动态交互式模拟,帮助学生更好地理解物理概念。它支持多种仿真类型,包括光学、运动学和电路等,并提供动态可视化和动画效果,同时无需编程技能即可创建仿真。

UnZipLoRA

UnZipLoRA是一种由伊利诺伊大学厄巴纳-香槟分校研发的图像处理技术,能够将图像内容与风格分离,并分别以两个LoRA模型表示。该技术通过提示分离、列分离和块分离策略,有效解决内容与风格纠缠的问题,支持高效训练和兼容性组合。可用于艺术创作、图像编辑、风格迁移及个性化图像生成等场景,提升图像处理的灵活性和可控性。

Smallpond

Smallpond是DeepSeek推出的轻量级数据处理框架,基于DuckDB和3FS构建,支持PB级数据的高效处理。具备高性能、易用性、快速上手和分布式处理能力,适用于大规模数据预处理、实时查询、机器学习训练等场景。

AVD2

AVD2是由多所高校联合开发的自动驾驶事故视频理解框架,通过生成高质量事故视频并结合自然语言描述与推理,提升对复杂事故场景的理解能力。其功能涵盖事故视频生成、原因分析、预防建议及数据集增强,支持自动驾驶系统的安全优化与研究。基于先进模型如Open-Sora 1.2和ADAPT,AVD2在多项评估中表现优异,为自动驾驶安全提供了重要技术支撑。

ExVideo

ExVideo是一种视频合成模型后调优技术,能够生成长达128帧的连贯视频,同时保持原始模型的生成能力。该技术通过优化3D卷积、时间注意力和位置嵌入等模块,使模型能够处理更长时间跨度的内容。ExVideo的核心优势在于其高效的后调优策略,减少计算资源需求,保持视频质量,适用于计算资源有限的情况。

MARS

MARS是一款由字节跳动开发的优化框架,专注于提升大型模型训练效率。它融合了预条件梯度方法与方差减少技术,并通过缩放随机递归动量技术优化梯度估计。MARS支持多种Hessian近似方式,可生成基于AdamW、Lion和Shampoo的优化算法实例。该框架适用于深度神经网络、大规模语言模型、计算机视觉任务及强化学习等领域,能有效加速模型收敛并提高训练稳定性。