Transformer

天工SkyMusic

天工SkyMusic是由昆仑万维公司推出的一款AI音乐生成模型,它基于昆仑万维的天工3.0超级大模型构建而成。

MiniMind

MiniMind 是一款轻量级开源语言模型项目,具备极低的训练成本和高效的训练流程。其最小模型仅需 25.8M 参数,可在普通 GPU 上运行,支持多模态能力,如视觉语言模型 MiniMind-V。项目提供完整的训练代码,涵盖预训练、微调、LoRA、DPO 和模型蒸馏,兼容主流框架,适合初学者和开发者快速上手并应用于多个领域。

Mercury Coder

Mercury Coder 是 Inception Labs 推出的扩散型大语言模型,专为代码生成设计。它采用“从粗到细”机制,支持并行生成,每秒可处理超过 1000 个 token,效率显著高于传统模型。具备代码生成、补全、优化、多语言支持及可控生成等功能,适用于开发效率提升、教育辅助、代码优化及低代码平台集成等场景。

KTransformers

KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。

WorldDreamer

WorldDreamer 是一种基于 Transformer 的通用世界模型,具备理解与预测物理世界动态变化的能力,专注于视频生成任务。它支持多种应用场景,包括文本到视频、图像到视频、视频编辑和动作序列生成,利用视觉 Token 化、Transformer 架构和多模态提示技术,实现了高效且高质量的视频生成。

Nemotron

Nemotron-Mini-4B-Instruct是一款由英伟达开发的小型开源语言模型,针对角色扮演、检索增强生成(RAG)及函数调用任务进行了优化。模型基于Transformer架构,利用蒸馏、剪枝和量化技术提升运行效率与设备端适配能力,适用于实时交互场景,如游戏NPC对话或虚拟助手交互。其快速响应特性使其在客户服务、教育软件及内容创作领域也展现出巨大潜力。

ProPainter

ProPainter是一款由南洋理工大学S-Lab团队开发的AI视频修复工具,其核心功能包括自动检测并移除视频中的不需要物体、修补缺失或损坏部分以及扩展视频视野。该工具采用了双域传播技术和蒙版引导的稀疏视频Transformer,旨在提供高质量的视频修复解决方案,广泛应用于电影后期制作、历史视频修复、社交媒体内容创作及虚拟现实等领域。 ---

CogView4

CogView4是一款由智谱推出的开源文生图模型,具有60亿参数,支持中英文输入与高分辨率图像生成。在DPG-Bench基准测试中表现优异,达到当前开源模型的领先水平。模型具备强大的语义理解能力,尤其在中文文字生成方面表现突出,适用于广告设计、教育、儿童绘本及电商等领域。其技术架构融合扩散模型与Transformer,并采用显存优化技术提升推理效率。

MHA2MLA

MHA2MLA是一种由多所高校与研究机构联合开发的数据高效微调方法,基于多头潜在注意力机制(MLA)优化Transformer模型的推理效率。通过Partial-RoPE和低秩近似技术,显著减少KV缓存内存占用,同时保持模型性能稳定。仅需少量数据即可完成微调,适用于边缘设备、长文本处理及模型迁移等场景,具备高兼容性和低资源消耗优势。

Bocha Semantic Reranker

Bocha Semantic Reranker是一款基于语义的排序模型,用于提升搜索和问答系统的准确性。它通过二次优化初步排序结果,评估查询与文档的语义相关性,并为文档分配语义得分。该工具支持多种语言模型,适用于搜索引擎优化、问答系统、推荐系统和智能客服等领域,旨在改善用户体验并提高系统效率。