架构
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
HunyuanVideo
HunyuanVideo是一款由腾讯开源的视频生成模型,具备130亿参数量,支持物理模拟、高文本语义还原、动作一致性和电影级画质等功能。它通过时空压缩的潜在空间训练,融合Causal 3D VAE与Transformer架构,实现图像和视频的统一生成,广泛应用于电影制作、音乐视频创作、游戏开发以及教育等领域。
Bocha Semantic Reranker
Bocha Semantic Reranker是一款基于语义的排序模型,用于提升搜索和问答系统的准确性。它通过二次优化初步排序结果,评估查询与文档的语义相关性,并为文档分配语义得分。该工具支持多种语言模型,适用于搜索引擎优化、问答系统、推荐系统和智能客服等领域,旨在改善用户体验并提高系统效率。
程序员盒子CoderUtil
一个程序员的高效工具网址导航网站,程序员盒子网提供自定义快捷网址导航,涵盖技术社区、学习平台、资源推荐等多种功能,目前拥有超过200万的程序员用户群体。
