开源
LazyGraphRAG
LazyGraphRAG是微软研究院推出的一种图形增强生成增强检索框架,旨在降低数据索引成本并提升查询效率。相比GraphRAG,其索引成本仅为其0.1%,并通过混合搜索策略优化查询性能。该工具支持本地与全局查询,适用于多种应用场景,包括内容推荐、项目管理和客户服务等,且计划开源以促进技术普及。
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。