部署
Lepton Search
Lepton Search 是一个基于对话式AI的搜索引擎,由前阿里巴巴技术副总裁及AI科学家贾扬清创立的Lepton AI应用构建平台开源。它通过集成大语言模型和调用Bing搜索API,实现了自然语言交互和精准搜索。其开源特性、对话式搜索能力、内置大语言模型支持、搜索引擎集成、可定制化用户界面以及搜索结果的高效管理,使其成为一款功能全面、灵活且高效的AI工具。
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
