Awesome Chinese LLM 整理了开源的中文大语言模型(LLM),主要关注规模较小、可私有化部署且训练成本较低的模型,目前已收录了100多个相关资源。 Ai学习资源 2025年06月05日 44 点赞 0 评论 395 浏览
LitServe LitServe是一款基于FastAPI的高性能AI模型部署引擎,专为企业级AI服务设计。它支持批处理、流式处理和GPU自动扩展,简化了模型部署流程。LitServe易于安装和使用,提供灵活的API定义和强大的服务器控制能力。它兼容多种机器学习框架,具备自动扩展和身份验证等高级特性,适用于机器学习模型部署、大语言模型服务、视觉模型推理、音频和语音处理及自然语言处理等多个领域。 AI项目与工具 2025年06月12日 64 点赞 0 评论 392 浏览
BALROG BALROG是一款用于评估大型语言模型(LLMs)和视觉语言模型(VLMs)在游戏环境中推理能力的框架。它通过程序化生成的游戏环境,测试模型的规划、空间推理及探索能力,并提供细粒度的性能指标和公开排行榜,以促进AI技术的发展,适用于游戏AI开发、机器人技术、虚拟现实等多个领域。 AI项目与工具 2025年06月12日 37 点赞 0 评论 389 浏览
iAgents iAgents是一款由清华大学研发的多AI智能体协作框架,专注于通过个性化AI智能体协助用户完成复杂任务。它利用infoNav推理机制优化信息交换,支持多轮对话与任务解决,同时具备混合记忆机制(清晰记忆与模糊记忆)用于高效信息检索。iAgents广泛应用于会议协调、项目管理、客户服务等领域,显著提升了团队协作效率。 AI项目与工具 2025年06月12日 79 点赞 0 评论 387 浏览
Promptic Promptic 是一款基于 Python 的轻量级 LLM 应用开发框架,提供类型安全的输出验证、流式响应支持、对话记忆管理及错误处理等特性。它通过集成 LiteLLM 和装饰器模式,帮助开发者快速构建稳定高效的 LLM 应用,同时支持多种主流 LLM 服务提供商的无缝切换。主要功能包括动态提示生成、响应验证、状态管理和工具函数代理构建,广泛应用于聊天机器人、内容生成、语言翻译、情感分析和数据摘 AI项目与工具 2025年06月12日 97 点赞 0 评论 380 浏览
SearchAgent SearchAgent-X是由南开大学和伊利诺伊大学厄巴纳香槟分校(UIUC)研究人员开发的高效推理框架,旨在提升基于大型语言模型(LLM)的搜索Agent效率。通过高召回率的近似检索、优先级感知调度和无停顿检索等技术,显著提高系统吞吐量(1.3至3.4倍),降低延迟(降至原来的1/1.7至1/5),同时保持生成质量。该框架优化资源利用率,适用于智能客服、搜索引擎、企业知识管理等多种场景,为复杂A AI项目与工具 2025年06月11日 56 点赞 0 评论 377 浏览
FlashVideo FlashVideo是由字节跳动团队研发的高分辨率视频生成框架,采用两阶段方法优化计算效率。第一阶段在低分辨率下生成高质量内容,第二阶段通过流匹配技术提升至1080p,仅需4次函数评估。其特点包括高效计算、细节增强、快速预览及多场景应用,适用于广告、影视、教育等领域。 AI项目与工具 2025年06月12日 26 点赞 0 评论 375 浏览
CodeFuse CodeFuse-muAgent是由蚂蚁集团CodeFuse团队开发的一款多智能体框架,通过知识图谱引擎驱动智能体的编排和协作,简化复杂工作流程的自动化。它支持多种智能体类型,包括问答、工具使用和代码执行,并具备通信、记忆管理和自定义模型支持等功能,促进智能体间的高效协作。应用场景广泛,涵盖自动化办公流程、客户服务自动化、智能监控和安全、个性化推荐系统以及教育和培训等多个领域。 AI项目与工具 2025年06月12日 35 点赞 0 评论 372 浏览