框架

VARGPT

VARGPT是一款多模态大语言模型,整合了视觉理解和生成任务于统一的自回归框架中。它通过next-token和next-scale预测机制,支持文本与图像的混合输入和输出,具备高效的视觉生成能力。模型采用三阶段训练策略,提升了在视觉问答、推理及图像生成任务中的表现。适用于多模态内容创作、指令到图像合成等场景。

FlagevalMM

FlagEvalMM是一个由北京智源人工智能研究院开发的开源多模态模型评测框架,专注于评估处理文本、图像、视频等多模态任务的模型性能。它支持多种任务和指标,采用解耦评测与推理的设计,提供统一的评测流程,集成丰富模型库并兼容多种后端引擎。该工具适用于学术研究、工业应用、模型开发、教育领域及内容创作等多个场景。

书生·筑梦2.0

它不仅提供了更大的创作灵活性,还通过高质量的视频输出满足了用户对画质和帧率的高需求。Vchitect 2.0及其配套的VEnhancer框架,为视频内容创作者提供了强大的工具,以创造更加生...

AgentGen

AgentGen是一款由香港大学与微软联合研发的AI项目框架,旨在通过自动生成多样化环境和任务,显著提升大语言模型(LLM)的规划能力。其核心技术包括环境生成、任务生成和动态难度调节,支持零样本生成和指令微调,适用于机器人控制、智能家居等多个领域。

II

II-Agent 是一个开源的 Agent 框架,通过与大型语言模型(LLM)交互,简化和提升跨领域的工作流程。其核心功能包括研究与事实核查、内容生成、数据分析与可视化、软件开发、工作流自动化及问题解决等。具备动态上下文提示、智能 token 管理、规划与反思能力、多模态处理以及实时通信等功能。支持 CLI 和 WebSocket 接口,适用于智能客服、金融投顾、医疗诊断和教育辅导等多种场景。

ShotAdapter

ShotAdapter是一款由Adobe与UIUC联合开发的文本到多镜头视频生成框架,通过过渡标记和局部注意力掩码策略,实现角色身份一致性和镜头内容精准控制。支持用户通过文本提示调节镜头数量、时长和背景,适用于影视、广告、教育、游戏等领域,具备高效、灵活和可扩展的技术特点。

RSIDiff

RSIDiff 是一种基于递归自训练的文本到图像生成优化框架,通过高质量提示构建、偏好采样和分布加权机制,提升图像质量和与人类偏好的对齐度,减少训练崩溃风险。它具备自演化能力,降低对大规模数据的依赖,广泛应用于艺术创作、广告设计、VR/AR、游戏开发等领域。

PDFtoChat

PDFtoChat 是一款基于 AI 技术的开源工具,支持用户通过自然语言对话与 PDF 文件交互。它具备强大的文档解析、智能检索和即时反馈能力,广泛应用于学术研究、法律咨询、商业分析、教育培训和技术文档查询等领域,显著提升文档处理效率。

DecipherIt

DecipherIt是一款AI驱动的研究助手工具,能够将多种主题、链接和文件转化为AI生成的研究笔记本。它提供全面的总结、互动问答、音频概述、可视化思维导图及自动化的FAQ生成等功能。基于Bright Data的MCP服务器,DecipherIt可突破地理限制和反爬虫检测,获取全球信息。同时,它采用多智能体AI框架CrewAI,高效整合多源数据,适用于学术研究、市场分析、教育学习等多个场景。