多模态

VARGPT

VARGPT是一款多模态大语言模型,整合了视觉理解和生成任务于统一的自回归框架中。它通过next-token和next-scale预测机制,支持文本与图像的混合输入和输出,具备高效的视觉生成能力。模型采用三阶段训练策略,提升了在视觉问答、推理及图像生成任务中的表现。适用于多模态内容创作、指令到图像合成等场景。

BuboGPT | 字节大模型

BuboGPT是由字节跳动开发的大型语言模型,能够处理多模态输入,包括文本、图像和音频,并具有将其响应与视觉对象相对应的独特能力。

Insert Anything

Insert Anything是由多所高校联合开发的图像插入框架,支持多种场景下的对象无缝融合,如艺术创作、虚拟试穿和影视特效等。基于大规模数据集训练,具备高分辨率输出与语义一致性保障。用户可通过掩码或文本指令实现精准控制,适用于创意设计与数字内容生成领域。

AgentScope

AgentScope是一个由阿里巴巴集团开源的多智能体开发平台,支持构建和部署复杂的多智能体应用。它提供易用的拖拽式界面、实时监控和丰富的开发资源,涵盖聊天、图像生成、文本嵌入等任务。AgentScope具备高鲁棒性、分布式支持及容错机制,同时支持多模态数据处理和外部知识库的整合,适用于智能助手、客户服务、软件工程、社会模拟和教育培训等多个应用场景。

Open WebUI

一个可扩展、功能丰富且用户友好的自托管 WebUI,适用于各种 LLM 运行器,支持的 LLM 运行器包括 Ollama 和 OpenAI 兼容的 API。

BGE

BGE-VL是由北京智源研究院联合高校开发的多模态向量模型,基于大规模合成数据MegaPairs训练,具备高效的多模态数据合成方法和强大的泛化能力。它支持图文检索、组合图像检索和多模态嵌入等功能,适用于智能搜索、内容推荐、图像编辑辅助等多个领域。模型在多种任务中表现优异,尤其在组合图像检索方面取得显著成果。

FLORA

FLORA是一款面向创意工作者的AI工具平台,通过节点式画布整合文本、图像和视频生成功能,支持故事分析、角色设计、分镜脚本生成及团队协作,提升创意流程效率,适用于视频创作、游戏开发、设计及教育等领域。

InfiMM

InfiMM-WebMath-40B是由字节跳动与中国科学院联合推出的大规模多模态数据集,涵盖大量数学和科学内容,包括文本、公式、符号及图像。该数据集通过筛选、清洗和标注优化,可显著提升多模态模型的数学推理能力。它适用于数学题库生成、学习工具开发、论文理解及科学研究等多个应用场景。 ---

LMMs

LMMs-Eval 是一个用于多模态AI模型的统一评估框架,提供标准化、广泛覆盖且成本效益高的性能评估解决方案。它支持超过50个任务和10多个模型,并通过透明和可复现的评估流程帮助研究者和开发者全面了解模型能力。LMMs-Eval 还引入了 LMMs-Eval Lite 和 LiveBench,分别通过精简数据集降低评估成本并动态更新评估数据集,以确保模型泛化能力的有效评估。

腾讯乐享AI助手

腾讯乐享AI助手,基于腾讯的大模型等 AIGC 能力开发,该助手集成了腾讯乐享的多项产品能力,包括智能知识问答、多模态智能搜索、AI 辅助创作、智能生成考题等功能。