多模态

1. 首页
2. 多模态

ParGo

ParGo是一种由字节与中山大学联合开发的多模态大语言模型连接器，通过结合局部与全局token，提升视觉与语言模态的对齐效果。其核心模块PGP和CPP分别提取图像的局部和全局信息，增强细节感知能力。在多个基准测试中表现优异，尤其在文字识别和图像描述任务中优势明显。采用自监督学习策略，提高模型泛化能力，适用于视觉问答、图像字幕生成、跨模态检索等多种场景。

AI项目与工具 2025年06月12日 38 点赞 0 评论 510 浏览

OminiControl

OminiControl是一款高效且参数节约的图像生成框架，专为扩散变换器模型设计，支持主题驱动和空间控制。通过增加少量参数，它能够生成高质量图像并保持主题一致性，适用于多种应用场景，包括艺术创作、游戏开发和广告设计等。其强大的多模态注意力机制和灵活的架构使其成为图像生成领域的创新工具。

AI项目与工具 2025年06月12日 94 点赞 0 评论 508 浏览

​LobeChat

一个开源、高性能的聊天机器人框架，支持语音合成、多模态和可扩展（函数调用）插件系统。支持一键免费部署您的私人 ChatGPT/LLM Web 应用程序。

AI写作对话 2025年06月05日 37 点赞 0 评论 507 浏览

LLaVA

LLaVA-OneVision是字节跳动开发的开源多模态AI模型，主要功能包括多模态理解、任务迁移、跨场景能力、开源贡献及高性能。该模型采用多模态架构，集成了视觉和语言信息，通过Siglip视觉编码器和Qwen-2语言模型，实现高效特征映射和任务迁移学习。广泛应用于图像和视频分析、内容创作辅助、聊天机器人、教育和培训以及安全监控等领域。

AI项目与工具 2025年06月12日 34 点赞 0 评论 506 浏览

RDT

RDT是清华大学AI研究院推出的一款双臂机器人操作任务扩散基础模型，拥有十亿参数量，可自主完成复杂任务，如调酒和遛狗。该模型基于模仿学习，具备强大的泛化能力和操作精度，支持多种模态输入和少样本学习。RDT已在餐饮、家庭、医疗、工业及救援等领域展现广泛应用前景，推动机器人技术发展。

AI项目与工具 2025年06月12日 83 点赞 0 评论 505 浏览

UI

UI-TARS是由字节跳动开发的图形用户界面代理模型，支持通过自然语言实现桌面、移动端和网页的自动化交互。具备多模态感知、跨平台操作、视觉识别、任务规划与记忆管理等功能，适用于自动化任务执行和复杂交互场景。支持云端与本地部署，提供丰富的开发接口，便于集成与扩展。

AI项目与工具 2025年06月12日 33 点赞 0 评论 504 浏览

LOKI

LOKI是一个由中山大学与上海AI实验室联合推出的合成数据检测基准，用于评估大型多模态模型在识别视频、图像、3D模型、文本及音频等多模态合成数据方面的性能。它包含超过18,000个问题，涵盖26个子类别，支持多层次标注和细粒度异常注释，并通过自然语言解释增强模型的可解释性。LOKI还通过对比多种开源和闭源模型的表现，揭示了这些模型在合成数据检测任务中的优势与不足。

AI项目与工具 2025年06月12日 50 点赞 0 评论 503 浏览

YAYI2

中科闻歌研发的一款新一代开源大语言模型，中文名为“雅意”。该模型包含 Base 和 Chat 版本，参数规模达到 30B，基于 Transformer 架构构建。

Ai平台模型 2025年06月05日 11 点赞 0 评论 503 浏览

OmniSVG

OmniSVG是复旦大学与StepFun联合开发的全球首个端到端多模态SVG生成模型，基于预训练视觉语言模型，通过创新的SVG标记化技术实现结构与细节的解耦，支持从文本、图像或角色参考生成高质量矢量图形。其训练效率高，支持长序列处理，适用于图标设计、网页开发、游戏角色生成等场景，生成结果具备高度可编辑性和跨平台兼容性。

AI项目与工具 2025年06月12日 90 点赞 0 评论 502 浏览

Llama 4

Llama 4 是 Meta 推出的多模态 AI 模型系列，采用混合专家（MoE）架构，提升计算效率。包含 Scout 和 Maverick 两个版本，分别适用于不同场景。Scout 支持 1000 万 token 上下文，Maverick 在图像理解和创意写作方面表现优异。Llama 4 支持 200 种语言，具备强大的语言生成与多模态处理能力，适用于对话系统、文本生成、代码辅助、图像分析等多个

AI项目与工具 2025年06月12日 46 点赞 0 评论 502 浏览