多模态

豆包1.5·UI

豆包1.5·UI-TARS是字节跳动推出的一款面向图形用户界面(GUI)的智能代理模型,具备视觉理解、逻辑推理和操作执行能力。它无需预定义规则,即可实现端到端的GUI任务自动化,适用于办公、测试、客服及机器人交互等多个场景。模型基于多模态融合与端到端学习技术,支持高效的界面交互与精准的视觉定位。

Sa2VA

Sa2VA是由字节跳动联合多所高校开发的多模态大语言模型,结合SAM2与LLaVA技术,实现对图像和视频的密集、细粒度理解。它支持指代分割、视觉对话、视觉提示理解等多种任务,具备零样本推理能力和复杂场景下的高精度分割效果。适用于视频编辑、智能监控、机器人交互、内容创作及自动驾驶等多个领域。

MovieDreamer

MovieDreamer是一个由浙江大学与阿里巴巴联合开发的AI视频生成框架,专为长视频设计。该框架结合自回归模型和扩散渲染技术,生成复杂的长视频内容。它支持多层次叙事一致性、高质量视觉渲染和多模态脚本,适用于电影预告片、VR叙事、教育视频和游戏内剧情等多种场景。

OmniAlign

OmniAlign-V是由多所高校联合开发的多模态大语言模型对齐数据集,包含约20万个多模态样本,涵盖自然图像和信息图表。其核心功能包括提供高质量训练数据、提升模型的开放式问答能力、增强推理与创造力,并支持模型持续优化。数据集通过图像筛选、任务设计及后处理优化确保数据质量,适用于多模态对话系统、图像辅助问答、创意生成等多个应用场景。

R1

R1-Onevision 是一款基于 Qwen2.5-VL 微调的开源多模态大语言模型,擅长处理图像与文本信息,具备强大的视觉推理能力。它在数学、科学、图像理解等领域表现优异,支持多模态融合与复杂逻辑推理。模型采用形式化语言和强化学习技术,提升推理准确性与可解释性,适用于科研、教育、医疗及自动驾驶等场景。

MyShell

MyShell是一个全面的AI应用开发平台,提供了经典、开发和无代码三种模式,适合各种技能水平的用户。该平台支持创建AI原生应用,并通过AI代理商店提供多模态应用,涵盖效率工具、教育应用、游戏和客户服务等多个领域。平台还设有激励机制,鼓励创作者和用户参与,同时倡导使用开源模型,确保创作者和用户能够公平地分享收益。

AnythingLLM

AnythingLLM 是一款开源、多模态的 AI 客户端工具,支持文本、图像和音频输入,可将文档转化为上下文信息供语言模型使用。支持本地和云端部署,具备多用户管理、工作区隔离、丰富的文档格式支持和强大的 API 接口。适用于企业知识管理、学术研究、个人学习、内容创作等多种场景,保障数据隐私安全。

京点点

京点点是京东零售技术推出的AI内容生成平台,专为电商场景设计,支持商品图片、营销文案等多模态内容的高效生成。基于DiT框架、Flow Matching等先进技术,平台可精准提取商品信息并生成高质量素材,适用于多种电商场景。面向京东商家、合作伙伴及内部员工开放,助力提升内容生产效率与质量。

ImageRAG

ImageRAG 是一种基于检索增强生成(RAG)技术的图像生成工具,通过动态检索相关图像提升文本到图像模型的生成能力。它能够增强对罕见概念的理解与生成,提升图像的真实度和相关性,支持多模态生成与个性化定制。无需额外训练即可适配多种 T2I 模型,广泛应用于创意设计、品牌推广、教育及影视等领域。

MetaMorph

MetaMorph是一款基于多模态大模型的工具,通过Visual-Predictive Instruction Tuning(VPiT)技术实现文本和视觉token的生成。它在视觉理解和生成领域表现优异,能够克服其他生成模型的常见失败模式,同时有效处理专业术语和复杂语义问题。MetaMorph展示了统一建模方法的优势,支持多模态数据的高效处理,并在视觉生成与理解基准测试中取得竞争力表现。