多模态

Apollo

Apollo是一个由Meta和斯坦福大学合作研发的大型多模态模型,专注于视频内容的理解。其核心特性包括“Scaling Consistency”现象的应用、高效的视频理解评估基准ApolloBench、以及在处理长视频方面的卓越性能。Apollo模型家族涵盖多种规模,广泛应用于视频内容分析、搜索推荐、智能监控、自动驾驶及教育等领域。

HunyuanCustom

HunyuanCustom是腾讯混元团队开发的多模态视频生成框架,支持图像、音频、视频和文本等多种输入条件,生成高质量定制化视频。采用文本-图像融合与图像ID增强技术,提升身份一致性和视频真实性。适用于虚拟人广告、虚拟试穿、视频编辑等场景,具备音频驱动和视频驱动两种生成方式,展现强大可控性与灵活性。

Sa2VA

Sa2VA是由字节跳动联合多所高校开发的多模态大语言模型,结合SAM2与LLaVA技术,实现对图像和视频的密集、细粒度理解。它支持指代分割、视觉对话、视觉提示理解等多种任务,具备零样本推理能力和复杂场景下的高精度分割效果。适用于视频编辑、智能监控、机器人交互、内容创作及自动驾驶等多个领域。

AnythingLLM

AnythingLLM 是一款开源、多模态的 AI 客户端工具,支持文本、图像和音频输入,可将文档转化为上下文信息供语言模型使用。支持本地和云端部署,具备多用户管理、工作区隔离、丰富的文档格式支持和强大的 API 接口。适用于企业知识管理、学术研究、个人学习、内容创作等多种场景,保障数据隐私安全。

MMRole

MMRole是一个由中国人民大学高瓴人工智能学院研究团队开发的多模态角色扮演智能体(MRPA)框架。该框架通过整合图像和文本,使智能体能够以特定角色进行更为自然和沉浸式的对话。MMRole框架包括一个大规模、高质量的多模态数据集和一个全面的评估方法,用于开发和评估MRPAs的性能。该框架为创建能够理解和生成与图像相关对话内容的智能体提供了新的可能,并扩展了其在教育、娱乐、客户服务、社交模拟和内容创

华知大模型5.0

华知大模型5.0是一款由同方知网与华为云联合开发的多模态人工智能平台,支持文本、图像等多种数据类型的处理与生成。其核心功能包括AIGC检测、学术搜问、图表解读、论文选题、文献理解以及知识推荐等,广泛应用于科技创新、学术研究、科学决策及数据分析等领域,致力于提升工作效率并促进智能化发展。

KuaiMod

KuaiMod 是快手开发的多模态大模型内容审核系统,能高效识别和过滤有害及低质量视频。它结合视觉语言模型(VLM)和链式推理(CoT)技术,支持动态策略更新和强化学习,提升审核准确性。系统在离线测试中准确率达92.4%,有效降低用户举报率,优化推荐体验,助力平台内容生态健康发展。

ExperAI

ExperAI是一款基于AI聊天机器人的创新型平台,支持文本和语音交互,可上传文档和自定义知识库以提升对话个性化水平。其功能包括创建数字个性、知识分享、客户服务、个性化推荐及社交媒体集成等,广泛应用于客户服务、教育、健康咨询、个人助理和市场调研等领域,旨在通过自然语言处理技术,为用户提供深入且高效的对话体验。

Infinity

Infinity-MM是智源研究院发布的千万级多模态指令数据集,包含4300万条样本,涵盖视觉问答、文字识别、文档分析及数学推理等多领域任务。它通过严格的筛选和去重保证数据质量,并采用合成数据生成技术扩展数据集规模。基于此数据集,智源研究院训练出了20亿参数的Aquila-VL-2B模型,在多项基准测试中表现出色,推动了多模态AI领域的研究与发展。

Seer

Seer是一款由多家科研机构联合开发的端到端机器人操作模型,基于Transformer架构实现视觉预测与动作执行的高度协同。它能够融合多模态信息,具备强大的泛化能力和数据效率,在真实机器人任务中表现优异。Seer适用于工业自动化、服务机器人、医疗健康等多个领域,支持精准动作预测和未来状态预判,显著提升了机器人系统的智能化水平。