多模态

1. 首页
2. 多模态

Qihoo

Qihoo-T2X是由360 AI研究院与中山大学联合研发的高效多模态生成模型，基于代理标记化扩散 Transformer（PT-DiT）架构。该模型通过稀疏代理标记注意力机制显著降低计算复杂度，支持文本到图像、视频及多视图生成。具备高效生成能力和多任务适应性，适用于创意设计、视频制作、教育、游戏开发及广告等多个领域。

AI项目与工具 2025年06月12日 26 点赞 0 评论 565 浏览

LMMs

LMMs-Eval 是一个用于多模态AI模型的统一评估框架，提供标准化、广泛覆盖且成本效益高的性能评估解决方案。它支持超过50个任务和10多个模型，并通过透明和可复现的评估流程帮助研究者和开发者全面了解模型能力。LMMs-Eval 还引入了 LMMs-Eval Lite 和 LiveBench，分别通过精简数据集降低评估成本并动态更新评估数据集，以确保模型泛化能力的有效评估。

AI项目与工具 2025年06月12日 86 点赞 0 评论 565 浏览

BALROG

BALROG是一款用于评估大型语言模型（LLMs）和视觉语言模型（VLMs）在游戏环境中推理能力的框架。它通过程序化生成的游戏环境，测试模型的规划、空间推理及探索能力，并提供细粒度的性能指标和公开排行榜，以促进AI技术的发展，适用于游戏AI开发、机器人技术、虚拟现实等多个领域。

AI项目与工具 2025年06月12日 37 点赞 0 评论 565 浏览

3D

3D-Speaker是一个多模态开源项目，专注于通过结合声学、语义和视觉信息，实现高精度的说话人识别和语种识别。其主要功能包括说话人日志、说话人识别、语种识别、多模态识别以及重叠说话人检测。项目提供了工业级模型、训练与推理代码，以及多样化数据集，并支持复杂环境下的语音处理任务。应用场景涵盖会议记录、法庭记录、广播制作、电话客服和安全监控等领域。

AI项目与工具 2025年06月12日 29 点赞 0 评论 568 浏览

ACE

ACE是一款基于扩散Transformer架构的多模态图像生成与编辑工具，通过长上下文条件单元（LCU）和统一条件格式实现自然语言指令的理解与执行。它支持图像生成、编辑、多轮交互等多种任务，适用于艺术创作、媒体制作、广告设计、教育培训等多个领域，提供高效且灵活的视觉内容解决方案。

AI项目与工具 2025年06月12日 74 点赞 0 评论 569 浏览

FlexIP

FlexIP 是腾讯推出的图像合成框架，支持在保持主体身份的同时进行个性化编辑。其双适配器架构分离身份保持与编辑功能，结合动态权重门控机制实现灵活控制，并通过多模态数据训练提升生成质量与稳定性，适用于艺术创作、广告设计、影视制作等多个领域。

AI项目与工具 2025年06月11日 31 点赞 0 评论 569 浏览

Multimodal Live API

Multimodal Live API是谷歌推出的一种支持文本、音频和视频交互的AI接口，具备低延迟、实时双向通信和自然语言处理能力。它允许用户通过多种输入方式与AI互动，并支持会话记忆和外部功能调用，广泛应用于客户服务、在线教育、远程医疗、视频会议和娱乐等领域。

AI项目与工具 2025年06月12日 51 点赞 0 评论 570 浏览

Lyra

Lyra是一款由香港中文大学、SmartMore和香港科技大学联合研发的高效多模态大型语言模型（MLLM）。它通过整合视觉、语音和文本三种模态的信息，实现了强大的跨模态理解和推理能力。Lyra不仅擅长处理长语音数据，还支持流式文本-语音生成及跨模态信息交互，适用于智能助手、客户服务、教育培训、医疗健康等多个领域。

AI项目与工具 2025年06月12日 18 点赞 0 评论 571 浏览

InternVL3

InternVL3是上海人工智能实验室推出的多模态大型语言模型，具备文本、图像、视频等多模态数据处理能力。采用原生多模态预训练方法，提升语言与视觉理解效率，并支持工具使用、3D视觉、工业图像分析等复杂任务。模型可通过API部署，适用于智能交互、图像识别、视频分析及客服系统等多种场景。

AI项目与工具 2025年06月11日 68 点赞 0 评论 571 浏览

Amazon Nova Premier

Amazon Nova Premier 是亚马逊推出的多模态 AI 模型，支持文本、图像和视频输入，具备超长上下文处理能力（最高达 100 万 token），适用于复杂任务处理、多步骤规划与跨数据源执行。可通过模型蒸馏生成轻量级版本，优化生产部署。支持多语言，具备安全控制机制，广泛应用于金融、法律、软件开发等领域。

AI项目与工具 2025年06月11日 39 点赞 0 评论 574 浏览