多模态

1. 首页
2. 多模态

PaliGemma 2

PaliGemma 2是一款由Google DeepMind研发的视觉语言模型（VLM），结合了SigLIP-So400m视觉编码器与Gemma 2语言模型，支持多种分辨率的图像处理。该模型具备强大的知识迁移能力和出色的学术任务表现，在OCR、音乐乐谱识别以及医学图像报告生成等方面实现了技术突破。它能够处理多模态任务，包括图像字幕生成、视觉推理等，并支持量化和CPU推理以提高计算效率。

AI项目与工具 2025年06月12日 10 点赞 0 评论 571 浏览

优雅AI创作平台

中科闻歌发布的一款多模态内容智能生成平台，用户只需输入关键词或简单指令，能够自动生成文本、图片、音视频等多种形式的内容。

Ai视频生成 2025年06月05日 66 点赞 0 评论 571 浏览

Media2Face

一款革命性的语音面部动画生成工具，借助 Media2Face，现在可以从任何音频、图像或文本输入无缝生成逼真且富有表现力的面部动画。

Ai开源项目 2025年06月05日 56 点赞 0 评论 571 浏览

Talkie

Talkie是一款基于人工智能技术打造的虚拟伴侣应用，主打高度定制化虚拟角色和沉浸式互动体验。它支持用户通过文本、语音及图像与AI角色交流，并提供角色创建、卡牌收集、智能推荐等功能。自推出以来，Talkie迅速获得了全球用户的青睐，在个性化聊天、情感陪伴及沉浸式叙事方面展现出强大潜力。

AI项目与工具 2025年06月12日 17 点赞 0 评论 571 浏览

Flex.2

Flex.2-preview是Ostris开发的开源文本到图像生成模型，具备80亿参数规模。支持长文本输入、图像修复和多模态控制输入，适用于创意设计、图像修复和内容生成等多种场景。模型基于扩散框架，采用多通道输入处理和高效推理算法，可通过ComfyUI或Diffusers库集成使用，适合实验性开发和个性化定制。

AI项目与工具 2025年06月11日 20 点赞 0 评论 570 浏览

MVoT

MVoT是一种多模态推理框架，通过生成图像形式的推理痕迹，增强多模态大语言模型在复杂空间推理任务中的表现。其核心技术包括多模态推理范式、token discrepancy loss以及递归生成机制，有效提升推理准确性和可解释性。该工具适用于机器人导航、自动驾驶、智能教育、医疗影像分析及VR/AR交互等多个领域，具有广泛的应用潜力。

AI项目与工具 2025年06月12日 57 点赞 0 评论 569 浏览

Mogao

Mogao是由字节跳动开发的多模态生成基础模型，结合双视觉编码器和先进位置嵌入技术，实现高质量的图像与文本生成。支持零样本图像编辑、多模态理解与生成、高分辨率图像输出以及优化的中文文本渲染。适用于内容创作、智能交互、医疗影像分析等多个领域，具备强大的跨模态处理能力和生成稳定性。

AI项目与工具 2025年06月11日 97 点赞 0 评论 569 浏览

讯飞智能交互机

讯飞智能交互机是一款基于AI技术的交互设备，支持多模态感知与多维表达，提供沉浸式虚拟人交互体验。用户可自定义虚拟人形象和语音，接入讯飞星火大模型以增强交互能力。广泛应用于智能客服、导览讲解、政务服务等领域，提升服务效率与用户体验。

AI项目与工具 2025年06月12日 10 点赞 0 评论 568 浏览

AgentRefine

AgentRefine 是由北京邮电大学与美团联合开发的智能体合成框架，采用“精炼调整”方法提升基于大语言模型的智能体在多样化任务中的泛化能力。它通过轨迹中的观察实现错误纠正与自我优化，增强智能体在复杂环境中的适应性和鲁棒性。该框架支持多样化推理路径，广泛应用于自动化决策、游戏 AI、代码生成及自然语言处理等领域。

AI项目与工具 2025年06月12日 19 点赞 0 评论 568 浏览

OmniCam

OmniCam 是一种基于多模态输入的高级视频生成框架，结合大型语言模型与视频扩散模型，实现高质量、时空一致的视频内容生成。支持文本、视频或图像作为输入，精确控制摄像机运动轨迹，具备帧级操作、复合运动、速度调节等功能。采用三阶段训练策略提升生成效果，并引入 OmniTr 数据集增强模型性能。适用于影视、广告、教育及安防等多个领域，提高视频创作效率与质量。

AI项目与工具 2025年06月12日 18 点赞 0 评论 568 浏览