多模态

UniToken

UniToken 是一种面向多模态理解与生成任务的自回归模型,结合了离散与连续视觉表示,实现对图像语义与细节的全面捕捉。它支持图文理解、图像生成、多模态对话、复杂指令执行等多种任务,并具备细粒度视觉处理能力。适用于内容创作、智能客服、教育、医疗及自动驾驶等多个领域。

飞书知识问答

飞书知识问答是一款基于AI技术的企业级知识管理工具,支持多数据源接入与实时搜索,提供结构化答案生成、智能问答、标准问答库管理等功能。支持多模态回答,兼容多种AI模型,适用于知识管理、智能客服、团队协作等场景,提升信息处理效率与准确性。

Pangea

Pangea是一款由卡内基梅隆大学团队开发的多语言多模态大型语言模型,支持39种语言,具备多模态理解和跨文化覆盖能力。其主要功能包括多语言文本生成与理解、图像描述、视觉问答等,同时通过高质量指令和文化相关任务优化性能。Pangea基于丰富的数据集和先进的模型架构,适用于多语言客户服务、教育、跨文化交流等多个领域。

VideoLLaMA3

VideoLLaMA3 是阿里巴巴开发的多模态基础模型,支持视频与图像的深度理解和分析。基于 Qwen 2.5 架构,结合先进视觉编码器与语言生成能力,具备高效时空建模与多语言处理能力。适用于视频内容分析、视觉问答、字幕生成等场景,提供多种参数版本,支持灵活部署。

Wordware

Wordware是一个强大的AI应用开发工具,它通过自然语言编程简化了AI代理的创建过程,提供了先进的技术能力和用户友好的界面。

STIV

STIV是一款由苹果公司开发的视频生成大模型,具有8.7亿参数,擅长文本到视频(T2V)及文本图像到视频(TI2V)任务。它通过联合图像-文本分类器自由引导(JIT-CFG)技术提升生成质量,并结合时空注意力机制、旋转位置编码(RoPE)及流匹配训练目标优化性能。STIV支持多种应用场景,包括视频预测、帧插值、长视频生成等,适用于娱乐、教育、广告及自动驾驶等多个领域。

LMEval

LMEval是谷歌推出的开源框架,用于简化大型语言模型(LLMs)的跨提供商评估。它支持多模态(文本、图像、代码)和多指标评估,兼容Google、OpenAI、Anthropic等主流模型提供商。LMEval基于增量评估引擎,节省时间和计算资源,并通过自加密的SQLite数据库安全存储评估结果。LMEvalboard提供交互式可视化界面,帮助用户分析模型性能并直观比较不同模型的优缺点。

EmoLLM

EmoLLM 是一款基于多模态技术的心理健康支持工具,能通过文本、图像和视频分析用户情绪,提供情绪识别、心理辅导和情感支持。其核心包括多视角视觉投影、情感引导提示和指令微调技术,支持个性化辅导、角色扮演及多轮对话,适用于心理健康评估与干预场景。

UniTok

UniTok是由字节跳动联合高校研发的统一视觉分词器,支持视觉生成与理解任务。其采用多码本量化技术,将视觉特征分割并独立量化,显著提升离散token的表示能力。在ImageNet上实现78.6%的零样本分类准确率,图像重建质量达0.38。可作为多模态大语言模型的视觉输入模块,广泛应用于图像生成、视觉问答、内容创作及跨模态检索等场景。

FLUX.1 Kontext

FLUX.1 Kontext是由Black Forest Labs推出的图像生成与编辑模型,支持上下文感知的图像处理。它基于文本和图像提示进行生成与编辑,具备对象修改、风格转换、背景替换、角色一致性保持和文本编辑等功能。FLUX.1 Kontext Pro版本支持快速迭代编辑,Kontext Max版本在提示词遵循和排版生成方面表现优异,而dev开源版本适合定制化开发。