多模态

《Manus没有秘密》70页PPT解读AI Agent(PDF文件)

本文详细解读了AI Agent技术从L1到L3的发展历程,涵盖了定义、实现原理、用户体验及未来趋势。文章以Manus为例,探讨了Agent技术的通用性、技术实现路径及用户感知变化,强调了提升通用性、性能和用户体验的重要性。同时,文章提出了对未来发展的期望和建议。

OmniVision

OmniVision是一款面向边缘设备的紧凑型多模态AI模型,参数量为968M。它基于LLaVA架构优化,能够处理视觉与文本输入,显著降低计算延迟和成本。OmniVision支持视觉问答、图像描述等功能,广泛应用于内容审核、智能助手、视觉搜索等领域。

Amazon Nova

Amazon Nova是亚马逊云服务推出的一套强大的AI基础模型系列,涵盖文本、图像和视频生成等多个领域。其核心产品包括Amazon Nova Micro(专注文本处理)、Amazon Nova Lite(多模态低成本模型)、Amazon Nova Pro(多模态平衡型模型)、Amazon Nova Premier(复杂推理模型)、Amazon Nova Canvas(图像生成模型)和Amazon

Llama 4

Llama 4 是 Meta 推出的多模态 AI 模型系列,采用混合专家(MoE)架构,提升计算效率。包含 Scout 和 Maverick 两个版本,分别适用于不同场景。Scout 支持 1000 万 token 上下文,Maverick 在图像理解和创意写作方面表现优异。Llama 4 支持 200 种语言,具备强大的语言生成与多模态处理能力,适用于对话系统、文本生成、代码辅助、图像分析等多个

VILA

VILA-U 是一款由 MIT 汉实验室开发的统一基础模型,整合了视频、图像和语言的理解与生成能力。它通过自回归框架简化模型结构,支持视觉理解、视觉生成、多模态学习和零样本学习等功能。VILA-U 在预训练阶段采用混合数据集,利用残差向量量化和深度变换器提升表示能力,适用于图像生成、内容创作辅助、自动化设计、教育和残障人士辅助等多种场景。

PixVerse V3

PixVerse V3是一款由爱诗科技开发的AI视频生成工具,具备创意模板、口型匹配、风格转换等多模态生成能力。其核心功能包括精准的提示词理解、高质量视频生成、多种视频比例支持以及风格化功能升级。新增的口型适配功能和8个创意效果模板进一步丰富了应用场景,适用于社交媒体、广告营销、教育、影视及游戏开发等领域。

MagicAvatar

MagicAvatar由字节跳动开发,是一款主打多模态输入生成的多模态框架,可以将文本、视频和音频等不同输入方式转化为动作信号,从而生成和动画化一个虚拟人物。

文远知行

全球领先的自动驾驶科技公司,文远知行提供从L2到L4的自动驾驶产品和服务,涵盖Robotaxi、Robobus、Robovan等多种自动驾驶车辆。

OmniSVG

OmniSVG是复旦大学与StepFun联合开发的全球首个端到端多模态SVG生成模型,基于预训练视觉语言模型,通过创新的SVG标记化技术实现结构与细节的解耦,支持从文本、图像或角色参考生成高质量矢量图形。其训练效率高,支持长序列处理,适用于图标设计、网页开发、游戏角色生成等场景,生成结果具备高度可编辑性和跨平台兼容性。

LOKI

LOKI是一个由中山大学与上海AI实验室联合推出的合成数据检测基准,用于评估大型多模态模型在识别视频、图像、3D模型、文本及音频等多模态合成数据方面的性能。它包含超过18,000个问题,涵盖26个子类别,支持多层次标注和细粒度异常注释,并通过自然语言解释增强模型的可解释性。LOKI还通过对比多种开源和闭源模型的表现,揭示了这些模型在合成数据检测任务中的优势与不足。