计算机视觉

DAM

DAM-3B是英伟达开发的多模态大语言模型,专用于图像和视频中特定区域的详细描述。支持点、边界框、涂鸦或掩码等方式指定目标区域,生成精准文本描述。其核心技术包括焦点提示与局部视觉骨干网络,有效融合全局与局部特征。DAM-3B-Video版本扩展至视频处理,适用于动态场景。模型基于Transformer架构,支持多模态输入,广泛应用于内容创作、智能交互及无障碍工具等领域。

Edicho

Edicho 是一种基于扩散模型的图像编辑工具,能够在多图像间实现一致性编辑,无需额外训练。其核心技术包括 Corr-Attention 注意力模块和 Corr-CFG 去噪策略,通过显式图像对应关系提升编辑质量与一致性。适用于图像修复、风格转换、内容创作、医学影像增强等场景,具备良好的兼容性与扩展性。

TripoSF

TripoSF是由VAST推出的新型3D基础模型,采用SparseFlex表示方法和稀疏体素结构,显著降低内存占用并提升高分辨率建模能力。其“视锥体感知的分区体素训练”策略优化了训练效率,使模型在细节捕捉、拓扑结构支持和实时渲染方面表现突出。实验数据显示,TripoSF在Chamfer Distance和F-score等关键指标上分别降低82%和提升88%。适用于视觉特效、游戏开发、具身智能及产品

TripoSR

TripoSR是一款由Stability AI与VAST联合开发的开源3D生成模型,能够在不到0.5秒内从单张2D图像生成高质量的3D模型。基于Transformer架构和大型重建模型(LRM)设计,采用先进的图像编码、三平面NeRF表示及优化训练策略,支持无GPU设备运行。适用于游戏开发、影视制作、建筑设计、产品设计等多个领域,具有高效、高精度和广泛适用性的特点。

Matrix3D

Matrix3D 是一种由多所高校与科技企业联合开发的统一摄影测量模型,集姿态估计、深度预测、新视图合成与3D重建于一体。其核心技术为多模态扩散变换器,支持跨模态数据融合与灵活任务处理。通过掩码学习策略,提高数据利用效率并增强模型泛化能力。适用于VR/AR、游戏开发、影视制作等领域,具有高度交互性和灵活性。

FILM

Frame Interpolation是一个开源的神经网络模型,能够在两个视频帧之间生成高质量的中间帧,特别适合需要处理大范围场景运动的应用。

MatAnyone

MatAnyone是一款由南洋理工大学S-Lab实验室与商汤科技联合开发的视频抠图框架,专注于复杂背景下人像视频的精准分割。采用一致内存传播和区域自适应内存融合技术,确保视频中目标的语义稳定性和边界细节精度。结合大规模分割数据和优化的训练策略,提升了模型在真实场景下的性能。适用于影视制作、直播、广告、游戏开发等多个领域,具备高精度、强适应性和良好的交互性。

TrajectoryCrafter

TrajectoryCrafter是一种基于双流条件视频扩散模型的单目视频相机轨迹重定向工具,支持用户自定义相机运动路径并生成高质量、4D一致的视频内容。其核心技术包括解耦视图变换与内容生成、动态点云渲染以及混合数据集训练策略,具备强大的场景泛化能力。适用于沉浸式娱乐、视频创作、智能会议、自动驾驶及教育等多个领域。

LLaVA

LLaVA-OneVision是字节跳动开发的开源多模态AI模型,主要功能包括多模态理解、任务迁移、跨场景能力、开源贡献及高性能。该模型采用多模态架构,集成了视觉和语言信息,通过Siglip视觉编码器和Qwen-2语言模型,实现高效特征映射和任务迁移学习。广泛应用于图像和视频分析、内容创作辅助、聊天机器人、教育和培训以及安全监控等领域。

SeedVR

SeedVR是由南洋理工大学与字节跳动联合开发的视频修复模型,采用移位窗口注意力机制和因果视频变分自编码器,实现高质量、高效率的视频修复。支持任意长度和分辨率的视频处理,生成具有真实感细节的修复结果,适用于影视修复、广告制作、监控视频优化等多个场景。其处理速度优于现有方法,具备良好的实用性与扩展性。