跨模态

UniTok

UniTok是由字节跳动联合高校研发的统一视觉分词器,支持视觉生成与理解任务。其采用多码本量化技术,将视觉特征分割并独立量化,显著提升离散token的表示能力。在ImageNet上实现78.6%的零样本分类准确率,图像重建质量达0.38。可作为多模态大语言模型的视觉输入模块,广泛应用于图像生成、视觉问答、内容创作及跨模态检索等场景。

MILS

MILS是由Meta AI开发的一种无需额外训练即可为大型语言模型(LLM)提供多模态能力的框架。它通过多步推理、评分反馈和迭代优化,实现图像、视频、音频等多模态内容的生成与理解。MILS支持零样本描述生成、风格迁移、跨模态推理等任务,适用于内容生成、多模态检索、视觉问答等多个场景,具备高效、灵活和无需训练的优势。