SimpleAR

SimpleAR简介

SimpleAR是由复旦大学视觉与学习实验室与字节跳动Seed团队联合研发的一款纯自回归图像生成模型。该模型采用简洁的自回归架构，通过优化训练和推理流程，实现了高质量的图像生成能力。在GenEval等基准测试中表现优异，仅使用5亿参数即可生成1024×1024分辨率的图像。其训练过程采用“预训练-有监督微调-强化学习”三阶段方法，显著提升了文本跟随能力和生成效果。同时，SimpleAR兼容多种加速技术，推理时间可缩短至14秒以内。

SimpleAR的核心功能

• 高质量文本到图像生成：作为一款纯自回归视觉生成框架，SimpleAR能够在5亿参数下生成1024×1024分辨率的高质量图像，在GenEval等基准测试中取得0.59的优异成绩。
• 多模态融合生成：将文本和视觉token同等处理，集成于统一的Transformer架构中，支持多模态建模，提升文本引导下的图像生成效果。

SimpleAR的技术原理

• 自回归生成机制：SimpleAR基于经典的自回归方式，通过逐个预测图像token来逐步生成完整图像。
• 多模态融合：将文本编码与视觉生成整合到一个decoder-only的Transformer结构中，提高参数利用效率，增强文本与视觉之间的联合建模能力。
• 三阶段训练方法：
  • 预训练：通过大规模数据学习通用的视觉与语言模式。
  • 有监督微调（SFT）：进一步提升生成质量与指令遵循能力。
  • 强化学习（GRPO）：基于CLIP等奖励函数进行后训练，优化生成内容的美学性和多模态对齐。
• 推理加速技术：通过vLLM等技术优化推理流程，使0.5B参数模型在14秒内生成1024×1024分辨率图像。
• 视觉tokenizer选择：采用Cosmos作为视觉tokenize，在低分辨率图像和细节重建方面仍有提升空间。

SimpleAR项目资源

• Github仓库：https://github.com/wdrink/SimpleAR
• HuggingFace模型库：https://huggingface.co/papers/2504.11455
• arXiv技术论文：https://arxiv.org/pdf/2504.11455

SimpleAR的应用场景

• 创意设计：可用于广告、海报、艺术创作等场景，辅助设计师快速生成高质量图像。
• 虚拟场景构建：根据文本描述生成虚拟环境，适用于游戏开发、VR/AR应用。
• 多模态翻译：结合图像与文本信息，提升翻译准确性与丰富性。
• 视频描述生成：为视频内容生成详细的文字描述。
• AR/VR应用：生成与现实场景融合的虚拟图像，用于教育、旅游、工业维修等领域。
• 图像增强与修复：提升低分辨率图像质量，并修复缺失或损坏部分。