AuraFusion360

AuraFusion360简介

AuraFusion360是一种基于参考的新型方法，专门用于360°无边界场景修复，适用于虚拟现实和建筑可视化等领域。该方法通过高斯散射表示构建三维场景，实现高效的物体移除与孔洞填充。其核心技术包括：深度感知未见区域掩码生成，用于精准识别遮挡区域；自适应引导深度扩散（AGDD），无需额外训练即可完成初始点放置；以及基于SDEdit的细节增强，确保多视角一致性。

AuraFusion360的核心功能

• 高质量修复：在保持几何精度的前提下，显著优于现有方法，能够适应剧烈视角变化，提升整体感知质量。
• 多视图一致性保障：结合高斯点云的显式表示与扩散模型的生成能力，确保在大幅视角变化下仍能维持一致的视觉效果。
• 物体移除与高斯点云优化：可直接移除高斯点云中具有遮挡属性的物体，并通过优化未投影部分实现高质量场景修复。
• 复杂几何结构处理：适用于复杂几何结构的修复任务，能够有效应对大视角变化和显著遮挡情况。

AuraFusion360的技术原理

• 深度感知未见区域掩码生成：利用深度图变形技术识别遮挡区域，生成未见区域掩码，提升修复准确性。
• 自适应引导深度扩散（AGDD）：一种零样本方法，无需额外训练即可对齐单目深度与现有几何结构，确保几何一致性。
• 基于 SDEdit 的细节增强：通过 SDEdit 引导增强场景细节，保留参考视图信息，确保多视角一致性。
• 360-USID 数据集支持：引入首个针对360°无边界场景修复的全面数据集，包含真实标注数据。

AuraFusion360的项目资源

• 项目官网：https://kkennethwu.github.io/aurafusion360/
• Github仓库：https://github.com/kkennethwu/AuraFusion360_official
• arXiv技术论文：https://arxiv.org/pdf/2502.05176

AuraFusion360的应用领域

• 虚拟场景编辑：在VR环境中，可用于移除或替换场景中的特定物体，实现高质量修复。
• 建筑模型优化：适用于移除临时结构，提升建筑可视化效果。
• 影视特效制作：可高效修复吊索、支架等临时道具留下的空缺。
• 文物修复：在文化遗产保护中，辅助生成高质量的修复方案。