LBM

LBM是什么

LBM（Latent Bridge Matching）是由Jasper Research团队开发的一种新型图像到图像转换框架。该方法通过在潜在空间中构建桥接匹配，实现高效且快速的图像转换。LBM仅需一次推理即可完成任务，适用于多种图像处理场景，如目标移除、重打光、深度和法线图生成等。其核心机制是利用布朗桥在源图像与目标图像之间建立随机路径，从而增强样本多样性。此外，条件框架支持可控的阴影生成和图像重光照，使模型具备更高的灵活性和实用性。LBM在多个任务中表现出色，性能优于或达到现有方法的最优水平。

LBM的主要功能

• 目标移除：能够从图像中移除特定对象及其相关阴影，同时保持背景完整。
• 图像重光照：根据指定的光照条件重新照亮图像，去除现有阴影和反射。
• 图像修复：将退化的图像还原为高质量图像，提升视觉效果。
• 深度/法线图生成：将输入图像转换为深度图或法线图，用于3D重建等任务。
• 可控阴影生成：根据光源信息生成符合实际的阴影，提升图像真实感。

LBM的技术原理

• 潜在空间编码：将图像映射到低维潜在空间，降低计算复杂度并提高模型扩展性。
• 布朗桥（Brownian Bridge）：在潜在空间中建立连接源图像与目标图像的随机路径，提升生成多样性。
• 随机微分方程（SDE）：通过求解SDE预测路径上的潜在表示，实现图像转换。
• 条件框架：引入额外条件变量，如光照信息，实现可控的图像重光照和阴影生成。
• 像素损失：使用如LPIPS等指标优化模型，确保输出图像与目标的一致性。

LBM的项目地址

• 项目官网：https://gojasper.github.io/latent-bridge-matching/
• GitHub仓库：https://github.com/gojasper/LBM
• arXiv技术论文：https://arxiv.org/pdf/2503.07535
• 在线体验Demo：https://huggingface.co/spaces/jasperai/LBM_relighting

LBM的应用场景

• 普通用户：可用于日常照片编辑、老照片修复和光照调整。
• 摄影爱好者：支持后期处理，增强图像真实感。
• 平面设计师：可生成深度图和法线图，辅助创意设计。
• 视频编辑师：用于视频帧修复和光照调整。
• 3D建模师：可从图像生成深度和法线图，辅助3D建模。