GeneMAN

GeneMAN是由上海AI实验室、北京大学、南洋理工大学以及上海交通大学联合研发的3D人形创建框架，能够从单一图像中生成高精度的3D人体模型。该框架不依赖传统的参数化人体模型，而是通过多源高质量的人类数据集，包括3D扫描、多视角视频、单张照片和合成数据，训练出专门针对人类的2D和3D先验模型。GeneMAN采用几何初始化、雕刻流程以及多空间纹理细化技术，旨在从复杂的自然环境图像中提取高质量的3D人体模型，无论图像中的人体比例、姿势或服装如何变化。 GeneMAN的核心技术包括基于2D和3D人类先验模型的训练，利用文本到图像扩散模型生成2D先验，以及使用视图条件扩散模型生成3D先验。其几何初始化过程采用无模板的NeRF技术，并通过结合先验与结构化差异损失（SDS损失），引导几何初始化。此外，GeneMAN还通过高分辨率细化、多空间纹理细化等方法进一步提升模型的细节表现力。 GeneMAN计划开源其代码，并已发布相关技术论文供学术界参考。该工具适用于多个领域，如虚拟试衣、游戏开发、AR/VR应用、时尚设计及健身健康管理。