MDM

Matryoshka Diffusion Models (MDM) 是由苹果公司的研究团队提出的一种创新性扩散模型框架，旨在应对生成高分辨率图像和视频时所面临的计算与优化难题。该模型基于多分辨率联合去噪的扩散机制，采用嵌套UNet架构，使小尺度模型能够嵌套于大尺度模型之中，从而实现跨尺度特征共享，并支持从低分辨率到高分辨率的渐进式训练方法。这种设计显著提升了高分辨率生成任务的优化效率，在多个基准测试中表现出色，例如在ImageNet数据集上的分类条件图像生成以及高分辨率的文本到图像和文本到视频应用。MDM能够训练出高达1024×1024像素分辨率的空间模型，并且在有限的数据集上展现出强大的零样本泛化能力。