扩散模型
Matryoshka Diffusion Models
Matryoshka Diffusion Models (MDM) 是一种由苹果公司开发的创新扩散模型,专为生成高分辨率图像和视频而设计。通过多尺度扩散机制与NestedUNet架构,MDM实现了高效的信息共享与渐进式训练,显著提升了模型的训练效率与生成质量。该模型适用于资源受限的环境,可减少训练步骤并保持生成图像的细节与清晰度。其主要功能包括高分辨率图像生成、多分辨率处理、特征共享以及渐进式训练
CustomVideoX
CustomVideoX是一种基于视频扩散变换器的个性化视频生成框架,能够根据参考图像和文本描述生成高质量视频。其核心技术包括3D参考注意力机制、时间感知注意力偏差(TAB)和实体区域感知增强(ERAE),有效提升视频的时间连贯性和语义一致性。支持多种应用场景,如艺术设计、广告营销、影视制作等,具备高效、精准和可扩展的特点。
PersonaCraft
PersonaCraft是一种结合扩散模型和3D人体建模的全身图像合成技术,能够从单一参考图像生成多个逼真的个性化全身图像。它支持遮挡处理、用户自定义身体形状,并通过3D感知姿态条件控制提高生成图像的质量。该工具广泛应用于社交媒体、广告、时尚、游戏及电影等领域,为个性化定制提供了强大的技术支持。
RegionDrag
RegionDrag是一种基于区域的图像编辑技术,由香港大学和牛津大学联合开发。该技术利用扩散模型,让用户通过定义手柄区域和目标区域来实现快速且精确的图像编辑。RegionDrag在单次迭代中完成编辑任务,显著减少编辑时间,同时采用注意力交换技术增强编辑的稳定性和自然性。主要应用领域包括数字艺术与设计、照片编辑、虚拟现实、游戏开发以及电影和视频制作等。