ViTPose

ViTPose 是一种基于 Transformer 架构的人体姿态估计模型。该模型采用标准的视觉 Transformer 作为主干网络，通过将输入图像分割为多个图像块（patches），并将其送入 Transformer 模块进行特征提取。随后，解码器将提取到的特征转换为热图，从而实现对关键点的精准定位。ViTPose 提供了多种版本，如 ViTPose-B、ViTPose-L 和 ViTPose-H，以满足不同场景下的需求。在 MS COCO 等数据集上表现优异，展示了视觉 Transformer 在姿态估计任务中的潜力。ViTPose+ 进一步扩展至动物姿态估计等任务，提升了模型的适用性与性能。 ViTPose 的架构设计简洁，易于实现和扩展。其支持多种参数规模调整，适应不同计算资源需求。同时，模型具备高度灵活性，支持多样化的训练策略和输入配置。此外，ViTPose 还具备知识迁移能力，可通过知识令牌将大模型的知识迁移到小模型中，提升整体性能。 ViTPose 技术原理包括视觉 Transformer 的使用、特征提取、热图生成以及模型迁移机制。其解码器提供两种方式：标准解码器和简单解码器，分别采用转置卷积和双线性插值方法生成热图。ViTPose 在多个姿态估计任务中达到了当前最优水平。 项目代码和论文可访问 GitHub 仓库和 arXiv 获取更多信息。