GCDance(Genre-Controlled 3D Full Body Dance Generation Driven by Music)是由英国萨里大学与江南大学联合开发的3D舞蹈生成框架。该系统能够根据音乐和文本提示生成符合特定风格的全身舞蹈序列。通过融合预训练音乐基础模型(如Wav2CLIP)提取的高级语义特征与手工设计的音乐特征(如STFT),实现多粒度音乐特征的整合。同时,利用CLIP模型将文本提示嵌入到舞蹈生成的每个时间步中,从而实现风格可控的舞蹈生成。GCDance支持在相同音乐片段下生成多种风格的舞蹈,并确保动作与音乐节奏和旋律高度匹配。 其核心技术包括基于无分类器扩散模型的生成机制、多粒度音乐特征提取、文本特征嵌入、特征调制(FiLM)以及双流架构,以分别处理身体和手部动作,提升舞蹈表现力。此外,系统还支持对舞蹈局部进行编辑,便于用户进行定制化调整。 GCDance可应用于虚拟现实、游戏开发、舞蹈教学、音乐视频制作及智能健身等多个领域,为舞蹈创作提供高效、灵活的解决方案。
发表评论 取消回复