AI
Perception
Perception-as-Control是由阿里巴巴通义实验室开发的图像动画框架,支持对相机和物体运动的细粒度控制。它基于3D感知运动表示,结合U-Net架构的扩散模型,实现多种运动相关的视频合成任务,如运动生成、运动克隆、转移和编辑。通过三阶段训练策略,提升运动控制精度和稳定性,适用于影视、游戏、VR/AR、广告及教育等多个领域。
MovieDreamer
MovieDreamer是一个由浙江大学与阿里巴巴联合开发的AI视频生成框架,专为长视频设计。该框架结合自回归模型和扩散渲染技术,生成复杂的长视频内容。它支持多层次叙事一致性、高质量视觉渲染和多模态脚本,适用于电影预告片、VR叙事、教育视频和游戏内剧情等多种场景。
SeniorTalk
SeniorTalk是全球首个面向中文超高龄老年人的语音数据集,涵盖202位75岁以上老人的55.53小时语音数据,覆盖16个省市,包含多种口音。数据通过两两自发对话采集,内容贴近真实交流场景,并附有多维标注,如说话人信息、时间戳、口音分类等。该数据集可用于语音识别、说话人验证、语音编辑等研究,支持适老化设备、健康管理和辅助养老系统的开发,推动相关技术进步。
