模型
Open Avatar Chat
Open Avatar Chat是阿里开源的模块化实时数字人对话系统,支持低延迟交互与多模态输入输出。系统采用模块化架构,允许灵活配置语音识别、语言模型和语音合成等组件,兼容本地与云服务。支持2D/3D数字人渲染,适用于客户服务、教育、娱乐及企业应用等多个场景,为开发者提供高效、灵活的AI对话解决方案。
RelightVid
RelightVid是一款基于时序一致性扩散模型的视频重照明工具,由多所高校和研究机构联合开发。它支持通过文本提示、背景视频或HDR环境贴图对视频进行细粒度和一致的场景编辑,具备全场景和前景保留重照明功能。该模型在预训练图像照明编辑框架基础上扩展,引入时序层提升视频重照明效果,并结合真实视频与3D渲染数据生成高质量数据对。RelightVid在保持时序一致性和照明细节方面表现突出,适用于影视制作、
VideoRefer
VideoRefer是由浙江大学与阿里达摩院联合开发的视频对象感知与推理系统,基于增强型视频大型语言模型,实现对视频中对象的细粒度理解与分析。其核心包括大规模视频数据集、多功能空间-时间编码器和全面评估基准,支持对象识别、关系分析、推理预测及多模态交互等功能,适用于视频剪辑、教育、安防、机器人控制和电商等多个领域。
