音频

OmniHuman

OmniHuman是字节跳动推出的多模态人类视频生成框架,基于单张图像和运动信号生成高逼真视频。支持音频、姿势及组合驱动,适用于多种图像比例和风格。采用混合训练策略和扩散变换器架构,提升生成效果与稳定性,广泛应用于影视、游戏、教育、广告等领域。

绘声美音

绘声美音是一款集声音克隆、AI变声、文字转语音及多种音频处理功能于一体的在线工具,用户可通过微信公众号便捷使用。支持上传语音训练专属声纹模型,进行歌曲翻唱并生成MV,同时提供变声、音频提取、听歌识曲等功能,适用于娱乐、配音、创作等多种场景。

SyncAnimation

SyncAnimation是一款基于音频驱动的实时动画生成框架,能够生成与音频同步的上半身姿态和面部表情,包括嘴唇动作。采用NeRF技术,结合音频到姿态和表情的同步模块,实现实时渲染与高精度动画生成。支持多种推理方式,具备高同步性和自然表现力,适用于虚拟主播、视频会议、动画制作、游戏开发及智能客服等多个领域。

Whisper Input

Whisper Input 是一款开源语音输入工具,基于 Python 和 OpenAI Whisper 模型开发,支持多语言语音识别与实时转录。用户可通过快捷键操作录音并生成文本,具备翻译、自动标点、高效处理及本地运行等功能。适用于会议记录、教育、智能交互及媒体制作等多种场景。

EMO2

EMO2是一种由阿里巴巴智能计算研究院开发的音频驱动头像视频生成技术,通过音频输入和静态人像照片生成高质量、富有表现力的动态视频。其核心技术包括音频与手部动作的协同建模、扩散模型生成视频帧,以及高精度音频同步。该工具支持多样化动作生成,适用于虚拟现实、动画制作和跨语言内容创作等场景,具备自然流畅的视觉效果和丰富的应用场景。

Jellypod

Jellypod 是一款基于 AI 的播客制作工具,支持从网页、PDF 等多种格式自动生成脚本并转为音频,涵盖 30 多种语言和口音。用户可自定义 AI 主持人,编辑脚本并一键发布到主流平台,具备高质量音频生成与内容管理功能,适用于企业、教育和个人品牌建设等场景。

NovaMSS

NovaMSS是一款基于AI技术的音乐源分离工具,可精准分离人声、伴奏、贝斯、鼓点等音轨。支持多种音频格式和批量处理,操作简便,适用于音乐制作、音频修复及教学资源开发等多种场景。提供普通与专业模型,满足不同用户的音质需求,适合创作者和音乐爱好者使用。

T2A

T2A-01-HD是一款支持声音克隆与多语言合成的AI语音模型,可精准还原原声特征与情感表达。具备智能情感系统、多语言支持及高级参数控制功能,适用于有声读物、影视配音、教育、语言学习等多种场景,提供高质量、个性化的语音输出。

RealtimeSTT

RealtimeSTT是一款开源的实时语音转文本库,具备高精度语音活动检测、GPU加速的实时转录能力以及语音唤醒功能。支持多语言识别,适用于语音助手、会议记录、实时字幕等场景,提供灵活的音频输入与预处理机制,便于开发者快速集成和扩展。

Kokoro

Kokoro-TTS是一款由hexgrad开发的轻量级文本转语音工具,基于StyleTTS 2与ISTFTNet架构,支持多种语音风格和自然语调,具备实时处理能力。支持美式与英式英语,提供10种语音包,适用于教育、游戏、客服等多种场景。支持本地部署与API集成,确保数据安全与高效运行。