音频

MultiTalk

MultiTalk是由中山大学深圳校区、美团和香港科技大学联合推出的音频驱动多人对话视频生成框架。它根据多声道音频输入、参考图像和文本提示,生成包含人物互动且口型与音频一致的视频。通过Label Rotary Position Embedding (L-RoPE) 方法解决多声道音频与人物绑定问题,并采用部分参数训练和多任务训练策略,保留基础模型的指令跟随能力。MultiTalk适用于卡通、歌唱及

Adobe Premiere Pro

基于文本的AI视频编辑,支持语音转录功能, 自动生成文字稿,简化视频剪辑流程,像编辑文本文档一样编辑视频。

MuCodec

MuCodec是一款由清华大学等机构联合研发的超低比特率音乐编解码工具,具备音乐压缩、特征提取、离散化处理及流匹配重建等功能。该工具能够有效压缩音乐文件,在极低比特率下仍能保证高保真度,适用于多种应用场景如在线音乐流媒体服务、音乐下载、语言模型构建以及移动设备优化等。

M2UGen

M2UGen是由腾讯PCG ARC实验室与新加坡国立大学共同研发的一款多模态音乐理解和生成框架,支持从文本、图像、视频等多种模态输入生成相应音乐。它具有强大的音乐理解能力、灵活的音乐编辑功能以及多样化的应用场景,适用于音乐制作、影视配乐、音乐教育等多个领域。凭借其创新的技术架构和卓越的表现力,M2UGen已成为当前最优秀的多模态音乐生成工具之一。

NovaVSS

影视音轨分离工具,搭载专为电影电视训练的最强影视音轨分离AI模型,可一键从电影电视中提取人声、音乐、特效声。

AssemblyAI

一个提供将音频文件、视频文件和实时语音转录为文字的平台,提供了一个简单的API,允许用户访问用于转录和语音理解的即可用的AI模型。

Speech Studio

Speech Studio是一套用于构建和集成Azure认知服务语音服务功能到应用程序中的工具。它为创建项目提供了一种无需代码的方法,可以访问诸如实时语音到文本、自定义语音识别模型、发...

VoiceDub

VoiceDub 是一款AI驱动的音频处理平台,支持人声替换、声音克隆、文本转语音及音频分离等功能,提供超过10,000种AI人声音色。用户可通过平台进行音乐创作、有声内容制作及个性化音频生成,适用于多种应用场景,如语言学习、娱乐互动等。

Audio Decomposition

Audio Decomposition 是一款基于傅里叶变换和信封匹配技术的开源音频处理工具,能够分离音乐中的不同乐器声音并生成乐谱。它支持音乐转录、教育、制作及分析,通过深度音频处理为用户提供了强大的音乐解析能力。

问问小宇宙

即刻App推出的一项基于小宇宙的AI搜索功能。它主要专注于声音内容的深度挖掘,不同于传统的文字搜索,为用户提供了一种新的获取信息和知识的方式。