语音

SadTalker

SadTalker是一个由西安交通大学、腾讯AI实验室和蚂蚁集团合作开发的开源AI数字人项目。该工具利用单张人脸图像和语音音频,通过3D运动系数生成逼真的说话人脸动画。它通过ExpNet精确学习面部表情,PoseVAE合成不同风格的头部运动,并采用3D面部渲染技术,实现高质量、风格化的视频动画。SadTalker还具备多语言支持和多模态学习能力,适用于虚拟助手、视频制作、语言学习、社交媒体和教育等

灵伴科技Rokid

也和称Rokid,2014年成立,总部在杭州,创始人是前阿里巴巴M工作室负责人祝铭明,是一家专注于AI与AR技术的杭州高科技公司。

Gemma 3n

Gemma 3n 是谷歌 I/O 开发者大会推出的端侧多模态 AI 模型,基于 Gemini Nano 架构,采用逐层嵌入技术,将内存占用压缩至 2-4B 参数模型水平。支持文本、图像、短视频和音频输入,可生成结构化文本输出,并具备音频转录、情感分析等功能。可在本地设备运行,响应时间低至 50 毫秒,适用于语音助手、内容生成和学术任务定制。

海豚配音

一款集逼真效果、丰富音色和细腻情感于一体的全能AI配音平台。拥有超过500种栩栩如生的真人音色和1000多种独具特色的二次元音色。

Enhance Speech

一款由 Adobe 出品的录音增强工具,可以去除音频背景噪音,让语音或者录音听起来就像在专业录音室中录制一样,使音频具有专业录音室品质录音的干净、专业的声音。

covers.ai

covers.ai是一款基于AI技术的音乐创作平台,提供AI语音生成与AI歌曲生成功能。用户可通过简单操作,如演唱或哼唱,由AI自动完成音乐制作,生成个性化歌曲。平台支持多种音乐风格,并允许用户自定义声音效果,适合音乐爱好者、初学者及创作者使用。其操作便捷、创意性强,有助于激发音乐灵感并提升创作效率。

EasyVideoTrans

EasyVideoTrans是一款开源的AI视频翻译工具,支持从视频中提取音频并翻译字幕,同时提供多样化的声音风格以实现自然的配音效果。它适用于视频创作者、教育机构、企业培训及品牌宣传等领域,能够快速生成高质量的中文版本视频,满足跨语言沟通的需求。

OmniAudio

OmniAudio-2.6B是一款专为边缘设备设计的高性能音频语言模型,具备语音识别、转录、问答、对话生成及内容创作等核心功能。其技术优势在于多模态架构的高效集成、稀疏性利用以及三阶段训练流程,支持FP16和Q4_K_M量化版本,确保在资源受限的环境下仍能稳定运行。OmniAudio-2.6B可应用于智能助手、车载系统、会议记录、教育和医疗等多个领域,为用户提供便捷、高效的语音交互体验。

Lemon Slice Live

Lemon Slice Live 是一款基于扩散变换器模型(DiT)的实时视频聊天工具,可将图片转化为可互动的动画角色,支持多语言和实时对话。通过优化模型提升流畅度与响应速度,适用于娱乐、教育、营销等多种场景,结合语音识别、文本生成等技术,提供完整的交互体验。

VoiceCraft

VoiceCraft是一款开源的神经编解码器语言模型,专攻零样本语音编辑和文本到语音(TTS)任务。它采用Transformer架构,通过token重排过程结合因果掩蔽和延迟叠加技术,实现在现有音频序列内高效生成自然的语音。VoiceCraft在多种口音、风格和噪声条件下表现出色,适用于有声读物制作、视频内容创作、播客音频编辑及多语言内容生产等场景。