FunAudioLLM
FunAudioLLM是由阿里巴巴通义实验室开发的开源语音大模型项目,包含SenseVoice和CosyVoice两个子模型。SenseVoice擅长多语言语音识别和情感辨识,支持超过50种语言;CosyVoice则专注于自然语音生成,支持多种语言、音色和情感控制。该项目适用于多语言翻译、情感语音对话等场景,其相关模型和代码已公开发布。
EfficientTAM
EfficientTAM是一款由Meta AI研发的轻量级视频对象分割与跟踪模型,基于非层次化Vision Transformer(ViT)构建,通过引入高效记忆模块显著降低了计算复杂度。它能够实现高质量的视频对象分割与多目标跟踪,同时保持较低的延迟和较小的模型尺寸,特别适用于移动设备上的实时视频处理。该模型已在多个视频分割基准测试中表现出色,并支持多种应用场景,包括移动视频编辑、视频监控、增强现
Readtheirlips
Readtheirlips 是一款由 Symphonic Labs 开发的 AI 软件,主要用于通过分析视频中人物的嘴唇运动来识别和转录口语内容。它利用面部检测技术,提取并分析嘴唇的几何特征和动态变化,与训练数据进行匹配,以识别视频中人物所说的内容。该软件适用于听力受损人士、视频字幕生成、安全监控、教育和培训以及媒体和娱乐等多个场景。
