Mini

Mini-Omni 是一个开源的端到端语音对话模型，具备实时语音输入和输出的能力，并能在对话中实现“边思考边说话”的功能。该模型设计无需额外的自动语音识别（ASR）或文本到语音（TTS）系统，直接进行语音到语音的对话。Mini-Omni 采用文本指导的语音生成方法，在推理过程中通过批量并行策略提高性能，同时保持了原始模型的语言能力。 Mini-Omni 的主要功能包括： - 实时语音交互：进行端到端的实时语音对话，无需依赖额外的 ASR 或 TTS 系统。 - 文本和语音并行生成：在推理过程中同时生成文本和语音输出，通过文本信息指导语音生成，提高语音交互的自然性和流畅性。 - 批量并行推理：采用批量并行策略，提升模型在流式音频输出时的推理能力，使语音响应更加丰富和准确。 - 音频语言建模：将连续的语音信号转换为离散的音频tokens，使大型语言模型能够进行音频模态的推理和交互。 - 跨模态理解：模型能理解和处理多种模态的输入，包括文本和音频，实现跨模态的交互能力。 Mini-Omni 技术原理： - 端到端架构：直接处理从音频输入到文本和音频输出的整个流程，无需传统的分离式 ASR 和 TTS 系统。 - 文本指导的语音生成：生成语音输出前先生成相应的文本信息，基于文本信息指导语音合成，提高语音生成的质量和自然度。 - 并行生成策略：在推理过程中同时生成文本和音频tokens，保持对文本内容的理解和推理，实现连贯和一致的对话。 - 批量并行推理：进一步提升模型的推理能力，同时处理多个输入，通过文本生成增强音频生成质量。 - 音频编码和解码：使用音频编码器（如Whisper）将连续的语音信号转换为离散的音频tokens，再通过音频解码器（如SNAC）转换回音频信号。 Mini-Omni 可应用于智能助手、客户服务、智能家居控制、教育和培训以及车载系统等多个场景。