多模态
AndroidLab
AndroidLab 是一款面向 Android 自主代理的训练与评估框架,集成了文本和图像模态操作环境,提供标准化的基准测试任务。它通过支持多种模型类型(LLMs 和 LMMs),覆盖九个应用场景的 138 项任务,有效提升了开源模型的性能。此外,AndroidLab 提供了丰富的评估指标和操作模式,助力研究者优化模型表现并推动开源解决方案的发展。
Realtime API
Realtime API是一款由OpenAI研发的低延迟、多模态对话式API,支持文本与音频输入输出,具备实时语音处理、自然语音合成及多模态交互等功能。通过WebSocket协议实现持久连接,支持事件驱动的交互模式,适用于客户服务、语言学习、游戏娱乐等多种应用场景。
AgentRefine
AgentRefine 是由北京邮电大学与美团联合开发的智能体合成框架,采用“精炼调整”方法提升基于大语言模型的智能体在多样化任务中的泛化能力。它通过轨迹中的观察实现错误纠正与自我优化,增强智能体在复杂环境中的适应性和鲁棒性。该框架支持多样化推理路径,广泛应用于自动化决策、游戏 AI、代码生成及自然语言处理等领域。
日日新SenseNova V6
日日新SenseNova V6是商汤科技推出的第六代多模态大模型,基于6000亿参数架构,支持文本、图像、视频的原生融合。具备强推理、长记忆与情感表达能力,适用于视频分析、教育辅导、智能客服、具身智能等多个领域,提升交互体验与内容处理效率。