模型

Long

Long-VITA是一款由腾讯优图实验室、南京大学和厦门大学联合开发的多模态AI模型,支持处理超长文本(超过100万tokens)及多模态输入(图像、视频、文本)。通过分阶段训练提升上下文理解能力,结合动态分块编码器与并行推理技术,实现高效处理长文本和高分辨率图像。模型基于开源数据训练,适用于视频分析、图像识别、长文本生成等场景,性能在多个基准测试中表现突出。

TIGER

TIGER是由清华大学研发的轻量级语音分离模型,采用时频交叉建模策略与多尺度注意力机制,有效提升语音分离性能,同时显著降低计算和参数开销。模型通过频带切分优化资源利用,适应复杂声学环境,广泛应用于会议记录、视频剪辑、电影音频处理及智能语音助手等领域。

Valley

Valley是一款由字节跳动开发的多模态大语言模型,擅长处理文本、图像和视频数据,广泛应用于内容分析、图像和视频描述、电子商务及短视频平台等领域。其Eagle版本通过引入VisionEncoder增强了模型性能,支持灵活调整令牌数量,实现了更高效的多模态数据处理。Valley在多项基准测试中表现出色,尤其在参数规模较小的情况下依然保持优异的成绩。

Motion Prompting

Motion Prompting 是一种利用点轨迹表示的视频生成技术,支持对象控制、相机控制及物理现象模拟等功能。它通过将用户输入转化为详细的运动轨迹,结合预训练的视频扩散模型与控制网络,在保持灵活性的同时提高生成质量。这项技术广泛应用于电影制作、游戏开发、虚拟现实等领域,为用户提供了强大的交互式视频生成工具。 ---

NMT

NMT是一种由UC Berkeley和阿里巴巴联合开发的多任务学习框架,通过将多任务优化问题转化为约束优化问题,实现高优先级任务性能的保障。它基于拉格朗日乘数法,结合梯度下降与上升算法,简化了超参数调整流程,提高了模型训练效率和稳定性。NMT适用于推荐系统、搜索引擎、自然语言处理和金融风控等多个领域,具有良好的兼容性和扩展性。

Playmate

Playmate是由广州趣丸科技开发的人脸动画生成框架,基于3D隐式空间引导扩散模型和双阶段训练框架,能够根据音频和指令精准控制人物表情和头部姿态,生成高质量动态肖像视频。其支持情感控制、姿态控制和独立控制,可生成多种风格的动态肖像,适用于影视制作、游戏开发、虚拟现实、互动媒体及教育等多个领域。

FramePack

FramePack 是斯坦福大学推出的开源 AI 视频生成模型,通过帧上下文打包和抗漂移采样技术,实现高效、稳定的视频生成。其仅需 6GB 显存即可运行,支持实时高清视频生成,具备灵活的调度策略,适用于多种应用场景,如短视频制作、游戏开发、教育与广告等,显著降低了视频生成的硬件门槛。

XGrammar

XGrammar 是一款由陈天奇团队开发的开源工具,旨在为大型语言模型提供高效的结构化数据生成能力。它基于上下文无关语法(CFG),支持生成 JSON 和 SQL 等格式的复杂数据结构,具备字节级下推自动机优化、自适应 token 掩码缓存以及上下文扩展等功能,能够显著提升生成效率并减少延迟,适用于编程语言辅助、数据库操作、自然语言处理、Web 开发等多个领域。

Open NotebookLM

Open NotebookLM是一个开源工具,能够将PDF文档转换为播客形式的音频内容。它基于Llama 3.1 405B、MeloTTS和Bark等先进AI模型,生成自然流畅的对话式音频,并支持多语言及个性化音调设置。用户可通过简单易用的Gradio界面上传PDF文件并下载MP3格式的音频文件,适用于教育、科研、商业分析等多个领域。

交小智

交小智是西安交通大学推出的AI应用平台,支持用户零代码创建智能体,适用于教学、科研和校园生活等多种场景。平台集成多种大模型,具备知识库管理、插件扩展、API接口等功能,可定制问答机器人、科研助手、校园服务工具等。用户可发布智能体并与其他系统集成,提升工作效率与服务体验。