模型

Agent Laboratory

Agent Laboratory是由AMD与约翰·霍普金斯大学合作开发的基于大型语言模型的研究辅助工具,支持从文献综述到报告撰写的全流程科研任务。它具备实验设计、代码生成、结果分析等功能,并通过多代理协作和用户反馈机制提升研究质量。实验表明其可显著降低研究成本,适用于机器学习、生物医学等多个领域。

Sketch2Sound

Sketch2Sound是一种由Adobe研究院与西北大学联合开发的AI音频生成技术,通过提取响度、亮度和音高概率等控制信号,结合文本提示生成高质量音效。其轻量化设计使得模型易于适配多种文本到音频框架,同时赋予声音设计师更强的表达力与可控性,广泛适用于电影、游戏、音乐制作及教育等多个领域。

MME

MME-CoT 是一个用于评估大型多模态模型链式思维推理能力的基准测试框架,涵盖数学、科学、OCR、逻辑、时空和一般场景六大领域,包含1,130个问题,每题均附关键推理步骤和图像描述。该框架引入推理质量、鲁棒性和效率三大评估指标,全面衡量模型推理能力,并揭示当前模型在反思机制和感知任务上的不足,为模型优化和研究提供重要参考。

Astria AI

Astria是一个利用生成AI创建定制图像的平台。Astria AI允许用户上传一组主题的图像,然后根据文本提示生成新图像。

DreamGen

DreamGen是英伟达推出的机器人学习技术,基于AI视频世界模型生成合成数据,使机器人能在梦境中学习新技能。它通过微调视频世界模型、生成虚拟数据、提取虚拟动作和训练下游策略四步流程,实现机器人在新环境中的行为和环境泛化。DreamGen无需大量真实数据,仅凭文本指令即可完成复杂任务,提升学习效率和泛化能力。其支持多种机器人系统和策略架构,适用于工业生产、家庭服务、医疗护理等多个领域。

Animate Anyone

Animate Anyone是一款由阿里巴巴智能计算研究院开发的开源框架,旨在将静态图像中的角色或人物动态化。它采用扩散模型,结合ReferenceNet、Pose Guider姿态引导器和时序生成模块等技术,确保输出的动态视频具有高度一致性和稳定性。该框架支持多种应用,包括角色动态化、时尚视频合成及人类舞蹈生成,用户可通过GitHub或Hugging Face社区轻松体验。

VidTok

VidTok(Video Tokenizer)是一款由微软开发的开源视频处理工具,通过高效的算法将视频内容转化为“视频词”,支持连续与离散分词化,具有灵活的压缩率和多样的隐空间,适用于视频生成、内容建模及数据压缩等场景。其混合模型架构结合卷积与采样模块,辅以有限标量量化技术,实现了高质量视频重建与高效数据处理。

CogVideoX v1.5

CogVideoX v1.5是一款由智谱研发的开源AI视频生成工具,具备文本到视频生成、图像到视频转换等功能,支持高清视频输出及音效匹配。它通过三维变分自编码器(3D VAE)、Transformer架构等技术手段,提升了视频生成的质量与效率,适用于内容创作、广告营销、教育培训等多个领域。

DanceGRPO

DanceGRPO 是由字节跳动与香港大学联合开发的视觉生成强化学习框架,支持文本到图像、文本到视频、图像到视频等多种任务,兼容多种生成模型与奖励机制。其通过强化学习优化生成过程,提升视觉内容质量与一致性,降低显存压力,提高训练效率与稳定性,适用于视频生成和多模态内容创作。