模型

NotaGen

NotaGen 是由多所高校联合研发的音乐生成模型,基于预训练、微调和强化学习技术,可生成高质量古典乐谱。支持通过“时期-作曲家-乐器”等条件控制音乐风格,具备高度音乐性与可控性。采用 CLaMP-DPO 方法优化生成质量,无需人工标注。适用于音乐创作、教育、影视配乐等多种场景,提供多种模型规模选择,满足不同需求。

LAM

LAM是由微软开发的大型行动模型,能够理解和执行真实世界中的操作任务。它不仅能解析用户输入,还能生成具体行动指令,如启动程序或控制设备。LAM在Office等Windows应用中表现出色,任务完成率高于GPT-4。具备多模态输入理解、动态规划、环境交互和自主执行能力,适用于办公自动化、智能家居、客户服务等多个场景,显著提升任务执行效率和智能化水平。

NVILA

NVILA是一款由NVIDIA开发的视觉语言模型,通过“扩展-压缩”策略优化处理高分辨率图像和长视频,兼具效率与准确性。它在图像和视频基准测试中表现优异,支持时间定位、机器人导航和医疗成像等应用场景,并通过参数高效微调和量化技术提升模型性能。未来将在GitHub和HuggingFace平台上开源。

Animate Anyone 2

Animate Anyone 2 是由阿里巴巴通义实验室开发的高保真角色动画生成技术,能基于输入图像和运动信号生成高质量、自然流畅的角色动画。通过环境感知、形状无关掩码策略、物体交互增强等技术,实现角色与环境的深度融合,提升动画的真实感与稳定性。支持复杂动作处理、多角色互动及跨身份动画生成,适用于影视、广告、VR/AR、游戏及教育等多个领域。

In

In-Context LoRA是一种基于扩散变换器(DiTs)的图像生成框架,通过微调少量数据实现多样化图像生成任务。它无需修改原始模型结构,减少了对大规模标注数据的依赖,同时保持了高质量的生成效果。该工具支持多任务图像生成、上下文学习能力、任务无关性以及条件图像生成等功能,适用于故事板生成、字体设计、家居装饰等多个领域。

Lumina

Lumina-Image 2.0 是一款开源图像生成模型,基于扩散模型与 Transformer 架构,具有 26 亿参数。它能根据文本描述生成高质量、多风格的图像,支持中英文提示词,并具备强大的复杂提示理解能力。模型支持多种推理求解器,适用于艺术创作、摄影风格图像生成及逻辑推理场景,兼具高效性和灵活性。

WebSSL

WebSSL是由Meta和纽约大学等机构开发的视觉自监督学习模型,基于大规模网络图像数据训练,无需语言监督即可学习有效视觉表示。其包含多个变体,参数规模从3亿到70亿不等,在多模态任务如视觉问答、OCR和图表理解中表现出色。通过筛选含文本图像数据,显著提升特定任务性能。模型具备良好的扩展性,适用于智能客服、文档处理、医疗影像分析等多个领域。

DNA-RENDERING数字人库

DNA-Rendering是一个具有高多样性和高保真度的神经演员渲染库,它为广泛的研究任务提供了丰富的数据和高质量的注释。

Google Bard

Google 推出的一款对话式AI工具,Bard 可以帮助您完成各种任务,例如编写、编码、调试和解释代码。您还可以与 Bard 进行有趣的对话,探索它的创造力和幽默感。

CineMaster

CineMaster是快手推出的3D感知视频生成框架,支持通过文本提示及深度图、相机轨迹等控制信号生成高质量视频内容。其核心功能包括3D物体与摄像机控制、交互式设计、自动化数据标注和高质量视频输出。采用两阶段工作流程与扩散模型技术,结合语义布局控制网络与摄像机适配器,提升视频生成的精确度与灵活性。适用于影视制作、广告营销、游戏开发等多个领域。