模型

UniTok

UniTok是由字节跳动联合高校研发的统一视觉分词器,支持视觉生成与理解任务。其采用多码本量化技术,将视觉特征分割并独立量化,显著提升离散token的表示能力。在ImageNet上实现78.6%的零样本分类准确率,图像重建质量达0.38。可作为多模态大语言模型的视觉输入模块,广泛应用于图像生成、视觉问答、内容创作及跨模态检索等场景。

LayerDiffusion

LayerDiffusion是一种创新的AI工具,利用大规模预训练的潜在扩散模型生成具有透明度的图像。该技术引入了“潜在透明度”的概念,将图像的alpha通道透明度信息编码到潜在空间中。LayerDiffusion不仅可以生成单个透明图像,还能生成多个透明图层,支持条件控制生成和图层内容结构控制,确保高质量的图像输出。此外,它还能够生成多个透明图层,并通过共享注意力机制和低秩适应确保图层间的和谐混

Haiper AI

一家专注于视觉内容创作的生成式AI解决方案的人工知智能公司, Haiper AI的使命就是开发将文本和图片转换为动态视频或3D的模型。

STIV

STIV是一款由苹果公司开发的视频生成大模型,具有8.7亿参数,擅长文本到视频(T2V)及文本图像到视频(TI2V)任务。它通过联合图像-文本分类器自由引导(JIT-CFG)技术提升生成质量,并结合时空注意力机制、旋转位置编码(RoPE)及流匹配训练目标优化性能。STIV支持多种应用场景,包括视频预测、帧插值、长视频生成等,适用于娱乐、教育、广告及自动驾驶等多个领域。

SepLLM

SepLLM是由香港大学与华为诺亚方舟实验室等机构联合开发的高效大语言模型框架,通过压缩段落信息和优化注意力机制,显著提升推理速度与计算效率。其支持处理超长序列(达400万标记),具备低KV缓存占用、高推理速度及多节点分布式训练能力。适用于长文本处理、流式应用、资源受限环境及多语言研究等多个场景,具有良好的部署灵活性和扩展性。

GameNGen

GameNGen是谷歌推出的一款AI游戏引擎,它能够以每秒20帧的速度实时生成高质量的DOOM游戏画面,使大多数玩家难以分辨真假。该工具无需编程,简化了开发流程,同时具备高逼真度和交互式体验,为游戏创作提供了新的可能性。除了游戏开发,它还能应用于虚拟现实、自动驾驶等多个领域,具有广泛的应用前景。

DeerFlow

DeerFlow 是字节跳动推出的开源研究框架,结合语言模型与多种工具,支持高效完成复杂研究任务。具备多Agent架构,支持自然语言交互与智能协作,适用于研究报告、播客、演示文稿等内容生成。支持多种语言模型和外部工具集成,提供灵活配置与扩展能力,广泛应用于学术、市场、教育及个人知识管理等领域。

3DFY

3DFY是一种人工智能驱动的 3D 生成工具,无需手动创建、输入文本、图像提示即可创建可扩展的高质量3D模型。

DL4J

DL4J开源的使用JVM部署和训练...