ORM

Natural Language Playlist

Natural Language Playlist 探索语言和音乐之间丰富而复杂的关系,并使用 Transformer 语言模型构建播放列表。由于没有更好的术语,音乐推荐是一种“闭门造车”的东西。

V-JEPA

创新的自监督学习模型,它通过预测视频帧的特征表示来学习视频的视觉表示。这种方法不仅能够处理视频内容,还能在图像任务上表现出色,具有广泛的应用潜力。

GameGen

GameGen-O 是一款基于 Transformer 架构的AI工具,专注于开放世界游戏视频的生成。它具备角色生成、环境构建、动作模拟及交互式控制等功能,通过两阶段训练方法提升了生成质量和灵活性,可应用于游戏原型设计、场景生成及开发辅助等领域,有助于降低开发成本并提高创作效率。

GENERator

GENERator是阿里云飞天实验室开发的生成式基因组基础模型,基于Transformer解码器架构,具备98k碱基对的上下文长度和120亿参数。它能生成具有生物学意义的DNA序列,应用于蛋白质家族设计、启动子优化、基因组分析及合成生物学等领域。模型通过大规模数据预训练,并经过生物学验证,展现出强大的序列生成与优化能力。

豆包Seaweed

豆包Seaweed是一款基于Transformer架构的AI视频生成工具,支持文生视频和图生视频模式,能够生成高逼真度、细节丰富的视频内容,广泛应用于电商、文旅、教育等领域,大幅降低视频制作门槛,提升创作效率。

LongLLaVA

LongLLaVA是由香港中文大学(深圳)研究团队开发的多模态大型语言模型,结合Mamba和Transformer模块,利用2D池化技术压缩图像token,大幅提升处理大规模图像数据的效率。该模型在视频理解、高分辨率图像分析及多模态代理任务中表现优异,特别擅长检索、计数和排序任务。其技术亮点包括渐进式训练策略和混合架构优化,支持多种多模态输入处理,广泛应用于视频分析、医学影像诊断、环境监测等领域。

Hunyuan3D

Hunyuan3D-1.0 是腾讯推出的一款3D生成模型,支持文本和图像输入生成高质量3D资产。该模型采用两阶段方法,包含轻量版和标准版,具有快速生成和高质量重建的特点,广泛应用于3D创作、工业设计、建筑设计等领域。

Florence

Florence-2是微软Azure AI团队研发的多功能视觉模型,支持图像描述、目标检测、视觉定位和图像分割等功能。该模型基于Transformer架构,采用序列到序列学习方法,利用自注意力机制实现多模态信息融合。通过训练大规模数据集,Florence-2在多个应用场景中表现出色,包括图像和视频分析、内容审核、辅助驾驶、医疗影像分析以及零售和库存管理。

Faster Whisper

Faster Whisper 是一款基于 OpenAI Whisper 模型的高效语音识别工具,利用 CTranslate2 引擎显著提升转写速度并降低内存消耗。它支持多语言处理,可应用于实时语音转写、视频字幕生成、客户服务、医疗记录等领域。其核心技术包括 8 位量化、语音活动检测(VAD)及模型优化,同时提供灵活的 API 接口供开发者集成。