学习

ParGo

ParGo是一种由字节与中山大学联合开发的多模态大语言模型连接器,通过结合局部与全局token,提升视觉与语言模态的对齐效果。其核心模块PGP和CPP分别提取图像的局部和全局信息,增强细节感知能力。在多个基准测试中表现优异,尤其在文字识别和图像描述任务中优势明显。采用自监督学习策略,提高模型泛化能力,适用于视觉问答、图像字幕生成、跨模态检索等多种场景。

Goku

Goku是由香港大学与字节跳动联合开发的AI视频生成模型,支持文本到图像、文本到视频、图像到视频等多种生成方式。其核心优势在于高质量的视频输出、低制作成本及多模态生成能力。Goku+作为扩展版本,专注于广告视频创作,具备稳定的动作表现和丰富的表情交互。模型基于大规模数据集和先进架构,适用于广告、教育、娱乐等多个领域,提升了内容创作效率与质量。

PhotoMaker

PhotoMaker V2是腾讯推出的一款AI图像生成框架,能够快速生成逼真的人物照片。它在角色的一致性和可控性上取得了显著进步,用户可以通过文本指令进行精准控制。该工具利用深度学习技术和生成对抗网络(GANs),能够将文本描述转化为图像,并通过集成脚本增强生成过程的个性化和可控性。PhotoMaker V2广泛应用于游戏开发、电影制作、广告、社交媒体、艺术创作和教育等领域。

COMET

COMET是字节跳动开发的Mixture-of-Experts(MoE)模型优化系统,通过细粒度计算-通信重叠技术和自适应负载分配机制,显著提升分布式训练效率。它在大规模模型中实现单层1.96倍、端到端1.71倍的加速,具备强鲁棒性与泛化能力,支持多种硬件环境和并行策略,核心代码已开源并可无缝集成至主流训练框架。

Self

Self-Taught Evaluators是一种无需人工标注数据的模型评估框架,通过自我训练方式增强大型语言模型(LLM)的评估能力。其核心在于利用LLM生成对比输出并进行迭代优化,显著提升了模型评估的准确性,达到了与顶级奖励模型相媲美的效果,广泛适用于语言模型开发、内容评估、教育科研以及技术支持等领域。

ART

ART(Anonymous Region Transformer)是一种新型多层透明图像生成技术,支持基于全局文本提示和匿名区域布局生成多个独立透明图层(RGBA格式)。通过逐层区域裁剪机制,显著提升生成效率,速度快于传统方法12倍以上。具备高质量自编码器,支持50层以上的图像生成,减少图层冲突。广泛应用于艺术设计、内容创作、广告营销及科研等领域。

Etna模型

一个文字转视频的AIGC模型,Etna能够根据简短的文本描述生成相应的视频内容,支持生成时长为8-15秒的视频,且视频流畅度极高,每秒可达60帧。

FlexiAct

FlexiAct是由清华大学与腾讯ARC实验室联合研发的动作迁移模型,可在空间结构差异较大的场景下实现精准动作迁移,并保持目标主体的外观一致性。其核心模块包括轻量级RefAdapter和频率感知动作提取(FAE),有效提升跨主体动作迁移的灵活性与准确性。该模型适用于影视、游戏、广告等多个领域,具有良好的应用前景。

SigStyle

SigStyle是一款由多所高校与Adobe合作开发的签名风格迁移框架,能将单张风格图像的视觉特征(如几何结构、色彩和笔触)精准迁移到目标图像,同时保持内容的语义和结构。其核心技术基于个性化文本到图像扩散模型,结合超网络和时间感知注意力交换技术,实现高效且高质量的风格迁移。支持多种应用场景,如艺术创作、时尚设计、影视制作等,具备灵活性和广泛适用性。

Topaz Video AI 4

一家为专业人士提供基于人工智能的照片和视频增强软件的公司。他们的软件利用深度学习来提高图像质量,包括降噪、锐化、提升分辨率等功能。