注意力机制

xLAM

xLAM 是 Salesforce 开源的一款大型语言模型,专为功能调用任务设计。该模型具备多语言支持、预训练模型、迁移学习、自然语言处理等主要功能,并基于 Transformer 架构实现。它在多个基准测试中表现出色,适用于自动化任务、模板共享、插件开发和教育等多个应用场景。

MV

MV-Adapter是一款基于文本到图像扩散模型的多视图一致图像生成工具,通过创新的注意力机制和条件编码器,实现了高分辨率多视角图像生成。其核心功能包括多视图图像生成、适配定制模型、3D模型重建以及高质量3D贴图生成,适用于2D/3D内容创作、虚拟现实、自动驾驶等多个领域。

DuoAttention

DuoAttention是由MIT韩松团队提出的新型框架,通过区分“检索头”和“流式头”两种注意力机制,显著提升了大型语言模型在处理长上下文时的推理效率。该框架有效减少了内存占用,加速了解码和预填充过程,并保持了模型的准确性。它适用于多轮对话、长文档处理、学术研究以及内容推荐等多个领域。

Hallo

Hallo是由复旦大学、百度公司、苏黎世联邦理工学院和南京大学的研究团队共同开发的一种基于人工智能的肖像图像动画技术。该技术通过分层音频驱动视觉合成、端到端扩散模型、交叉注意力机制、UNet去噪器、时间对齐技术和参考网络等方法,实现了音频与视觉输出的高精度同步。Hallo具备音频同步动画、面部表情生成、头部姿态控制、个性化动画定制、时间一致性维护以及动作多样性等主要功能,显著提升了视频动画的真实感

HiFiVFS

HiFiVFS是一款基于Stable Video Diffusion框架的高保真视频换脸工具,结合多帧输入与时间注意力机制保障视频稳定性。其核心技术包括细粒度属性学习(FAL)和详细身份学习(DIL),分别用于属性解耦和身份相似性提升。HiFiVFS适用于电影制作、游戏开发、虚拟现实及社交媒体等多个领域,支持高质量的视频换脸操作。

ID

ID-Animator是一款由腾讯光子工作室、中科大和中科院合肥物质科学研究院联合开发的零样本人类视频生成技术。它能够根据单张参考面部图像生成个性化视频,并根据文本提示调整视频内容。ID-Animator通过结合预训练的文本到视频扩散模型和轻量级面部适配器,实现高效的身份保真视频生成。其主要功能包括视频角色修改、年龄和性别调整、身份混合以及与ControlNet等现有条件模块的兼容性。

Add

Add-it是一款无需训练的图像编辑工具,允许用户通过文本指令在图像中插入新对象。其核心功能包括保持场景结构一致性、确保对象自然融合、支持非真实感图像处理等。Add-it采用扩展的注意力机制和主题引导潜在混合技术,无需额外训练即可实现高质量图像编辑。广泛适用于广告、内容创作、影视制作等领域。

IDM

IDM-VTON是一种基于改进扩散模型的先进AI虚拟试穿技术,由韩国科学技术院和OMNIOUS.AI的研究人员共同开发。该技术利用视觉编码器提取服装的高级语义信息,并通过GarmentNet捕捉服装的低级细节特征,从而生成逼真的人物穿戴图像。IDM-VTON支持文本提示理解,实现了个性化定制和逼真的试穿效果,广泛应用于电子商务、时尚零售、个性化推荐、社交媒体以及时尚设计等领域。

Miras

Miras是由谷歌开发的深度学习框架,专注于序列建模任务。它基于关联记忆和注意力偏差机制,整合多种序列模型并支持新型模型设计。Miras通过保留门机制优化记忆管理,提升模型在长序列任务中的表现,适用于语言建模、常识推理、长文本处理及多模态任务,具有高效且灵活的架构优势。

Micro LLAMA

Micro LLAMA 是一款基于简化版 Llama 3 模型的教学工具,通过约 180 行代码实现 8B 参数的最小化模型,支持自注意力机制和前馈神经网络。它提供 Jupyter 笔记本和 Conda 环境配置指南,帮助用户轻松学习和实验,特别适用于学术教学、研究开发和个人学习。