深度学习

OmniThink

OmniThink是由浙江大学与阿里巴巴通义实验室联合开发的机器写作框架,通过模拟人类学习和反思机制,提升文章的知识密度与深度。支持多种语言模型,具备信息树与概念池结构化管理功能,适用于学术写作、新闻报道、教育内容创作等多个领域,有效提高生成内容的质量与多样性。

Amodal3R

Amodal3R 是一种基于条件的 3D 生成模型,能够从部分遮挡的 2D 图像中重建完整的 3D 模型。通过引入掩码加权多头交叉注意力机制和遮挡感知注意力层,提升了遮挡场景下的重建精度。该模型仅使用合成数据训练,却能在真实场景中表现出色,具有较强的泛化能力。广泛应用于 AR/VR、机器人视觉、自动驾驶及 3D 资产创建等领域。

Asyncflow v1.0

Asyncflow v1.0 是一款基于 AI 的文本转语音工具,支持超过 450 种语音选项,涵盖多种语言和风格。通过 Magic Dust AI 技术,实现快速语音克隆与高质量输出,降低训练成本。提供 API 接口,便于开发集成,适用于播客、广告、教育等多种场景,具备高效、易用和高性价比的特点。

ReCamMaster

ReCamMaster 是由浙江大学与快手科技联合开发的视频重渲染框架,支持根据用户指定的相机轨迹生成新视角视频。采用预训练模型与帧维度条件机制,实现视频视角、运动轨迹的灵活调整。具备视频稳定化、超分辨率、外扩等功能,适用于视频创作、后期制作、自动驾驶和虚拟现实等领域,提升视频内容的表现力与质量。

FaceApp

FaceApp是一款结合AI技术的照片和视频编辑工具,提供多样化的滤镜和效果,帮助用户轻松实现自拍照的逼真编辑,包括年龄、性别、发型、发色等多维度的调整,同时支持创意场景融合和艺术化处理,适用于社交媒体分享、娱乐、时尚、创意摄影及广告营销等多个领域。

FancyVideo

FancyVideo是一款由360公司与中山大学合作开发的AI文生视频模型,采用创新的跨帧文本引导模块(CTGM)。它能够根据文本描述生成连贯且动态丰富的视频内容,支持高分辨率视频输出,并保持时间上的连贯性。作为开源项目,FancyVideo提供了详尽的文档和代码库,便于研究者和开发者深入研究和应用。主要功能包括文本到视频生成、跨帧文本引导、时间信息注入及时间亲和度细化等。

MMAudio

MMAudio是一款基于多模态联合训练的音频合成工具,通过深度学习技术实现视频到音频、文本到音频的精准转换。它具备强大的同步模块,确保生成的音频与视频帧或文本描述时间轴完全对应,适用于影视制作、游戏开发、虚拟现实等多种场景,极大提升了跨模态数据处理的能力和应用效率。

Torch

Torch-MLU 是一个开源的 PyTorch 扩展插件,支持开发者将寒武纪 MLU 系列智能加速卡作为 PyTorch 的加速后端。它实现了对 PyTorch 的原生支持,使开发者能够无缝地将基于 GPU 的深度学习模型迁移到 MLU 硬件上,显著提高模型的训练和推理效率。此外,Torch-MLU 还支持自动混合精度训练,通过优化计算图等技术,进一步提升了模型的执行效率。

Stable Virtual Camera

Stable Virtual Camera 是 Stability AI 推出的 AI 工具,能够将 2D 图像转换为具有真实深度和透视感的 3D 视频。用户可通过自定义相机轨迹生成多种宽高比的视频,支持最长 1000 帧的高质量输出。其核心技术包括生成式 AI、神经渲染和多视图一致性优化,确保视频在不同视角间过渡自然且保持 3D 一致性。适用于广告、内容创作及教育等多个领域。

VideoTuna

VideoTuna是一款基于AI的开源视频生成工具,支持文本到视频、图像到视频以及文本到图像的转换。它提供预训练、微调和后训练对齐等功能,兼容U-Net和DiT架构,并计划引入3D视频生成能力。VideoTuna旨在简化视频内容创作流程,提升生成质量与可控性,适用于内容创作、电影制作、广告营销、教育培训等多个领域。