深度学习
ReCamMaster
ReCamMaster 是由浙江大学与快手科技联合开发的视频重渲染框架,支持根据用户指定的相机轨迹生成新视角视频。采用预训练模型与帧维度条件机制,实现视频视角、运动轨迹的灵活调整。具备视频稳定化、超分辨率、外扩等功能,适用于视频创作、后期制作、自动驾驶和虚拟现实等领域,提升视频内容的表现力与质量。
FancyVideo
FancyVideo是一款由360公司与中山大学合作开发的AI文生视频模型,采用创新的跨帧文本引导模块(CTGM)。它能够根据文本描述生成连贯且动态丰富的视频内容,支持高分辨率视频输出,并保持时间上的连贯性。作为开源项目,FancyVideo提供了详尽的文档和代码库,便于研究者和开发者深入研究和应用。主要功能包括文本到视频生成、跨帧文本引导、时间信息注入及时间亲和度细化等。
HippoRAG 2
HippoRAG 2是俄亥俄州立大学开发的检索增强生成框架,旨在提升RAG系统在模拟人类长期记忆方面的表现。它通过个性化PageRank算法、深度段落整合和知识图谱构建,实现高效的多跳推理与上下文感知检索。系统具备持续学习能力,可实时吸收新知识,适用于智能问答、知识管理、教育、医疗及法律金融等领域。
Pixel Reasoner
Pixel Reasoner是由多所高校联合开发的视觉语言模型,通过像素空间推理增强对视觉信息的理解和分析能力。它支持直接对图像和视频进行操作,如放大区域或选择帧,以捕捉细节。采用两阶段训练方法,结合指令调优和好奇心驱动的强化学习,提升视觉推理性能。在多个基准测试中表现优异,适用于视觉问答、视频理解等任务,广泛应用于科研、教育、工业质检和内容创作等领域。