AI项目与工具

CoGenAV

CoGenAV是一种先进的多模态学习模型,专注于音频和视觉信号的对齐与融合。通过对比特征对齐和生成文本预测的双重目标进行训练,利用同步音频、视频和文本数据,学习捕捉时间对应关系和语义信息。CoGenAV具备音频视觉语音识别、视觉语音识别、噪声环境下的语音处理、语音重建与增强、主动说话人检测等功能,适用于智能助手、视频内容分析、工业应用和医疗健康等多个场景。

Morphik

Morphik是一款开源的多模态检索增强生成(RAG)工具,专为处理高技术性和视觉内容丰富的文档设计。支持图像、PDF、视频等多种格式的文档搜索,采用ColPali技术理解文档中的视觉内容,具备快速元数据提取功能,可提取边界框、标签、分类等信息。其主要功能包括多模态数据处理、智能解析文件、知识图谱构建、自然语言规则引擎和数据管理与集成,适用于技术文档处理、企业知识管理和智能应用开发等场景。

Ai好记

[Ai好记是一款利用人工智能技术实现音视频转图文的专业工具,主要功能包括精准转录、思维导图生成、多语言翻译及个性化总结。它支持多种格式导出,并兼容主流音视频平台,广泛应用于知识管理、学术研究、内容创作等领域。]

Crawl4LLM

Crawl4LLM是由清华与CMU联合开发的智能爬虫系统,通过评估网页对大语言模型预训练的价值,提升数据获取效率。支持多种爬取模式,具备状态保存、数据可视化功能,并与DCLM框架兼容。采用多维度评分机制优化爬取策略,减少低价值内容抓取,降低对网站负担,适用于LLM预训练、数据集构建等场景。

CreatorKit

CreatorKit是一款基于AI技术的视觉内容创作工具,支持图片、视频及广告的智能生成与编辑。其核心功能包括AI图像生成、视频制作、品牌定制、多平台适配等,适用于电商、社交媒体及广告行业。用户可通过简单指令完成内容创作,提升效率并优化视觉呈现。提供多种订阅方案,满足不同规模企业的需求。

ItiNera

ItiNera是一款由香港大学与麻省理工学院合作开发的智能城市行程规划系统,基于大型语言模型和空间优化技术,为用户提供个性化、高效、连贯的Citywalk路线规划服务。系统包含兴趣点数据库构建、请求解析、偏好感知检索、空间优化及行程生成五大模块,支持实时动态信息更新,适用于个人旅游、城市漫步、短途旅行等多种场景。

EvolveDirector

EvolveDirector是一个由阿里巴巴与南洋理工大学合作开发的文本到图像生成框架,通过与高级模型API交互获取数据对,结合预训练的视觉语言模型(VLMs)动态优化训练集,大幅降低数据量和训练成本。该框架支持多模型学习、动态数据集管理及在线训练,显著提升了生成图像的质量和多样性,广泛应用于内容创作、媒体娱乐、广告营销、教育科研等多个领域。

VideoGrain

VideoGrain是由悉尼科技大学与浙江大学联合研发的零样本多粒度视频编辑框架,支持类别级、实例级和部件级的精细化视频修改。它通过调节时空交叉注意力和自注意力机制,提升文本提示对目标区域的控制能力,确保时间一致性与特征分离,显著优于现有T2I和T2V方法。该工具无需额外参数调整,具备高效计算性能,适用于影视制作、广告营销、内容创作等多个领域。

Ichigo

Ichigo是一款开源的多模态AI语音助手,采用混合模态模型,支持实时处理语音和文本交织序列。它通过统一的Transformer架构实现跨模态联合推理,提供低延迟的实时性能,并支持多语言、多轮对话及模糊输入处理。Ichigo适用于智能家居、个人助理、客户服务、教育和健康咨询等多种应用场景,展现了高效、灵活的技术优势。

UltraMem

UltraMem是字节跳动推出的超稀疏模型架构,通过优化内存访问和计算效率,显著降低推理成本并提升速度。其核心技术包括多层结构改进、TDQKR和IVE,使模型在保持性能的同时具备更强的扩展性。适用于实时推理、大规模模型部署及多个行业场景。