训练

Crawl4LLM

Crawl4LLM是由清华与CMU联合开发的智能爬虫系统,通过评估网页对大语言模型预训练的价值,提升数据获取效率。支持多种爬取模式,具备状态保存、数据可视化功能,并与DCLM框架兼容。采用多维度评分机制优化爬取策略,减少低价值内容抓取,降低对网站负担,适用于LLM预训练、数据集构建等场景。

GLM

GLM-4-Flash是一款由智谱AI开发的免费大模型API,具备强大的多轮对话、多语言处理能力以及网页检索和代码执行等功能。它利用深度学习技术,尤其是Transformer架构,来实现高效的语言处理和生成。该工具广泛应用于客户服务、内容创作、语言翻译、教育辅助和编程辅助等多个领域,为用户提供了一个全面而高效的AI解决方案。

Baichuan

Baichuan-NPC(百川角色大模型)是一款由百川智能公司推出的智能角色模型,通过文本描述即可生成具有生动表现力的角色智能体。该模型在“角色知识”与“对话能力”方面进行了深度优化,确保角色能更准确地理解对话语境,并根据角色性格进行交流和互动。主要功能包括高效对话能力、高度定制角色创建、严格的事实性回复、高质量数据预训练及思维链对齐技术。

WebLI

WebLI-100B是由Google DeepMind推出的超大规模视觉语言数据集,包含1000亿个图像与文本配对数据,是目前最大的视觉语言数据集之一。其设计旨在提升模型对长尾概念、文化多样性和多语言内容的理解能力。数据集通过网络爬取构建,保留了丰富的语言和文化多样性,支持多模态任务如图像分类、图像描述生成和视觉问答,广泛应用于人工智能研究、工程开发及教育领域。

EvolveDirector

EvolveDirector是一个由阿里巴巴与南洋理工大学合作开发的文本到图像生成框架,通过与高级模型API交互获取数据对,结合预训练的视觉语言模型(VLMs)动态优化训练集,大幅降低数据量和训练成本。该框架支持多模型学习、动态数据集管理及在线训练,显著提升了生成图像的质量和多样性,广泛应用于内容创作、媒体娱乐、广告营销、教育科研等多个领域。

面壁智能

面壁智能依托在自然语言处理方面的前沿技术,构建大规模预训练模型库及配套工具,推进大模型技术与应用的标准化。

Talkme练口语

TalkMe是一款革命性的跨语言学习产品,告别社恐,建立自信,AI练口语轻松又有趣,代替真人AI口语练习无负担。

MimicTalk

MimicTalk是一款利用NeRF技术快速生成个性化3D说话人脸模型的工具,其核心功能包括15分钟内完成新身份训练、高质量视频生成、增强的表现力以及上下文学习能力。该工具通过混合适应流程、上下文风格化音频到运动模型等技术,实现了高效的数据样本利用和训练效率提升,适用于虚拟主播、远程协作、VR/AR等领域。

MILS

MILS是由Meta AI开发的一种无需额外训练即可为大型语言模型(LLM)提供多模态能力的框架。它通过多步推理、评分反馈和迭代优化,实现图像、视频、音频等多模态内容的生成与理解。MILS支持零样本描述生成、风格迁移、跨模态推理等任务,适用于内容生成、多模态检索、视觉问答等多个场景,具备高效、灵活和无需训练的优势。

Awesome Chinese LLM

整理了开源的中文大语言模型(LLM),主要关注规模较小、可私有化部署且训练成本较低的模型,目前已收录了100多个相关资源。