Tokenization

Chonkie

Chonkie是一款轻量级、高性能的RAG分块库,支持多种分块方法(基于Token、单词、句子和语义),适用于自然语言处理任务。它具备高效性能、广泛tokenizer支持及灵活的安装选项,适用于RAG应用、对话系统、文本摘要和机器翻译等场景。

悟道·天鹰(Aquila)

悟道·天鹰(Aquila)是智源研究院开源的中英双语语言大模型,具备强大的语言理解和生成能力。模型在设计上注重商用和数据合规性,同时提供持续的开源更新和技术支持。