TokenSwift

TokenSwift是由北京通用人工智能研究院研发的高效文本生成加速框架，能够在90分钟内完成10万Token的文本生成任务，相较传统自回归模型的约5小时处理时间，效率提升了3倍，同时保持生成质量不变。该框架通过多Token并行生成与复用、动态KV缓存更新、上下文惩罚机制等关键技术，优化了模型运行效率，减少了延迟，并增强了生成内容的多样性。 TokenSwift支持多种规模和架构的模型，包括1.5B、7B、8B、14B参数量的MHA（多头注意力）和GQA（分组查询注意力）模型。其核心技术包括基于树结构的多候选Token验证机制，以及通过n-gram频率信息实现的高频短语复用策略。 该工具适用于内容创作、智能客服、学术研究及代码生成等多个场景，为用户提供了高效、灵活且高质量的文本生成解决方案。