Tokenizers 是 Hugging Face 开源的一款采用 Rust 实现的分词库，它提供了多种流行的分词器实现，特别是针对当前最常用的分词器，它注重性能和多功能性。它支持多种分词器模型，比如 BPE（Byte Pair Encoding）、WordPiece、SentencePiece 等。Tokenizers 库提供了多种语言的绑定，包括 Rust（原始实现）、Python、Node.js 和 Ruby（由 @ankane 贡献，外部仓库）。
Tokenizers 主要特点：
- 多种分词器支持：提供了当前最常用的分词器实现，如 Byte-Pair Encoding (BPE)、WordPiece 和 Unigram。
- 高性能：由于使用 Rust 编写，分词器训练和分词过程非常快速。例如，在服务器的 CPU 上，可以在不到 20 秒的时间内完成 GB 级文本的分词。
- 易用性与多功能性：库设计简单易用，同时也非常灵活，可以满足不同的需求。
- 研究和生产设计：既适合研究使用，也适合生产环境。
- 规范化和对齐跟踪：规范化处理时会跟踪对齐信息，可以轻松获取原始句子中对应给定标记的部分。
- 预处理功能：支持截断、填充和添加模型所需的特殊标记等预处理操作。
使用 Tokenizers 库，可以轻松地加载预训练的分词器模型，执行文本的分词操作，并且可以自定义分词器。它适用于机器学习和自然语言处理任务，特别是在处理大型文本数据集时。
