用户285457844001

为什么需要使用虚拟环境 在Python开发中，使用虚拟环境（virtual environment）是非常常见且推荐的做法。这主要是因为虚拟环境可以为不同的项目提供独立的运行环境，从而解决多个项目之间

1. 概述 前面已经通过源码介绍了 tranformers 中如何使用 AutoTokenizer 加载 Tokenizer，本文主要介绍如何使用加载的 Tokenizer 对训练数据进行预处理，通过