transformers源码解读

datasets遇到嵌套结构有时会推测错所有数据的结构，从而在处理某一条数据时报错 解决办法： 事先定义好结构

几个格式相同的数据集，希望训练模型的时候一次全部加载 感觉是一个比较常用的功能，但并不在文档的显眼位置。 记录一下

问题: 基于transformers教程写的分词器训练代码，直接运行会有进度条打印，例如 ，但是debug、或是在linux上通过nohup命令后台展示都没有打印进度条 解决方案 初步的想法是通过de