【Lora】使用kohya_ss训练Lora模型,解决Can't load tokenizer报错

92 阅读1分钟

前言

本文是AI绘画子模型Lora的训练工具kohya_ss的报错解决。不含Stable Diffustion使用相关的信息。
工具链接:kohya_ss

症状

Win11 23H2下运行setup.bat,选1安装后选6启动,成功进入webUI界面,填完参数以后点开始训练。报以下错误: OSError: Can't load tokenizer for 'openai/clip-vit-large-patch14'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'openai/clip-vit-large-patch14' is the correct path to a directory containing all relevant files for a CLIPTokenizer tokenizer.

初步判断是因为连不上huggingface,无法下载模型导致的。sd本体也有不少人遇到这个问题,解决办法是手动下载之后改代码里的指向路径。

解决办法

手动下载

首先访问 这个仓库,切换到File And Versions选项卡,点文件大小右边的 依次下载所有文件,然后保存到同一个目录。例如:D:\clip-vit-large-patch14,如果是Linux平台记得检查一下文件权限。

改变代码指向

打开venv\Lib\site-packages\transformers\tokenization_utils_base.py这个文件,搜索

pretrained_model_name_or_path = str(pretrained_model_name_or_path)

改成

pretrained_model_name_or_path = "D:\models--openai--clip-vit-large-patch14"  <-刚才手动下载保存的路径

最后重启软件就可以了,一定要重启软件!因为这个路径是在软件启动的时候加载的。