LM Studio可以通过Hugging Face下载模型,在本地运行开源大模型。但由于Hugging Face国内被墙,无法直接在LM Studio软件下载,当下载Qwen 1.5-7B模型时,提示如下:
我通过下载工具,手动下载了大模型对应的qwen1_5-7b-chat-q5_k_m.gguf,并放到D:\lm-studio\models目录下(我自己修改的目录),但无法使用,提示如下:
原因是LM Studio模型的本地存储目录,需要存放到下两级目录下,一级是指定模型的Publisher,第二级是指定的模型型号和版本。
方案一(不好):因此我在D:\lm-studio\models目录下手工创建了Publisher\Repository下级目录,并将qwen1_5-7b-chat-q5_k_m.gguf文件放到该目录下。
方案二(推荐):根据下载的模型使用对应的模型发布者和模型版本,创建两级目录名,比如Qwen/Qwen1.5-7B-Chat-GGUF,并把模型文件放到该目录下。
齐活,可以愉快的使用大模型了!