已解决:ModuleNotFoundError: No module named 'chatglm_cpp'

133 阅读1分钟

在使用目录chatglm_cpp下的openai_api.py启动量化后的模型时遇到报错

ModuleNotFoundError: No module named 'chatglm_cpp'

解决方案: 在chatglm_cpp下执行命令

MODEL=../chatglm-ggml.bin uvicorn chatglm_cpp.openai_api:app --host 127.0.0.1 --port 8000

注意按需修改模型位置等参数