本机体验GPT模型之gpt4all-chat

1,762 阅读1分钟

先列一下本机配置:

  • Fedora36的x86_64台式机
  • i5-7500 CPU @ 3.40GHz 4核
  • 16G 内存
  • Intel集成显卡 630

gpt4all-chat是基于gpt4all,提供了可视化界面和命令行两种体验方式,为了快速体验只编译运行CLI。

按照官网文档操作描述进展勉强算顺利,这里用到了快速下载github仓库的代理https://ghproxy.com

git clone --recurse-submodules https://ghproxy.com/https://github.com/nomic-ai/gpt4all-chat
cd gpt4all-chat/ggml
mkdir build
cd build
cmake ..

成功生成Makefile,但这一步操作在arm64机器上报错

cmake --build . --parallel

这其实是个不重要的编译错误,只是在生成测试程序的时候引用的数据结构不对,根本不影响普通用户体验,只需将上一步命令替换成:

make gpt-j

因为我们最终需要的其实是gpt-j这个可执行文件。

接着是耗时最久的模型下载操作,好像教育网要快很多,但移动的家庭宽带很不给力:

wget https://gpt4all.io/models/ggml-gpt4all-j.bin

模型下载到仓库根目录后直接运行:

bin/gpt-j -m ggml-gpt4all-j.bin -n 200 --top_k 40 --top_p 0.9 -b 9 --temp 0.9 -p "Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction:
Tell me about artifical intelligence
### Response:"

近4G的模型运行得竟然比较流畅,出乎意料。但显然不支持中文,代码生成这方面也比较差。

另一点是每次运行总是一次性的,不知道是CLI程序的原因还是就是这样设计实现的,这样显然没法让对话记住上下文,可以直接下载体验带QT界面的二进制安装包