最近看到了清华大学的chatglm-6b模型，于是就想着在本地搭建一套试试；经过不断踩坑终于是搭建成功了，下面分享完整教程~
章节
- 试试本地搭建AI模型-ChatGLM-6B（1） - 掘金 (juejin.cn)
- 试试本地搭建AI模型-ChatGLM-6B（2） - 掘金 (juejin.cn)
- 试试本地搭建AI模型-ChatGLM-6B（3） - 掘金 (juejin.cn)
- 试试本地搭建AI模型-ChatGLM-6B（4） - 掘金 (juejin.cn)
安装CUDA
版本对应关系
需要注意的是一定要选择 TensorFlow 和 CUDA相匹配，还需要查看下自己GPU的驱动版本，如果不匹配会出现很多问题。GPU驱动的版本可在 NVIDIA控制面板里找到：
CUDA个版本与驱动的关系如下：
下载 CUDA
去 NVIDIA 下载 CUDA，下载地址为：developer.nvidia.com/cuda-toolki…。本次使用的是 Windows10 64位，因此此处选择 Windows10 64位版本，为了安装方便选择 local 版本。默认的下载是最新版本的 CUDA，此处选择下载最新版本。由本机配置可知最大版本不能超过11.7，我门这里选择11.6.0版本下载。
安装CUDA
下载安装软件之后，双击安装，会弹出选择提取安装保存位置，默认即可
之后开始提取安装文件
提取完成之后弹出安装界面
检查系统兼容性需要一点时间，之后按照提示一步步安装
接下来有两种安装选项，一个是精简安装，一个是自定义安装。精简安装会安装CUDA相关组件，同时也会将显卡驱动重新安装，如果不想重新安装显卡驱动，可以选择自定义安装，这里选择自定义安装
之后选择需要安装的组件，这里将驱动组件取消，其他保持勾选
之后会让选择CUDA开发组件、文档、示例的安装位置，此处默认即可，默认安装位置在 C:\Program Files\NVIDIA GPU Computing
r
Toolkit\CUDA\版本：
同意相关协议之后，进行安装前的准备，之后安装，安装需要一些时间：
安装完成，提示如下：
根据需要，下面的可勾选也可以不勾选
测试是否安装成功
安装完成CUDA，使用 nvcc -V 验证是否安装成功，看到如下信息说明安装成功
安装cuDNN
注册Nvidia 的账号
前往官网注册用户 developer.nvidia.com/，登录后才可以进行资源下载。
可能很多同学无法注册账号，我也是折腾了挺久，这里为大家提供11.6版本的资源下载。
cudnn11.6下载链接：pan.baidu.com/s/1EEzwhY93…
提取码：8gjz
下载 cuDNN
cuda我们下载的11版本，这里cudnn选择匹配项11.x下载
下载完成之后将其解压，解压之后的目录如下：
需要将以上三个文件复制到CUDA的安装目录中，通过上面的安装，我们将CUDA安装到了 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6目录中：
CUDNN安装
进行文件的手动迁移
- cudnn11\bin\bincudnn64_8.dll 移动至 CUDA\v11.6\bin中
- cudnn11\include\cudnn.h 移动至 CUDA\v11.6\include中
- cudnn11\lib\x64\cudnn.lib 移动至 CUDA\v11.6\lib\x64中
验证安装
通过NVIDIA提供的 deviceQuery.exe 和 bandwidthTest.exe 来查看GPU的状态，两者均在安装目录的 extras\demo_suite文件夹中
首先运行 deviceQuery.exe ，可以看到如下结果：
运行 bandwidthTest.exe 看到如下结果：
出现以上则代表安装成功。
注意：遇到双击打开deviceQuery.exe闪退的话，用win+r 打开cmd，把文件拖入窗口执行即可。
