大模型全栈开发之动手实践大模型--书生大模型-2.部署的细节与成品演示

54 阅读2分钟

参考此文章进行部署一般不会有什么差错 部署过程可能会遇到一些问题,这些问题大多数没有在教程中提及。这让人很着急,原因大多数是因为报错较为简单或者基础,在次罗列下来,可以进行一些参考。

部署报错的细节:

  1. 检查自己是否在所属虚拟环境。
    • 虚拟环境就是额外开出的专门用来跑特定任务的空间,里面的版本会基本固定,或者至少保持某一个版本,方便人们去复刻其中的开源项目
    • 重启后一般打开的环境属于(base),此时就需要主动的去激活所属虚拟环境
    • 虚拟环境的存在是方便我们锁死一些库的版本,不对其进行更新,或者就用特定版本开发
  2. 是否是自己的显卡或者内存不支持这种模型要求的最低配置
    • 这个在使用大模型前就要提前了解,同时在使用过程中要动态的监控他们的使用情况
  3. 是否安装具体的包,包的版本是否正确
    • 有时候安装没有指定版本,会导致原先的包使用的函数进行了更新,从而现有的程序发生崩溃,开发过程中,这个问题可查看文档进行解决,但是使用过程中建议安装指定的版本

成品显示

模型:书生7B

首先国内的模型大多数进行了加强的对其,那么他在文学创作上面就会进行很大的损失。我对其进行超过20轮提示,生成的版本,所有结局都是happy ending,这对于文学来说损失较大。我选取较有创意的文章放在此处: 提示主题为:AI和人类斗争 屏幕截图 2024-01-08 143740.png 大家可以猜一下最后的结局,略微一点点悬疑

魔搭的使用

自从抱脸被国内抛弃,各种镜像风起云涌。魔搭社区算是一个,在国内它能够像抱脸一样对模型进行下载,以及使用。同时也拥有pipleline进行推理等。具体的使用可以参考详细的文档。 下图展示使用魔搭的库进行单个json文件的下载。 屏幕截图 2024-01-08 162651.png 屏幕截图 2024-01-08 155436.png