书生大模型实战营第四期入门岛-HF篇

124 阅读1分钟

书生大模型实战营第四期入门岛-HF篇

闯关任务

任务一

使用Hugging Face平台下载文档中提到的模型(至少下载config.json文件,model.safetensors.index.json文件)

HF的Transformers库 HF核心项目:

  1. 可直接使用其预训练模型进行推理
  2. 提供了大量预训练模型使用
  3. 使用预训练模型进行迁移学习,因此在使用HF前,我们需要下载Transformers等一些常用依赖库

下载internlm2_5-7b-chat的配置文件

进入Github Codespace下载相关依赖 image.png

编写脚本,从HuggingFace上下载相应配置文件

image.png

下载internlm2_5-chat-1_8b并打印示例输出

得到输出,效果如下

image.png

任务二

将下载好的config.json文件上传

Hugging Face Spaces的使用

Hugging Face Spaces是一个允许我们轻松托管分享和发现机器学习模型的应用的平台。Spaces使得开发者可以快速将我们的模型部署为可交互的web应用,且无需担心后端基础设施或部署的复杂性。

创建Space

image.png

回到Github Code Space,接着clone项目

image.png

在git push步骤中,遇到密码验证问题。需要去HGsetting中找到对应Access Token,然后通过相关命令解决

git remote set-url origin https://<user_name>:<token>@huggingface.co/<repo_path>
例如:
git remote set-url origin https://jack:hf_xxxxx@huggingface.co/spaces/jack/intern_cobuild/
然后再次git push即可

界面更新

image.png

模型上传

通过CLI上传Hugging Face同样是跟Git相关联,通常大模型文件比较大,因此我们需要安装git lfs,对大文件系统支持

登录

image.png

创建项目

image.png

上传文件

image.png

image.png

任务三

部署(上文有步骤) image.png