书生大模型实战营 | L0G4000 玩转HF/魔搭/魔乐社区

188 阅读1分钟

image.png

模型下载

使用Hugging Face平台、魔搭社区平台(可选)和魔乐社区平台(可选)下载文档中提到的模型(至少需要下载config.json文件、model.safetensors.index.json文件),请在必要的步骤以及结果当中截图。

参考文档:github.com/InternLM/Tu…

Hugging Face官网地址: huggingface.co/

使用CodeSpace空间

github.com/codespaces

使用jupyter模板

animated-palm-tree-r6xwp6qvvpvc54jw.github.dev/

1736343191359.jpg

在界面下方的终端(terminal)安装以下依赖,便于模型运行。

# 安装transformers
pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0

image.png

下载internlm2_5-7b-chat的配置文件

新建一个hf_download_josn.py 文件

touch hf_download_josn.py

代码如下

import os
from huggingface_hub import hf_hub_download

# 指定模型标识符
repo_id = "internlm/internlm2_5-7b"

# 指定要下载的文件列表
files_to_download = [
    {"filename": "config.json"},
    {"filename": "model.safetensors.index.json"}
]

# 创建一个目录来存放下载的文件
local_dir = f"{repo_id.split('/')[1]}"
os.makedirs(local_dir, exist_ok=True)

# 遍历文件列表并下载每个文件
for file_info in files_to_download:
    file_path = hf_hub_download(
        repo_id=repo_id,
        filename=file_info["filename"],
        local_dir=local_dir
    )
    print(f"{file_info['filename']} file downloaded to: {file_path}")

image.png

运行该文件(注意文件目录请在该文件所在目录下运行该文件)

python hf_download_josn.py

image.png