关于 GitHub CodeSpace
Github CodeSpace 是 Github 推出的线上代码平台，提供了一系列 templates（项目模板） ，供我们快速搭建项目，进行在线开发。
我们这里选择 Jupyter Notebook 进行创建环境。创建好环境后，可以进入网页版 VS Code 的界面，这就是 CodeSpace 提供给我们的在线编程环境。
每个 CodeSpace 都相当于一个虚拟机，它们是彼此独立的，因此可以单独配置对应环境。
🎯 任务1 - 模型下载
在 Hugging Face 社区下载模型
以下操作建议在 GitHub CodeSpace 中执行
- 进入模型页面： huggingface.co/internlm/in…
- 安装依赖
bash
代码解读
复制代码
# 安装transformers
pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0
3. 新建用于 下载模型部分文件 的操作文件 hf_download_josn.py
bash
代码解读
复制代码
touch hf_download_josn.py
py
代码解读
复制代码
# hf_download_josn.py
import os
from huggingface_hub import hf_hub_download
# 指定模型标识符
repo_id = "internlm/internlm2_5-7b"
# 指定要下载的文件列表
files_to_download = [
{"filename": "config.json"},
{"filename": "model.safetensors.index.json"}
]
# 创建一个目录来存放下载的文件
local_dir = f"{repo_id.split('/')[1]}"
os.makedirs(local_dir, exist_ok=True)
# 遍历文件列表并下载每个文件
for file_info in files_to_download:
file_path = hf_hub_download(
repo_id=repo_id,
filename=file_info["filename"],
local_dir=local_dir
)
print(f"{file_info['filename']} file downloaded to: {file_path}")
关于 huggingface_hub 库中 “文件下载” 相关的文档： Download Files from the Hub
由于 7B 模型相对较大，在上面的代码中，我们通过变量 files_to_download 指定了需要下载的文件（模型的 config.json 文件），没有完全下载 internlm2_5-7b-chat 模型。
使用 python hf_download_josn.py 执行脚本，便可以看到下载完毕的文件。
- 新建用于下载模型全部文件的操作文件
hf_download_1_8_demo.py
bash
代码解读
复制代码
touch hf_download_1_8_demo.py
py
代码解读
复制代码
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("internlm/internlm2_5-1_8b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("internlm/internlm2_5-1_8b", torch_dtype=torch.float16, trust_remote_code=True)
model = model.eval()
inputs = tokenizer(["A beautiful flower"], return_tensors="pt")
gen_kwargs = {
"max_length": 128,
"top_p": 0.8,
"temperature": 0.8,
"do_sample": True,
"repetition_penalty": 1.0
}
# 以下内容可选，如果解除注释等待一段时间后可以看到模型输出
output = model.generate(**inputs, **gen_kwargs)
output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
print(output)
使用 python hf_download_1_8_demo.py 命令执行，可得到结果：
