极客大学-架构实战营|第0期fds

download:极客大学-架构实战营|第0期

01 运用Pytorch锻炼分类网络模型

必要软件包装置

pip install tensorbay pillow torch torchvision numpy
复制代码

KEY = "<Your-Key>"
复制代码

经过AccessKey能够上传数据、读取数据、运用数据，灵敏对接模型开发和锻炼，与数据pipeline快速集成。

e. AccessKey写入后就能够写代码读取数据了，读取后能够运用一行代码自行下载，或者能够开启缓存功用，在读取过后会自动将数据存储到本地。将下载后的数据放在data文件夹下：

import numpy as np\
from PIL import Image\
\
from tensorbay import GAS\
from tensorbay.dataset import Dataset\
from tensorbay.dataset import Segment\
\
def read_gas_image(data):\
    with data.open() as fp:\
        image = Image.open(fp)\
    return np.array(image)\
  \
KEY = "用你的Key交换掉这个字符串"\
# Authorize a GAS client.\
gas = GAS(KEY)\
# Get a dataset.\
dataset = Dataset("MNIST", gas)\
\
# 开启下行语句在当前途径下的data目录缓存数据\
# dataset.enable_cache("data")\
\
# List dataset segments.\
segments = dataset.keys()\
# Get a segment by name\
segment = dataset["train"]\
for data in segment:\
    # 图片数据\
    image = read_gas_image(data)\
    # 标签数据\
    label = data.label.classification.category