Weights & Biases介绍
自动化地进行超参搜索
如何使用
找到project,点击create new project
input project name and description
出现一个很基础的教程
点击左边的sweeps,创建一个sweep
配置设置(详细文档见:docs.wandb.ai/guides/swee…)
yaml格式:
其中:
- program是待跑的程序名,比如main.py
- method是超参搜索的方式,具体有这些方法:
- grid:网格搜索将循环访问参数值的所有可能组合
- random:随机搜索在每次迭代中选择一组随机值。(参数组比较多的时候)
- bayes:使用高斯过程对参数与模型指标之间的关系进行建模,并选择参数以优化改进概率。此策略需要指定metric key。
- parameters:模型的参数,key对应多个值,可以进行超参的搜索最优值
例如:
program: train.py
method: bayes
metric:
name: validation_loss
goal: minimize
parameters:
learning_rate:
min: 0.0001
max: 0.1
optimizer:
values: ["adam", "sgd"]
开启掘金成长之旅!这是我参与「掘金日新计划 · 2 月更文挑战」的第 1 天,点击查看活动详情