【教程】使用Weights & Biases自动调参

261 阅读1分钟

Weights & Biases介绍

自动化地进行超参搜索

如何使用

找到project,点击create new project

image.png input project name and description

image.png

出现一个很基础的教程

image.png

点击左边的sweeps,创建一个sweep

image.png

配置设置(详细文档见:docs.wandb.ai/guides/swee…

yaml格式:

其中:

  • program是待跑的程序名,比如main.py
  • method是超参搜索的方式,具体有这些方法:
  • grid:网格搜索将循环访问参数值的所有可能组合
  • random:随机搜索在每次迭代中选择一组随机值。(参数组比较多的时候)
  • bayes:使用高斯过程对参数与模型指标之间的关系进行建模,并选择参数以优化改进概率。此策略需要指定metric key。
  • parameters:模型的参数,key对应多个值,可以进行超参的搜索最优值

例如:

program: train.py
method: bayes
metric:
  name: validation_loss
  goal: minimize
parameters:
  learning_rate:
    min: 0.0001
    max: 0.1
  optimizer:
    values: ["adam", "sgd"]

开启掘金成长之旅!这是我参与「掘金日新计划 · 2 月更文挑战」的第 1 天,点击查看活动详情