[深度学习编程细节-3]:Pytorch, Keras默认初始化

89 阅读1分钟

[深度学习编程细节-3]:Pytorch, Keras默认初始化

本专题会分享一些我自己的研究,竞赛经验和习惯,只注重于提升模型的准确率, 源自个人的OneNote笔记,没有一些方便阅读的优化,每章内容较少,争取每日一更。-19.12.07


今天总结的是复现时另一种值得注意的差异,默认初始化。常用的初始化有:

  • LeCun uniform/normal
  • Xavier uniform/normal
  • Kaiming uniform/normal

上述六种,pytorch和keras用了其中的两种。

本日pdf连接:

1drv.ms/b/s!AmvJMVS…