本专题会分享一些我自己的研究,竞赛经验和习惯,只注重于提升模型的准确率, 源自个人的OneNote笔记,没有一些方便阅读的优化,每章内容较少,争取每日一更。-19.12.06
更新排版 -19.12.06
复现模型时 pytorch 与 keras 的几处差异
第二天主要分享复现别人模型时最大的问题,框架差异。因为有框架差异的存在,很多时候我们复现不了一个精度,不知道是自己code的问题,还是框架内部实现不同的问题。
今天主要列出我亲身发现的三处差异及一处统一,以及差异会导致的结果:
- 优化器默认参数差异
- Batch normalization 层默认参数差异
- 训练集和验证集每个epoch的迭代数
- 数据增强的统一
本日pdf版链接: