AlexChiu

算法工程师

NLP

赞

3

|

搜索文章

赞

文章( 3 ) 沸点( 0 )

apex是NVIDIA开源的用于在PyTorch框架下实现混合精度训练的模块，能够方便地进行FP16训练。我在编译安装apex的过程中遇到了一些问题，通过查issues来解决的。可以试试找到 path_to_anaconda3/lib/libstdc++.so.6，然后连…

AlexChiu
6年前
2.8k
1
评论

PyTorch 的多卡并行训练

并行的方式分为了数据并行。 DataParallel 会将module复制到多个卡上，也会将每个batch均分到每张卡上，每张卡独立forward自己那份data，而在backward时，每个卡上的梯度会汇总到原始的module上，以此来实现并行。但是，这样的方式会造成原始m…

AlexChiu
6年前
6.6k
1
评论

PyTorch 的多卡并行训练

BERT的一些实践

BERT的paper中pre-train的lr为1e-4，如果进行额外pre-training 应该设小一点的lr，如2e-5。我自己的实验也表明了，lr=1e-4会得到比较差的结果。但是 sequences 越长带来的显存压力越大，而且是和sequence length的平方…

AlexChiu
6年前
1.8k
1
评论

个人成就

文章被点赞 3

文章被阅读 14,441

加入于

2019-03-24