AlexChiu

apex是NVIDIA开源的用于在PyTorch框架下实现混合精度训练的模块，能够方便地进行FP16训练。 我在编译安装apex的过程中遇到了一些问题，通过查issues来解决的。 可以试试找到 path_to_anaconda3/lib/libstdc++.so.6， 然后连…

目前流行的SQuAD数据集是比较简单的MRC任务，因为已经给定了阅读段落，而且问题的答案已经被完全的包含在了阅读段落里。 本文针对了一个更难的数据集RACE。RACE数据集的问题答案不一定包含在给定的阅读材料中，这需要模型更加深度地了解阅读材料。 基于BERT来设计的Model…

BERT的paper中pre-train的lr为1e-4，如果进行额外pre-training 应该设小一点的lr，如2e-5。我自己的实验也表明了，lr=1e-4会得到比较差的结果。但是 sequences 越长带来的显存压力越大，而且是和sequence length的平方…

感觉和 “Neural Question Generation from Text: A Preliminary Study” 这篇很像的工作，都是基于 Seq2Seq 的思想来做 Question Generation。 两者的区别在与 Encode 和 Decode 的设计…

并行的方式分为了数据并行。 DataParallel 会将module复制到多个卡上，也会将每个batch均分到每张卡上，每张卡独立forward自己那份data，而在backward时，每个卡上的梯度会汇总到原始的module上，以此来实现并行。 但是，这样的方式会造成原始m…