AlexChiu

apex是NVIDIA开源的用于在PyTorch框架下实现混合精度训练的模块，能够方便地进行FP16训练。 我在编译安装apex的过程中遇到了一些问题，通过查issues来...

并行的方式分为了数据并行。 DataParallel 会将module复制到多个卡上，也会将每个batch均分到每张卡上，每张卡独立forward自己那份data，而在ba...

BERT的paper中pre-train的lr为1e-4，如果进行额外pre-training 应该设小一点的lr，如2e-5。我自己的实验也表明了，lr=1e-4会得到比...

目前流行的SQuAD数据集是比较简单的MRC任务，因为已经给定了阅读段落，而且问题的答案已经被完全的包含在了阅读段落里。 本文针对了一个更难的数据集RACE。RACE数据集...

感觉和 “Neural Question Generation from Text: A Preliminary Study” 这篇很像的工作，都是基于 Seq2Seq 的...

这部分是通过CNN来encode文本中的句子。CNN能从local到global的捕捉文本中的语义信息。文中采用的 wide-CNN 和 p-max pooling 结合的...