baseline复现的基本流程
1、报名参赛
2、下载对应的脚本和数据集
3、注册阿里魔搭平台,使用免费的GPU额度进行模型的训练
4、创建相关的文件夹,将dataset和notebook代码上传到指定为止
5、解压缩数据,运行相关脚本,生成对应的记录
6、上传测评平台获取分数
详情如下
使用GPU免费额度:
代码分析
导入相关安装包:
构建数据集处理类dataset:
编码器模型构建:
解码器模型构建:
翻译流程调用函数:
加载术语字典函数:
训练模型函数:
主调用函数:
模型翻译更新句子内容:
计算blue_score:
主流程调用:
生成测试数据结果的函数:
生成测试数据结果的主流程:
评分结果
最终系统提交的得分:
开营仪式上的提示尝试使用验证集不训练直接提交,结果竟然比训练的好:
最终得分超过了模型训练的结果:
可见模型还有很多提升的空间,具体的提升见baseline2后的博客介绍。