【Datawhale AI夏令营】讯飞基于术语词典干预的机器翻译挑战赛baseline复现

73 阅读1分钟

baseline复现的基本流程

1、报名参赛

2、下载对应的脚本和数据集

3、注册阿里魔搭平台,使用免费的GPU额度进行模型的训练

4、创建相关的文件夹,将dataset和notebook代码上传到指定为止

5、解压缩数据,运行相关脚本,生成对应的记录

6、上传测评平台获取分数

详情如下

使用GPU免费额度: 魔搭GPU环境开发.png

代码分析

导入相关安装包: 代码分析-导入相关的包.png

构建数据集处理类dataset: 数据集处理.png

编码器模型构建: 编码器.png

解码器模型构建: 解码器.png

翻译流程调用函数: Seq2Seq模型.png

加载术语字典函数: 术语字典加载函数.png

训练模型函数: 训练函数.png

主调用函数: 主函数.png

模型翻译更新句子内容: 更新句子内容.png

计算blue_score: blue分数计算.png

主流程调用: 计算测试分数.png

生成测试数据结果的函数: 测试推理函数.png

生成测试数据结果的主流程: 测试主流程.png

评分结果

最终系统提交的得分: baseline结果1.png

开营仪式上的提示尝试使用验证集不训练直接提交,结果竟然比训练的好:

验证集数据提交.png

最终得分超过了模型训练的结果:

验证集提交分数.png

可见模型还有很多提升的空间,具体的提升见baseline2后的博客介绍。