推广TrustAI可信分析:通过提升数据质量来增强在ERNIE模型下性能

42 阅读1分钟

项目链接:aistudio.baidu.com/aistudio/pr…
fork一下,由于内容过多这里就不全部写出来了。

前言

TrustAI是集可信分析和增强于一体的可信AI工具集,助力NLP开发者提升深度学习模型效果和可信度。在后续应用中,希望将TrustAI和智能标注以及模型构螺迭代打造持续学习链路。

在这里插入图片描述

  • 解决训练数据存在脏数据的问题
  • 解决训练数据覆盖不足的问题(稀疏数据)
  • 解决训练数据分布偏置的问题
  • 解决文本冗余导致精度下降的问题

相关文章参考:

AiTrust下预训练和小样本学习在中文医疗信息处理挑战榜CBLUE表现

注意上述项目中对训练过程一些参数做了简单调整如500steps保存一次模型等,而本项目为了快速实现效果展示就以epoch为保存最优模型单位,如果为追求更好性能请参考上述项目或者自己修正。

项目参考:(更细算法原理请参考相关论文)
github.com/PaddlePaddl…

github.com/PaddlePaddl…