数据处理
3篇文章 · 0订阅
  • Datawhale×魔搭 AI夏令营 【2024年第四期】：AIGC学习笔记
    本文简单记录小白学习过程。从文生图实现方案逐渐进阶，偏重图像工作流、微调、图像优化等思路，从零入门AI生图原理&实践。
    AIGC
    Datawhale×魔搭 AI夏令营 【2024年第四期】：AIGC学习笔记
  • Cosmopedia: 如何为预训练构建大规模合成数据集
    本文概述了我们在生成含数十亿词元的合成数据集以复现 Phi-1.5 过程中所遇到的挑战及其解决方案，由此最终创建了 Cosmopedia 合成数据集。合成数据已成为机器学习社区的 C 位话题，其题中之
    人工智能
    Cosmopedia: 如何为预训练构建大规模合成数据集
  • 【从零训练Steel-LLM】预训练数据收集与处理
    Steel LLM项目旨在从0开始预训练一个1B左右的LLM，使用T级别的数据。我将会分享训练过程中的所有细节，本文第一篇文章，主要讲解数据收集与处理。
    算法
    【从零训练Steel-LLM】预训练数据收集与处理