炼钢AI

Steel LLM项目旨在从0开始预训练一个1B左右的LLM，使用T级别的数据。我将会分享训练过程中的所有细节，本文第一篇文章，主要讲解数据收集与处理。