《TiaoYu-1》是一个面向初学者的开源项目,涵盖大语言模型全流程训练技术。项目特色包括:1)完整代码均配有中文注释,降低学习门槛;2)系统覆盖预训练、微调、强化学习等核心环节;3)提供详实的配套原理文档。推荐学习路径从基础概念到模型构建,逐步深入各技术模块(如位置编码、注意力机制、MOE等)。
暂无订阅 共20篇文章
创建于2025-06-01
《TiaoYu-1》是一个面向初学者的开源项目,涵盖大语言模型全流程训练技术。项目特色包括:1)完整代码均配有中文注释,降低学习门槛;2)系统覆盖预训练、微调、强化学习等核心环节;3)提供详实的配套原理文档。推荐学习路径从基础概念到模型构建,逐步深入各技术模块(如位置编码、注意力机制、MOE等)。