落水天

前言 最近看了很多大模型，也使用了很多大模型。对于大模型理论似乎很了解，但是好像又缺点什么，思来想去决定自己动手实现一个 toy 级别的模型，在实践中加深对大语言模型的理解...

最近看了很多大模型，也使用了很多大模型。对于大模型理论似乎很了解，但是好像又缺点什么，因此打算自己实现一下 ...

大模型训练中的优化策略简述，包括数据并行、模型并行、ZeRO。首先分析显存占用，然后分析这些操作的原理。...

详细的阅读原文章，同时结合之前代码实现，希望能加深对模型结构的理解。 这次做到双语对照，以便之后回顾。...

之前虽然了解过 Transformer 架构，但是没有自己实现过。 最近阅读 transformers 库中 Llama 模型结构，于是想试着亲手实现一个简单的 Trans...

学习一下 transformers 库中，Llama 模型的代码，学习过程中写下这篇笔记，一来加深印象，二来可以多次回顾。 笔者小白，里面错误之处请不吝指出。...

想深入理解 BERT 模型，在阅读 transformers 库同时记录一下。 笔者小白，错误的地方请不吝指出。...