Github 26k stars!从零构建大模型,已整理打包

698 阅读2分钟

自从ChatGPT发布以来,大型语言模型(LLM)大放异彩。

如今市面上关于大模型的书籍和教程可谓琳琅满目,但基本上都只是从原理和参数调优上讲解的,没有一本系统性的书籍告诉我们如何从零构建一个专属大模型。

那么,今天它来了!pdf放 公.zhu.号: AI智能江河

主角登场

机器学习和 AI 研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 又写了一本新书 ——《Build a Large Language Model (From Scratch)》。

image.png

注意的是,这本包含从零构建大模型的全部实现细节,在笔记本电脑上就可以完成操作。

作者介绍

图片

Raschka曾担任威斯康星大学麦迪逊分校统计学助理教授(2018 年至 2025 年终身教授)。于 2022 年 1 月加入到 Lightning AI 初创公司。此外,还撰写了畅销书《Machine Learning with PyTorch and Scikit-Learn》、《Python Machine Learning》等著作。

2024年9月,经过一年半的努力,《Build a Large Language Model (From Scratch)》出版,即从零构建一个大模型书籍。这本书在github上斩获了惊人的26.7k的stars!

图片

实现过程

通过这本书,你不仅可以掌握LLM的理论知识,更能通过实际操作,学会从零构建一个专属的语言模型,共分8大章节:

  • 第1章:深入理解大语言模型(LLM)

  • 第2章:解密文本数据处理技巧

  • 第3章:编程实现注意力机制(Attention Mechanisms)

  • 第4章:从无到有实现类似GPT模型

  • 第5章:对未标注数据进行预训练

  • 第6章:针对文本分类进行模型微调

  • 第7章:结合人类反馈进行模型微调

  • 第8章:在实践中应用大语言模型

图片

pdf放 公.zhu.号: AI智能江河