Datacook

LangChain Interrupt 2025的开幕演讲中提出了“Agent Engineering”这样一个融合了软件工程、机器学习、提示工程和产品管理的交叉概念...

引言 欢迎来到本课程的最后一课！经过前面19课的学习，我们已经掌握了从设计、实现、训练到部署一个20亿参数大型语言模型的全部技术知识。在这最后一课中，我们将把目光转向技术之...

引言 欢迎来到我们课程的第19课！在前面的课程中，我们已经从理论基础、模型架构、训练技术到实战应用，全面学习了如何构建和应用20亿参数的大型语言模型。现在，是时候将视野拓展...

引言 欢迎来到本课程的综合实战环节！在前面的课程中，我们从理论基础到技术实现，系统地学习了如何构建、训练和优化一个拥有20亿参数的大语言模型。现在，是时候将这些知识整合起来...

引言 欢迎来到"进阶与实战"模块的第二课！在前面的课程中，我们已经构建并训练了一个拥有20亿参数的大语言模型。然而，在大语言模型的世界中，20亿参数只能算是"入门级"。从G...

引言 欢迎来到"进阶与实战"模块的第一课！在前面的课程中，我们已经掌握了构建和训练大型语言模型的基础知识。然而，通用模型往往无法在特定领域发挥最佳性能。这就像是一个"全能型...

欢迎来到《从零构建大型语言模型》专栏的第15课！在过去几节课中，我们已经学习了如何设计、实现、训练和优化一个大型语言模型。今天，我们将探讨一个至关重要的主题：如何将训练好的...

欢迎来到《从零构建大型语言模型》专栏的第14课！在前几课中，我们已经学习了如何设计、实现、训练和评估一个大型语言模型。今天，我们将关注一个常被忽视但极其重要的环节：模型推理...

欢迎来到《从零构建大型语言模型》专栏的第13课！现在我们已经掌握了LLM的基础知识，并且通过前几课学习了如何设计、实现和训练一个大型语言模型。在本课中，我们将聚焦于一个至关...

到目前为止，我们已经学习了大型语言模型的核心架构、基础实现以及分布式训练方法。但要打造真正高效且实用的模型，我们还需要掌握一系列高级训练优化技术。这些技术不仅能提升模型性能...

在前面的课程中，我们已经探讨了大型语言模型的核心组件、计算优化和训练流程。然而，当模型规模达到数十亿参数时，单个GPU已无法满足训练需求。本课将深入讲解如何通过分布式训练技...

在前面的课程中，我们已经深入研究了大型语言模型的核心组件和计算优化技术。现在，我们将关注训练过程本身 - 从训练循环的设计到学习率管理，再到检查点保存和训练监控。这些"幕后...

在前面的课程中，我们已经深入研究了Transformer模型的设计和核心组件的实现。然而，要真正训练和部署20亿参数级的大型语言模型，我们还需要掌握一系列高效计算优化技术。...

欢迎来到《从零构建大型语言模型：Python实现20亿参数LLM的完整指南》的第8课。在上一课中，我们详细探讨了Transformer模型的设计原理、架构选择和自注意力机制...

欢迎来到《从零构建大型语言模型：Python实现20亿参数LLM的完整指南》的第7课。在本节课中，我们将深入探讨Transformer架构的核心组件设计，并从Python代...

引言 欢迎来到《从零构建大型语言模型：Python实现20亿参数LLM的完整指南》的第六课。在上一课中，我们学习了训练数据的获取与预处理，为模型训练奠定了数据基础。本课我们...

引言 欢迎来到《从零构建大型语言模型：Python实现20亿参数LLM的完整指南》的第五课。在前面的课程中，我们已经学习了大型语言模型的基本原理、架构设计和关键组件。现在，...

引言 欢迎来到《从零构建大型语言模型：Python实现20亿参数LLM的完整指南》的第四课。在前三课中，我们奠定了理论基础，包括大型语言模型的发展历程、Transforme...

前言：数据丰富但洞见匮乏的时代 你是否曾遇到这样的情况：团队花费数周甚至数月收集和分析数据，制作了令人印象深刻的图表和表格，却在向决策者或客户展示时遭遇困惑的眼神和礼貌的掌...

第3课：语言模型的数学基础 引言 欢迎来到《从零构建大型语言模型：Python实现20亿参数LLM的完整指南》的第三课。在前两课中，我们回顾了大型语言模型的发展历程，并深入...