周末程序猿

机器学习|从0开发大模型之Tokenizer训练 继续写《从0开发大模型》系列文章，本文主要介绍从头快速训练一个Tokenizer。 1、Tokenizer 什么是Tokenizer，作用是什么？对于

继续写《从0开发大模型》系列文章，本文主要介绍预训练过程。 预训练是目的是让模型学习知识，需要将预处理的数据（《机器学习|从0开发大模型之数据预处理》）中生成的 pretrain_data.bin 文

本文主要介绍数据的预处理。 1、找大模型的数据 前面写了一篇文章《ChatGPT|大语言模型训练有哪些开源数据集? 》（https://mp.weixin.qq.com/s?__biz=MzA3Njk

继续写《从0开发大模型》系列文章，上一章主要数据数据预训练，让模型能学到句子接龙和部分语言理解能力，获取基座版本，但是用基座版本的模型的对话能力太弱了，需要用大量的数据微调，本文主要介绍如何用SFT训

最近在看深度学习的一些资料，发现有些基础知识比较模糊，于是重新整理了一下深度学习的基础知识。 1、基础知识 1.1 神经元 神经元是生物学的概念，神经网络的基本组成单元，神经元细胞有兴奋和抑制两种功能

近期事情比较多，所以停更了半个月，非常抱歉，这半个月也在梳理一下自己的知识体系，寻找明年的一些规划。 今天还是继续《Kubernetes实践》，为了方便我和大家对一些知识点的理解，后续还是会在文章开始

Kubernetes简称k8s，由于篇幅的原因，所以将k8s拆分为4篇文章： Kubernetes基础知识 Kubernetes核心原理 Kubernetes实践 Kubernetes源码解析...

上一篇《ChatGPT|AI自制编程语言-从0开始》... 本文是《AI自制编程语言》系列词法解析部分，功能是将源代码中的字符序列转换为单词（Token）序列，实现主要分为如下步骤： 定义词法单元：根

LLaMA 2 刚发布没多久，Meta又推出了它的升级版，LLaMA 2 Long正式登场！性能上全面超越LLaMA 2。和其他竞争对手相比也丝毫不弱，甚至某些方面能超越ChatGPT(3.5)。 目