本文章不是模型微调，是从零构架大模型，是基于Bert架构的。本文主要分两块，一个是tokenizer的构建。二是模型的构建和训练

第一部分 tokenizer分词器训练

bert的编码用的是WordPiece.

分词器训练分4个步骤，1：normalize; 2:pre_tokenizer预分词; 3:model; 4:post_processor后处理

step1 导包

from tokenizers import Tokenizer,processors
from tokenizers.models import WordPiece
from tokenizers.trainers import WordPieceTrainer
from tokenizers.normalizers import BertNormalizer
from tokenizers.pre_tokenizers import BertPreTokenizer
from tokenizers.decoders import WordPiece as WordPieceDecoder

step2 模型初始化，dataset（本文用的是文本）初始化

tokenizer = Tokenizer(WordPiece(unk_token="[UNK]"))
files =  ["/sanguo.txt"]  #你的训练数据，此处用的是三国演义

step3 normalize

tokenizer.normalizer = BertNormalizer(lowercase=True)

step4 预分词

tokenizer.pre_tokenizer = BertPreTokenizer()

step 5 添加special_token并模型训练

special_tokens = ["[UNK]", "[PAD]", "[CLS]", "[SEP]", "[MASK]"]
trainer = WordPieceTrainer(vocab_size=50000, show_progress=True, special_tokens=special_tokens)
tokenizer.train(files, trainer)

step 6 后处理及加入解码器

cls_token_id = tokenizer.token_to_id("[CLS]")
sep_token_id = tokenizer.token_to_id("[SEP]")
tokenizer.post_processor = processors.TemplateProcessing(
    single=f"[CLS]:0 $A:0 [SEP]:0",
    pair=f"[CLS]:0 $A:0 [SEP]:0 $B:1 [SEP]:1",
    special_tokens=[("[CLS]", cls_token_id), ("[SEP]", sep_token_id)],
)
tokenizer.decoder = WordPieceDecoder(prefix="##")

step 7 模型保存

tokenizer.save("tokenizer.json")

如果要在Transformers中使用这个分词器，我们需要将它包装在一个PreTrainedTokenizerFast中。在这我们使用特定的标记器类BertTokenizerFast

from transformers import BertTokenizerFast

wrapped_tokenizer = BertTokenizerFast(tokenizer_object = tokenizer)
wrapped_tokenizer.save_pretrained("./bert")

./bert文件夹下，新增了如下的文件

到此，分词器训练成功，我们的第一步完成，接下来是第二步，模型训练

第二部分模型训练

step 1 导包

from transformers import BertConfig,BertLMHeadModel,BertTokenizer,LineByLineTextDataset,DataCollatorForLanguageModeling,Trainer, TrainingArguments

step 2 加载第一部分训练的分词器

tokenizer = BertTokenizer.from_pretrained("./bert")

step 3 模型配置

config = BertConfig(
    vocab_size=tokenizer.vocab_size,
    is_decoder=True
)
model = BertLMHeadModel(config)

step 4 训练数据加载及处理

dataset = LineByLineTextDataset(
    tokenizer=tokenizer,
    file_path="./sanguo.txt",  # 你的训练数据
    block_size=32
)

data_collator = DataCollatorForLanguageModeling(
    tokenizer=tokenizer,
    mlm=False,
    mlm_probability=0.15
)

step 5 训练参数，训练器等设定

training_args = TrainingArguments(
    output_dir="./output",
    overwrite_output_dir=True,
    num_train_epochs=20,
    per_device_train_batch_size=16,
    save_steps=2000,
    save_total_limit=2
)
trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=data_collator,
    train_dataset=dataset
)

trainer.train()

step 6 模型保存

model.save_pretrained("./bert")

训练完毕后，./bert文件夹下新增了如下文件

到此，我们已经构建并训练完成bert大模型了，我们推理一下看看

模型推理测试

from transformers import pipeline, set_seed

generator = pipeline("text-generation", model="./bert_model")
set_seed(42)
txt = generator("吕布", max_length=50)
print(txt)

再来一个

txt = generator("接着奏乐", max_length=50)
print(txt)

看起来不错，比我参考的gpt2的强点，可能bert架构在小训练量的情况比gpt架构好点吧。。具体代码，我会放到github上 ,地址davidhandsome86 (github.com)希望和感兴趣的小伙伴多沟通交流。。

参考

仅用61行代码，你也能从零训练大模型 - 知乎 (zhihu.com)

从零训练Bert架构大模型