极客时间-AI大模型应用开发实战营
核心代码，注释必读
// download：
3w ukoou com
预训练语言模型的三种网络架构
编码器：编码器主要用于处理和理解输入信息。这些模型可以获得双向 的上下文，即可以同时考虑一个词的前面和后面的信息。由于编码器可 以考虑到未来的信息，它们非常适合用于需要理解整个句子的任务，如 文本分类、命名实体识别等。预训练编码器需要使其能够构建强大的表 示，这通常通过预测某个被遮蔽的单词、预测下一个句子或者其它的预 训练任务来实现。BERT就是一种典型的预训练编码器。
解码器：解码器主要用于生成输出信息。它们是语言模型的基础，用于 预测下一个单词。解码器只能考虑到过去的词，而不能考虑到未来的 词，这使得它们非常适合于生成任务，如文本生成、对话系统等。GPT 就是一种典型的预训练解码器。
编码器-解码器：编码器-解码器结构结合了编码器和解码器的优点。编 码器首先处理输入信息，然后解码器生成输出信息。这种结构可以考虑 到全局的上下文信息，因此非常适合于需要理解输入信息并生成相应的 输出的任务，如机器翻译、文本摘要等。如何预训练编码器-解码器模型 是一个开放的问题，因为需要考虑到如何有效地使用编码器和解码器的 特点。T5和BART都是典型的预训练编码器-解码器模型
极客 AI大模型应用开发实战营 - NLP基准测试介绍
MNLI-m (Multi-Genre Natural Language Inference, matched)：这是一个自然语言推理任务，其中包括了五个 不同类型（类型指的是来源，例如口语、小说等）的文本，并且这些文本在训练和测试集上都是匹配的。任务的 目标是根据一个给出的前提判断一个假设是蕴含、矛盾，还是无关。
• MNLI-mm (Multi-Genre Natural Language Inference, mismatched)：这也是一个自然语言推理任务，但与 MNLI-m不同的是，训练集和测试集的文本类型是不匹配的。这需要模型具有更好的泛化能力。
• SNLI (Stanford Natural Language Inference)：这是一个由斯坦福大学创建的自然语言推理任务，包含了大约55 万个人类注释的英文句子对。任务的目标同样是根据一个给出的前提判断一个假设是蕴含、矛盾，还是无关。
• SciTail：这是一个开放的自然语言推理任务，所有的问题和答案都来自科学领域的教材。任务的目标是根据一个 给出的前提判断一个假设是蕴含还是矛盾。
• QNLI (Question Natural Language Inference)：这是一个基于问答的自然语言推理任务，数据来源于SQuAD数 据集。任务的目标是根据给出的上下文判断一个假设（问题）是否被蕴含。 • RTE (Recognizing Textual Entailment)：这是一个文本蕴含识别任务，数据来源于多个版本的PASCAL RTE挑战 赛。任务的目标是根据一个给出的前提判断一个假设是蕴含还是矛盾
