余磬TuT

1. 为什么需要进行继续预训练？ 我们新增加了一些中文词汇到词表中，但是这些词汇是没有得到训练的，因此在进行指令微调之前我们要进行预训练。预训练的方式一般都是相同的，简单来说，就是根据上一个字预测下一

1. 为什么需要构建中文 tokenization？ 2. 如何对原始数据预处理？ 3. 如何构建中文的词库？ 目前比较主流的是使用 sentencepiece 来训练中文词库。安装指令也很简单：pi

1. Byte-Pair Encoding(BPE) 如何构建词典？ 设定最大subwords个数。 将所有单词拆分为单个字符，并且在最后添加一个停止符，同时标记处该单词出现的次数。 统计每一个 连续

1. 预训练模型表现影响因素有那些？ 模型表现强依赖于模型规模(模型参数量 N、训练 Token 数 D、训练总计算量 C)。 平滑幂定律：模型表现与三个因子均遵循幂定律，不受另外两个因子限制。 在给

1. 什么是位置编码？ 位置编码分为绝对位置编码和相对位置编码，绝对位置编码就是直接按照函数公式或者可学习参数得到每个 token 的位置编码加到 token 的输入表征上。相对位置编码（Relati

1. SFT（有监督微调）的数据集格式？ 指令数据一般为 json 格式，包含 Instruction、Input、Output 三个字段（可以为空），每行一条样本。 Instruction（指令）

1. 大模型大概有多大，模型文件有多大? 大模型也分为不同的规格，一般模型的规格会体现在模型的名称上，例如 LLaMA2-13b，13b 就是其模型参数量的大小，意思是 130亿的参数量。大模型的文件

1. 什么是 LLM Agent? LLM Agent 是一种人工智能系统，它利用大型语言模型 (LLM) 作为其核心计算引擎，展示文本生成之外的功能，包括进行对话、完成任务、推理，并可以展示一定程度

在进行数据采集时，经常会遇到被目标网站封禁IP的情况，这给爬虫系统带来了困扰。本文将介绍如何提升爬虫IP的时效，解决被封IP的难题，帮助您顺利进行数据采集，不再受限于IP封禁。 第一步：使用爬虫IP