leolee18

1、导入相关包 2、加载、划分、处理数据集 3、创建模型 Prompt tuning PEFT 1、配置文件 PEFT 2、创建模型 4、创建评估函数 5、创建TrainingArguments、Tr

1、导入相关包 2、加载、划分、处理数据集 3、创建模型 Prefix-tuning PEFT 1、配置文件 PEFT 2、创建模型 4、创建评估函数 5、创建TrainingArguments、Tr

1、导入相关包 2、加载基础模型 3、加载Lora模型 4、模型推理 5、模型合并 6、模型保存from transformers import AutoModelForCausalLM, AutoT

1、导入相关包 2、加载、划分、处理数据集 3、创建模型 Lora PEFT 1、配置文件 PEFT 2、创建模型 4、创建评估函数 5、创建TrainingArguments、Trainer 6、模

1、导入相关包 2、加载、划分、处理数据集 3、创建模型 IA3 PEFT 1、配置文件 PEFT 2、创建模型 4、创建评估函数 5、创建TrainingArguments、Trainer 6、模型

1、导入相关包 2、加载、划分、处理数据集 3、创建模型 BitFit 4、创建评估函数 5、创建TrainingArguments、Trainer 6、模型训练、评估、预测 7、模型推理

导入包 自定义简单模型 PEFT 配置文件、创建模型 多适配器加载与切换 创建模型 配器1 配器2 加载与切换 加载基本模型 加载配器1 加载配器2 切换适配器 禁用适配器 激活适配器A 禁用lora

对于大多数人或公司，没有足够的财力（数据、GPU、人才）从头开始训练大模型，基于已有的大模型作为基座，用自身业务相关的数据进行微调（finetune），是一个很好的选择。

长度控制 min/max_new_tokens 最小/最大生成的长度 min/max_length 序列整体的最小/最大长度 解码策略 do_sample 是否启用采样的生成方式 num_beams