深度学习模型训练技巧

引言 LoRA（Low-Rank Adaptation）是一种专为大模型设计的微调方法，通过低秩矩阵分解，LoRA可以在保持模型性能的情况下减少训练和推理的参数量，从而显著提高微调效率。本文将深入解析

Cost-sensitive learning 在文本分类中的应用 在文本分类任务中，通常采用的是多类别分类模型，即将文本分为多个类别。但是在实际应用中，不同的类别可能具有不同的重要性，即有些类别的错

ADASYN（Adaptive Synthetic Sampling）是一种基于数据的过采样方法，它可以用于解决类别不平衡问题。在文本分类中，由于某些类别的样本数量较少，可能会导致分类器对这些类别的识

在文本分类中，数据不平衡是一个常见的问题。这意味着我们可能会有大量的样本属于一个类别，而其他类别的样本数量相对较少。这种情况下，我们的分类器可能会倾向于预测出现频率更高的类别，而忽略其他类别。SMOT

样本类别不平衡的文本分类 在文本分类任务中，样本类别不平衡是一个常见的问题。即使是在大规模的数据集中，也会存在某些类别的样本数量远远少于其他类别的情况。这会导致模型对于少数类别的识别能力不足，影响模型

🤗 PEFT：在低资源硬件上对十亿规模模型进行参数高效微调 https://huggingface.co/blog/zh/peft 基于 Transformers 架构的大型语言模型 (LLM)，如

在一张 24 GB 的消费级显卡上用 RLHF 微调 20B LLMs https://huggingface.co/blog/zh/trl-peft 我们很高兴正式发布 trl 与 peft 的集成

ChatGPT 背后的“功臣”——RLHF 技术详解 OpenAI 推出的 ChatGPT 对话模型掀起了新的 AI 热潮，它面对多种多样的问题对答如流，似乎已经打破了机器和人的边界。这一工作的背后是

BERT 可微调参数和调参技巧： 学习率调整：可以使用学习率衰减策略，如余弦退火、多项式退火等，或者使用学习率自适应算法，如Adam、Adagrad等。 批量大小调整：批量大小的选择会影响模型的训练速

深度学习模型训练中 warm up 的重要性 深度学习模型在训练时需要进行一定的warm up操作，这个操作被广泛认为是非常重要的。在本文中，我们将深入探讨warm up的原理、适用场景和局限性，以及