小原爱学习

今天聊聊一个很多朋友踩过的坑：用SFT微调大模型时，模型越训越不对劲，回答变得越来越短、越来越模板化，动不动就重复某些句式。...

在大模型微调(SFT)的世界里，过拟合就像一个潜伏的隐形杀手。当70B参数的巨无霸模型遇上仅10万条的训练数据，会发生什么？...

被垂直SFT的过拟合、灾难性遗忘折磨的宝子们有福了！ 这个神仙开源工具实在是太有用了，忍不住分享给正在被大模型微调折磨的宝子...

做垂直微调时，很多团队的诉求并不复杂：希望模型在特定业务场景里更稳定、更准确、更可控。但现实是，SFT 往往不是一次性工程：数据会迭代、任务会新增、模型会升级、线上反馈会推...

本文从实战角度分析垂直领域SFT训练中常见的"复读机"、"灾难性遗忘"和"过拟合"问题，并详解如何通过Y-Trainer框架及其NLIRG算法解决这些痛点。文末附完整实操指...

本文将探讨垂直领域SFT训练中常见的过拟合与灾难性遗忘问题，并介绍一种基于token级梯度调控的解决方案——Y-Trainer中的NLIRG算法。文末附实操指南与效果验证方...