随着数据量和计算能力的增加，大模型的参数量也在不断增加，同时进行大模型微调的成本也变得越来越高。全参数微调需要大量的计算资源和时间，且在进行切换下游任务时代价高昂。 本文作者介绍了一种新方法 LoR

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。目前正在学习这方面相关的内容，因此简单谈谈。

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。目前正在学习这方面相关的内容，因此简单谈谈。

神经网络在学习能力与性能方面，远超传统机器学习算法，也容易陷入了『过拟合』问题。本篇梳理4类缓解过拟合的方法：数据增强、Dropout随机失活、L1和L2正则化、Early Stopping/早停止。

在本节中，我们将学习如何提取模型中各种卷积核学习到的内容特征。此外，我们将对比开始几个卷积层中的卷积核学习到的内容与最后几个卷积层中的卷积核学习到的内容。

该路线图几乎涵盖了 AI 领域所有的知识点，并且每个知识点都有详细的文档。有了这个路线图的指导，或许能帮助你快速入门乃至成为 AI 领域的佼佼者。该项目上线短短几天，已经收获了 2.1k 星。 就这份 AI 专家路线图而言，开发者列出了任何学习路径所必不可少的一些要素，如论文和…

1. CTR概念 CTR, click through rate，指广告被点击次数 / 广告显示次数。 CTR预估模型公式：$y = f(x)$, $y \in [0, 1]$, 表示广告被点击的概率。 以下将介绍 LR, GBDT, FM, FFM, MLR, Deep an…

损失函数，又叫目标函数，用于计算真实值和预测值之间差异的函数，和优化器是编译一个神经网络模型的重要要素。 损失Loss必须是标量，因为向量无法比较大小（向量本身需要通过范数等标量来比较）。 损失函数一般分为4种，HingeLoss 0-1 损失函数，绝对值损失函数，平方损失函数…