开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第4天，点击查看活动详情

一、回归分析

在提及线性回归之前，我们先来看看回归分析，所谓回归分析就是找到一个特定的符合对应场景的曲线，该曲线可以正确表达出场景的对应关系。换言之，就是根据现有的数据，确定两种或两种以上变量之间相互依赖的定量关系。

回归分析可以根据变量数量和函数关系来简单划分，根据变量数可以划分为一元回归和多元回归，根据函数关系可以划分为线性回归和非线性回归。

二、线性回归

线性回归是一种特定的回归分析，也就是说在回归分析中，变量与因变量存在线性关系。用函数表达式来表示就是y=ax+b，画成图像就是一条递增或递减的直线。

线性回归主要是找到合适的a、b，一般是通过不断变化a、b的值求出不同的y值（此时可以认为是预测量），将该y值与实际的y值（此时可以认为是实际值）对比，越接近则a、b值越合适，整个过程其实就是让损失函数尽可能的小。

这里简单介绍一下常用的一个求值方法，梯度下降法。它是寻找极小值的一种方法，通过向函数上当前点对应梯度，也可以是近似梯度的反方向的规定步长距离点进行迭代搜索，直到在极小值处进行收敛。

举个例子，假设J=f（p），步长为0.5，那么就是对J进行求导，在求导的结果中代入p值（0.5、1、1.5...，按照步长递增），直到接近极小值点，此刻就可以找到极小值了，这就是梯度下降法最基本的含义与应用。

这次我们主要介绍了回归分析，以及其中的特例即线性回归。