1.线性回归

线性回归中采用平方和的形式，一般都是由模型条件概率的最大似然函数 概率积最大值，求导，推导出来的。

统计学中，损失函数一般有以下几种：

1） 0-1损失函数

L(Y,f(X))={1,0,Y≠f(X)Y=f(X)

2） 平方损失函数

L(Y,f(X))=(Y−f(X))2

3） 绝对损失函数

L(Y,f(X))=|Y−f(X)|

4） 对数损失函数

L(Y,P(Y|X))=−logP(Y|X)

损失函数越小，模型就越好，而且损失函数 尽量 是一个凸函数，便于收敛计算。

线性回归，采用的是平方损失函数。而逻辑回归采用的是对数损失函数。

2.逻辑回归

逻辑回归的模型是一个非线性模型，采用sigmoid函数来分类。但是它本质上又是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤，算法都是线性回归的。可以说，逻辑回归，都是以线性回归为理论支持的。只不过，线性模型无法做到sigmoid的非线性形式，sigmoid可以轻松处理0/1分类问题。