Linear Models

1 Function with unknown parameters

• model: y=b+wx1 x:feature 特征
• w and b are unknown paramenters (learn fron data) 系数
• weight bias

2 Define Loss from Training Data

• Loss is a function of parameters
• L(b,w)
• Loss : how good a set of values is\
• $e=|y-\hat y|$
  Loss:$L= \frac 1N\sum_n e_n$
• MSE:选用方差作为损失函数
• MAE:选用绝对值作为损失函数

3 Optimization 最优化

找到合适的w b 使得Loss最小

• Gradient Descent
• • Randomly Pick an initial value w0 选取一个随机点
• • 计算L对w得微分是多少
• • learning rate 学习率 该值越大，学习速度越快

Linear Models have severe limitation
Model Bias

We need a more flexible model!

Piecewise Linear [分段线性激活函数：有一段段z字形函数组成]

任何连续的曲线都可以由大量的z字形函数组合而成
关于如何表示蓝色function,可以用sigmond函数来表示

• Sigmoid Function
• 公式： $y=c \frac {1}{1+e^{(b=wx_1)}}$
• • $y=c.sigmoid(b+wx_1)$