DL笔记1：Linear Regression

参考资料：
感知器
线性单元
李宏毅2020:Regression
李宏毅2020:Regression-文字版

感知器

感知器，激活函数是阶跃函数，和神经元的本质上一样，只是激活函数不同
上世纪提出的感知器的概念，现在

模型

• 输入
  • 特征向量 $x=(x_1,x_2,…x_n)$
  • 权值 $w=(w_1,w_2,…,w_n)$
  • 偏置项 $b$
• 激活函数
  • $f(z)=\left{\begin{array}{lr}
    1 & z>0 \
    0 & \text { otherwise }
    \end{array}\right.$
• 输出
  • $y=f(wx+b)$

二分类问题

感知器模型可以用于解决二分类问题：对给定输入，输出0或1

例 感知器实现布尔运算

输入: $x=(x_1, x_2)$
输出: $y=f(w·x+b)$

激励函数: 阶跃函数 实现二分类

1. and 与运算
   $w 1=0.5, \quad w 2=0.5, \quad b=-0.8$
   $f(z)=\left{\begin{array}{l}1 & z>0 \ 0 & \text { otherwise }\end{array}\right.$

2. or 或运算
   $w 1=0.5, \quad w 2=0.5, \quad b=-0.3$
   $f(z)=\left{\begin{array}{l}1 & z>0 \ 0 & \text { otherwise }\end{array}\right.$

上述例子是线性可分的问题
如图 and 用线性函数可以把true和false分开

训练

优化目标：使损失最小的输入权值w和偏置项b

感知器训练算法

1. 初始化
   $w$和$b$初始化为0
2. 迭代
   $\begin{aligned} &w_{i} & \leftarrow &\quad w_{i}+\Delta w_{i} \ &b & \leftarrow &\quad b+\Delta b \end{aligned}$
   其中
   $\begin{aligned} &\Delta w_{i} & =&\quad \eta (t-y)x_i \ &\Delta b & =&\quad \eta (t-y) \end{aligned}$

数学表达	含义
$y$	感知器的输出值
$t$	target/label，训练样本的真实值
$\eta $	学习速率

线性单元