感知机

感知机

感知机的概念

​ 感知机是一种线性分类模型，属于判别模型，其使用一个线性方程所对应的超平面，将特征空间分成两部分。

例：有两个输入的感知机：

x1、x2是输入信号，y是输出信号，w1、w2是权重。图中的○称为“神经元”或者“节点”。输入信号被送往神经元时，会被分别乘以固定的权重（w1x1、w2x2）。神经元会计算传送过来的信号的总和，当这个总和超过了某个界限值时，才会输出1，否则输出0（二分类）。这也称为“神经元被激活”。这里将这个界限值称为阈值，用符号θ表示。

用数学公式表示为：

注：感知机的多个输入信号都有各自固有的权重，权重越大，对应该权重的信号的重要性就越高

单层感知机的局限性：单层感知机的局限性就在于它只能表示由一条直线分割的空间。（单层感知机无法分离非线性空间）

多层感知机：多层感知机可以表示非线性空间

感知机的损失函数

感知机的损失函数：误分类点到超平面的距离，即$-{1 \over {||w||}}\sum \limits_{x_i\in M} y_i(w*x_i+b)$,其中M为误分类点的集合

注：对于误分类点，$y_i(wx_i+b)$<0

感知机学习算法的原始形式

感知机学习算法是误分类驱动的，采用随机梯度下降法，不断地极小化目标函数。

训练过程：

注：

1.当一个实例点被误分类时，调整w,b，使分离超平面向误分类点的一侧移动，以减少误分类点距离超平面的距离。

2.其训练过程等价于使用批量大小为1的梯度下降，并使用L(y,x,w)=max(0,-y(w,x))的损失函数。