乐鱼leyu体育官网: AI算法·感知机-对偶形式·例题及python实现
22书接上一回,已经了解了原始形式后,我们看看对偶形式是干什么的。
对偶形式
对偶形式的基本思想是,将w和b表示为实例xi和标记yi的线性组合的形式,通过求解其系数而求得w和b。在算法中可假设初始值w0和b0均为0,对误分类点xi和yi通过
逐渐修改w和b,设修改n次,则w,b关于(xi,yi)的增量分别是ai·yi·xi和ai·yi,这里的ai=ni·η,则有最初学习到的w和b可以分别表示为:
这里,ai>=0,i=1,2,....N,当η=1时,表示第i个实例点由于误分类而进行更新的次数。实例点更新次数越多,意味着它距离分离超平面越近,也就越难正确分类。
感知机输入
线性可分的数据集T={(x1,y1),(x2,y2),....,(xn,yn)},其中xi∈Rn,yi∈{-1,+1},i=1,2...,N;学习率η(0<η≤1)
感知机输出
a,b;感知机模型:
数据预处理
由于对偶形式中训练实例仅以内积的形式出现,为了方便科将训练集中实例间的内积计算出来并以矩阵的形式储存,这个矩阵就是所谓的Gram矩阵。
例题
首先从上一篇文章把大家熟悉的例题薅过来。
对偶形式算法
1、取ai=0,i为下标,表示1,2,3, b=0, η=1;
2、计