• / 27
  • 下载费用:10 金币  

模式识别-最小平方误差算法.ppt

关 键 词:
模式识别-最小平方误差算法.ppt
资源描述:
,,,,3.7 最小平方误差算法,,,,,3.7 最小平方误差算法,(least mean square error, LMSE;亦称Ho-Kashyap算法),上述的感知器算法、梯度算法、固定增量算法或其他类 似方法,只有当模式类可分离时才收敛,在不可分的情况下, 算法会来回摆动,始终不收敛。当一次次迭代而又不见收敛 时,造成不收敛现象的原因分不清,有两种可能:,a) 迭代过程本身收敛缓慢 b) 模式本身不可分,对可分模式收敛。 对于类别不可分的情况也能指出来。,LMSE算法特点:,最小平方误差算法,,,,,1. 分类器的不等式方程,,上式分开写为:,,01,分类器的不等式方程,,写成矩阵形式为 :,,令N× (n+1) 的长方矩阵为X,则 变为:,,,,,,01,分类器的不等式方程,,01,分类器的不等式方程,式中:,,,0为零向量,感知器算法是通过解不等式组 ,求出W。,,,02,LMSE算法,,2. LMSE算法,,,1) 原理,的求解。式中:,∴ 两式等价。,为各分量均为正值的矢量。,LMSE算法把对满足 XW 0 的求解,改为满足,,02,LMSE算法,准则函数定义为:,“最小二乘”: —— 最小:使方程组两边误差最小,也即使J最小。 —— 二乘:次数为2,乘了两次,考察向量(XW-B) 有:,,02,LMSE算法,可以看出:① 当函数J达到最小值,等式XW=B有最优解。即又将问题转化为求准则函数极小值的问题。② 因为J有两个变量W和B,有更多的自由度供选择求解,故可望改善算法的收敛速率。,XW=B 的近似解也称“最优近似解”: —— 使方程组两边所有误差之和最小(即最优)的解。,准则函数:,,02,LMSE算法,,使J 对W求最小,令 ,得:,2) 推导LMSE算法递推公式,与问题相关的两个梯度:,(3-46),(3-47),由(3-47)式可知:只要求出B,就可求出W。,求递推公式:,(1) 求W 的递推关系,X为N×(n+1)长方阵,X#为(n+1) ×N 长方阵。,称为X的伪逆,,式中:,(3-45),,02,LMSE算法,(2) 求B(k+1)的迭代式,(3-46)代入,得,令,,定义,(3-49),(3-50),,02,LMSE算法,,(3) 求W(k+1)的迭代式,将(3-50)代入(3-47)式W=X#B 有:,,,,,02,LMSE算法,总结:设初值B(1),各分量均为正值,括号中数字代表迭代次数 。,……,W(k+1)、B(k+1)互相独立,先后次序无关。,……,求出B,W后,再迭代出下一个e,从而计算出新的B, W。,或另一算法:先算B(k+1),再算W(k+1)。,,02,LMSE算法,3)模式类别可分性判别,② 如果e(k)0 ,表明XW(k)B(k) 0, 隐含有解。继续迭代,可使e(k) →0 。,③ 如果e(k)0(所有分量为负数或零,但不全为零),停止迭代,无解。此时若继续迭代,数据不再发生变化。,可以证明:当模式类线性可分,且校正系数c满足 时,该算法收敛,可求得解W。,理论上不能证明该算法到底需要迭代多少步才能达到收 敛,通常在每次迭代计算后检查一下XW(k) 和误差向量e(k) , 从而可以判断是否收敛。,,① 如果e(k)=0 ,表明XW(k)=B(k) 0,有解。,分以下几种情况:,,02,LMSE算法,,,,,,,,情况③分析:,e(k)0,,02,LMSE算法,综上所述:只有当e(k)中有大于零的分量时,才需要继续迭 代,一旦e(k)的全部分量只有0和负数,则立即停止。事实上,往 往早在e(k)全部分量都达到非正值以前,就能看出其中有些分量 向正值变化得极慢,可及早采取对策。,通过反证法可以证明:在线性可分情况下,算法进行过程中不会出现 e(k)的分量全为负的情况;若出现e(k)的分量全为负,则说明模式类线性不可分。,4) LMSE算法描述,(1) 根据N个分属于两类的样本,写出规范化增广样本矩阵X。,(2) 求X的伪逆矩阵 。,,02,LMSE算法,……,(3) 设置初值c和B(1),c为正的校正增量,B(1)的各分量大于零,迭代次数k=1 。开始迭代:,计算,(4) 计算 ,进行可分性判别。,如果e(k)0,线性可分,若进入(5)可使e(k) →0 ,得最优解。,如果e(k)0,线性不可分,停止迭代,无解,算法结束。,如果e(k)=0,线性可分,解为W(k),算法结束。,否则,说明e(k)的各分量值有正有负,进入(5)。,,02,LMSE算法,(5) 计算W(k+1)和B(k+1)。,方法1:分别计算,方法2:先计算,再计算,迭代次数k加1,返
展开阅读全文
  微传网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
0条评论

还可以输入200字符

暂无评论,赶快抢占沙发吧。

关于本文
本文标题:模式识别-最小平方误差算法.ppt
链接地址:https://www.weizhuannet.com/p-10482416.html
微传网是一个办公文档、学习资料下载的在线文档分享平台!

微传网博客

网站资源均来自网络,如有侵权,请联系客服删除!

 网站客服QQ:80879498  会员QQ群:727456886

copyright@ 2018-2028 微传网络工作室版权所有

     经营许可证编号:冀ICP备18006529号-1 ,公安局备案号:13028102000124

收起
展开