首页 > 教育培训

k近邻算法基础知识 kkn是什么意思?

kkn是什么意思?

kkn是kirk

k近邻算法怎么找分类点?

k近邻(knn)分类算法是理论上比较成熟的方法,也是最简单的机器学习算法之一。

该方法的思想是:在特征空间中。如果一个样本附近的k个最近样本大部分属于某个类别,那么这个样本也属于这个类别。

k近邻算法基础知识 kkn是什么意思?

收敛阶怎么求?

迭代过程的收敛速度是指迭代误差的下降速度。迭代法的收敛速度一般用收敛阶来描述。

定义2:对于收敛的迭代法xk1φ(xk),(k1,2,)x_{k1}varphi(x_k),(k1,2,cdots)xk1φ(xk),(k1,2,)如果有一个常数p≥1,c0pgeq1,

limk→∞ek1ekpclim_{k

1}}{e^p_k}climk→∞ekpek1c区

如果成立(其中e·k·∣x·k·x·∣e_k|x_k-x*|ek·∣xkx·∣),则称迭代法收敛于p阶(次)。特别的,当p1p1p1时叫线性收敛,当p2p2p2时叫平方收敛。

例2:讨论一般迭代法xk1φ(xk),(k1,2,)x_{k1}varphi(x_k),(k1,2,cdots)xk1φ(xk),(k1,2,)的收敛速度。

解法:设xφ(x)x*varphi(x*)xφ(x),所以xk1xφ(xk)x_{k1}-x*varphi(x_k)-varphi(x*)xk1xφ(xk。根据中值定理,有

xk1xφ(xk)φ(x)φ′(ξ)(xkx)x_{k1}-x^*varphi(x_k)-varphi(x^*)varphi(xi)(x_k-x^*)xk1xφ(xk)φ(x)φ′(ξ)(xkx)

ξxiξ是xkx_kxk和xxx*x之间的一个点。

因为ek1x1x,ek1xxe_{k1}x_{x1}-x*,e_kx_k-x*ek1xx,ekxkx,当xkx_kxk在根x*x附近时,有ek1φ′(x)eke_。

可以看出,当φ(x)≠0varφ(x*)时

当eq0φ(x)0时,一般迭代法xk1φ(xk),(k1,2,)x_{k1}varphi(x_k),(k1,2,cdots)xk1φ(xk),(k1,2,)具有线性收敛性。

定理3:对于迭代过程xk1φ(xk)x_{k1}varphi(x_k)xk1φ(xk),若迭代函数φ(x)varphi(x)φ(x)在根xx*x附近有连续的二阶导数,且∣φ′(x

(1)当φ′(x)≠0时varφ(x*)

当eq0φ′(x)0时,迭代过程是线性收敛的;

(2)当φ′(x)0varphi(x*)0φ′(x)0,且φ′(x)≠0varphi(x*)

当方程0φ′′(x)0时,迭代过程是平方收敛的。

一般迭代法的收敛速度也可以是p阶收敛。设φ(x)varphi(x)φ(x)在xφ(x)xvarphi(x)xφ(x)的根附近有p阶连续导数,φ′(x)φ′(x)φ(p1)(x)0,φ(p)。

方程0φ′(x)φ′′(x)φ(p1)(x)0,φ(p)(x)0,则迭代过程xk1φ(xk)x_{k1}varphi(x_k)xk1φ(xk)是p阶收敛的。

用迭代法求解方程的根时,可以先判断迭代函数的收敛速度,再详细计算。

2.加速收敛过程

一次收费在收敛的迭代过程中,只要迭代次数足够多,计算结果可以达到任意指定的精度。但如果收敛过程太慢,计算工作量太大,在实际计算过程中往往要考虑加速收敛过程的问题。

φ过程

原文标题:k近邻算法基础知识 kkn是什么意思?,如若转载,请注明出处:https://www.suhaipipe.com/tag/31284.html
免责声明:此资讯系转载自合作媒体或互联网其它网站,「蓝鲸百科」登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,文章内容仅供参考。