中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频

1, Gradient descent 算法

梯度下降算法是最經(jīng)典的優(yōu)化算法之一。對(duì)于一個(gè)可導(dǎo)的函數(shù)F(x)來(lái)說(shuō)，梯度下降算法能夠?qū)ふ业紽(x)的最小值依賴于以下兩個(gè)發(fā)現(xiàn)：

首先，F(xiàn)(x)在x=a這一點(diǎn)上下降最快的方向是沿著F(x)的導(dǎo)數(shù)的反方向；

其次，在x=a足夠小的鄰域內(nèi)，沿著F(x)的梯度方向能夠找到一個(gè)點(diǎn)b，使得F(b)<>

在這個(gè)更小的值附近，繼續(xù)沿著導(dǎo)數(shù)的反方向?qū)ふ?，總能找到一個(gè)極小值點(diǎn)。一個(gè)二維空間上的迭代過(guò)程如下圖所示：

其中，左圖是等高線的熱點(diǎn)圖，以及在等高線之間按照gradient descent算法迭代的過(guò)程；右圖是算法的收斂過(guò)程。

2，牛頓方法

牛頓方法，又稱牛頓迭代，或者Newton-Raphson方法，其核心思想是沿著導(dǎo)數(shù)方向連續(xù)性的逼近一個(gè)實(shí)函數(shù)的根值。以一個(gè)單變量可導(dǎo)函數(shù)f(x)為例，我們從一個(gè)任意初始點(diǎn)

開(kāi)始，按照如下公式迭代：

這個(gè)迭代有意思的是，這里的

的幾何意義是函數(shù)f在點(diǎn)

上的切線與x軸的交點(diǎn)。

然后從這個(gè)交點(diǎn)位置開(kāi)始，繼續(xù)迭代，最終在第n點(diǎn)上，取到滿足條件的

:

這里如果是高維的話，比如多變量函數(shù)，切線就被高維的tangent代替。

一個(gè)二維空間上的迭代過(guò)程如下圖所示：

注意，仔細(xì)看左圖上的幾個(gè)綠色小圓點(diǎn)的位置（綠色非常不明顯，請(qǐng)使勁看-_-|||），跟上面的梯度算法比較，會(huì)發(fā)現(xiàn)牛頓算法的收斂速度更快。當(dāng)然，前提是，要能保證收斂性。至于如何保證收斂性，這里就不展開(kāi)講了（其實(shí)是怕展開(kāi)講也講不清楚^^），基本上來(lái)說(shuō)會(huì)涉及到一個(gè)是代價(jià)函數(shù)的凸性（convexity）和收斂域等因素的影響了。

雖然小編水平有限，但是，小編認(rèn)識(shí)一個(gè)叫做Stephen Boyd，他水平不知道高到哪里去了。到底有多高呢？一個(gè)數(shù)據(jù)告訴你：他寫的凸優(yōu)化（Convex Optimization）一書，已經(jīng)被引用了24616次了。如果你對(duì)凸優(yōu)化理論或者這本書有興趣的話，不妨試試看回復(fù)通關(guān)密碼“boyd”給我們。一定有驚喜哦！

請(qǐng)注意，本文的收斂動(dòng)圖來(lái)自新浪微博網(wǎng)友@趙開(kāi)勇，其余動(dòng)圖來(lái)自wikipedia，部分內(nèi)容也翻譯自wikipedia。