最小二乘法公式
最小二乘法(least square)歷史簡介
1801年，意大利天文學(xué)家朱賽普·皮亞齊發(fā)現(xiàn)了第一顆小行星
谷神星。經(jīng)過40天的跟蹤觀測后，由于谷神星運行至太陽背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學(xué)家利用皮亞齊的觀測數(shù)據(jù)開始尋找谷神星，但是根據(jù)大多數(shù)人計算的結(jié)果來尋找谷神星都沒有結(jié)果。時年24歲的
高斯也計算了谷神星的軌道。奧地利天文學(xué)家海因里希·奧爾伯斯根據(jù)高斯計算出來的軌道重新發(fā)現(xiàn)了谷神星。
高斯使用的最小二乘法的方法發(fā)表于1809年他的著作《天體運動論》中。
法國科學(xué)家
勒讓德于1806年獨立發(fā)現(xiàn)“最小二乘法”。但因不為時人所知而默默無聞。
勒讓德曾與高斯為誰最早創(chuàng)立最小二乘法原理發(fā)生爭執(zhí)。
1829年，高斯提供了最小二乘法的優(yōu)化效果強于其他方法的證明，因此被稱為高斯-莫卡夫定理。（來自于wikipedia）
最小二乘法公式
最小二乘法公式
∑(X--X平)(Y--Y平)=∑(XY--X平Y(jié)--XY平+X平Y(jié)平)=∑XY--X平∑Y--Y平∑X+nX平Y(jié)平=∑XY--nX平Y(jié)平--nX平Y(jié)平+nX平Y(jié)平=∑XY--nX平Y(jié)平
∑(X --X平)^2=∑(X^2--2XX平+X平^2)=∑X^2--2nX平^2+nX平^2=∑X^2--nX平^2
最小二乘法原理
用各個離差的平方和M=Σ(i=1到n)[yi-(axi+b)]^2最小來保證每個離差的絕對值都很小。解方程組?M/?a=0；?M/?b=0，整理得(Σxi^2)a+(Σxi)b=Σxiyi；(Σxi)a+nb=Σyi。解出a,b。
在我們研究兩個變量(x, y)之間的相互關(guān)系時，通常可以得到一系列成對的數(shù)據(jù)(x1, y1、x2, y2... xm , ym)；將這些數(shù)據(jù)描繪在x -y直角坐標(biāo)系中, 若發(fā)現(xiàn)這些點在一條直線附近，可以令這條直線方程如(式1-1)。
Y計= a0 + a1 X (式1-1)
其中：a0、a1 是任意實數(shù)
為建立這直線方程就要確定a0和a1，應(yīng)用《最小二乘法原理》，將實測值Yi與利用(式1-1)計算值(Y計=a0+a1X)的離差(Yi-Y計)的平方和〔∑(Yi - Y計)2〕最小為“優(yōu)化判據(jù)”。
令: φ = ∑(Yi - Y計)2 (式1-2)
把(式1-1)代入(式1-2)中得:
φ = ∑(Yi - a0 - a1 Xi)2 (式1-3)
當(dāng)∑(Yi-Y計)平方最小時，可用函數(shù) φ 對a0、a1求偏導(dǎo)數(shù)，令這兩個偏導(dǎo)數(shù)等于零。
(式1-4)
(式1-5)
亦即：
m a0 + (∑Xi ) a1 = ∑Yi (式1-6)
(∑Xi ) a0 + (∑Xi2 ) a1 = ∑(Xi, Yi) (式1-7)
得到的兩個關(guān)于a0、 a1為未知數(shù)的兩個方程組，解這兩個方程組得出：
a0 = (∑Yi) / m - a1(∑Xi) / m (式1-8)
a1 = [n∑Xi Yi - (∑Xi ∑Yi)] / [n∑Xi2 - (∑Xi)2 )] (式1-9)
這時把a0、a1代入(式1-1)中, 此時的(式1-1)就是我們回歸的元線性方程即：數(shù)學(xué)模型。
在回歸過程中，回歸的關(guān)聯(lián)式是不可能全部通過每個回歸數(shù)據(jù)點(x1, y1、 x2, y2...xm,ym),為了判斷關(guān)聯(lián)式的好壞,可借助
相關(guān)系數(shù)“R”，統(tǒng)計量“F”，剩余標(biāo)準(zhǔn)偏差“S”進行判斷；“R”越趨近于 1 越好；“F”的絕對值越大越好；“S”越趨近于 0 越好。
R = [∑XiYi - m (∑Xi / m)(∑Yi / m)]/ SQR{[∑Xi2 - m (∑Xi / m)2][∑Yi2 - m (∑Yi / m)2]} (式1-10) ＊
在(式1-1)中，m為樣本容量，即實驗次數(shù)；Xi、Yi分別任意一組實驗X、Y的數(shù)值。
