今天我們要說的是在我們的機器學(xué)習(xí)中的基礎(chǔ)數(shù)學(xué)之一線性代數(shù)。首先我們來將“線性代數(shù)”這四個字 分開來理解“什么是線性？”、“什么是代數(shù)？”。
什么是線性呢？
我們在中學(xué)里學(xué)過“一次方程”“一次函數(shù)”，其實他們就是“線性方程”、“線性函數(shù)”。
在大學(xué)里，線性有：“線性代數(shù)”、“線性變換”、“線性微分方程”、“線性偏微分方程”、“線性規(guī)劃”等等。
其實線性函數(shù)它的代數(shù)意義是：可加性、比例性（可乘性）。
這里的 x,y,k 都可以理解為是對象，只要這些對象能夠?qū)懗?y=kx ,那么它就是線性函數(shù). 它是過原點的.
什么是代數(shù)？
簡單的來說，代數(shù)就是用字母代替數(shù)進行運算，這里的字母是抽象的，它可以是變量、向量、矩陣等等。
其實線性代數(shù)的核心問題就是多元方程組求解，里面的主要內(nèi)容有乘積、內(nèi)積、秩。
已知矩陣A和矩陣B，求A和B的乘積C=AB。矩陣A大小為mxn，矩陣B大小為nxp.
常規(guī)方法：矩陣C中每一列元素Cij=A的第i行乘以B的第j行。
設(shè)有n為向量
令[x,y]=x1y1+x2y2+…+xnyn,稱[x,y]為向量x與y的內(nèi)積。
在線行代數(shù)中秩的定義：
一個矩陣A的列秩是A的線性無關(guān)的列的極大值，類似的，行秩的A的線性無關(guān)的行的極大值，矩陣的行和列的秩總是相等的，因此他們可以簡單地稱作矩陣A的秩，通常表示為R（A）；
所以矩陣秩的計算方法就是用行初等變換和列初等變換化為階梯型，并且在該階梯型中的非零行數(shù)就是所求的矩陣的秩。
那么線性代數(shù)中的算法又有那些呢？
高斯消元法
高斯消元法是線性代數(shù)中的一個算法，可以用來為線性方程組求解求矩陣的秩，以及求出可逆方程陣的逆矩陣。當(dāng)用于一個矩陣時，高斯消元法會產(chǎn)生一個“行階梯式”。
矩陣求逆
一般來說對矩陣求逆常用的方法有兩種:
1.伴隨矩陣法（構(gòu)造增廣矩陣）
2.初等變換法，即對所求矩陣進行行初等變換。
（1）交換兩行
（2）某行乘以標(biāo)量
（3）某行乘以標(biāo)量加到另一行
最小二乘法
最小二乘法是對過度確定系統(tǒng)，即其中存在比未知數(shù)更多的方程組，以回歸分析求得近似解的標(biāo)準(zhǔn)方程，在整個解決方案中，最小二乘法演算為每一方程式的結(jié)果中，將殘差平方和的總和最小化。
主要思想：選擇未知參數(shù)，使得理論值與觀測值之差平方和達到最小。
最重要的應(yīng)用是在曲線擬合上，最小平方所涵義的最佳擬合，即殘差（觀測值與模型提供的擬合值值之間的差距）平方總和的最小化。
線性代數(shù)的應(yīng)用
1、求解線性回歸
線性回歸是一種用于描述變量之間的關(guān)系的統(tǒng)計學(xué)傳統(tǒng)方法，一般來說我們求先行回歸的解通常都是采用的最小二乘法來解決問比較簡單題，因為它相對來說比較簡單然我們更加容易理解。
（1）隨機生成樣本點
（2）計算平均平方誤差 (MSE)
（3）得到最優(yōu)參數(shù)
2、主成分分析（PCA）
主成分分析是一種分析、簡化數(shù)據(jù)集的技術(shù)。通常用于降低數(shù)據(jù)集的維數(shù)，同時保持數(shù)據(jù)集中對方差貢獻的最大特征。這是通過對保留低階主成分，忽略高階主成分做到的。
其方法主要是通過對協(xié)方差矩陣進行特征分解然后得出數(shù)據(jù)的主成分（特征向量）與他們的權(quán)值（特征值）。PCA是最簡單的以特征向量分析多元統(tǒng)計分布的方法。其結(jié)果可以理解為對原數(shù)據(jù)中的方差做出解釋：哪一個方向上的數(shù)據(jù)值對方差的影響最大？換言之，PCA提供了一種降低數(shù)據(jù)維度的有效辦法；如果分析者在原數(shù)據(jù)中除掉最小的特征值所對應(yīng)的成分，那么所得的低維度數(shù)據(jù)必定是最優(yōu)的
主成分分析在分析復(fù)雜數(shù)據(jù)時尤為有用，eg.人臉識別。
3、奇異值分解（SVD）
奇異值分解是線性代數(shù)中一種重要的矩陣分解，在信號處理，圖片處理、統(tǒng)計學(xué)等領(lǐng)域都有重要的應(yīng)用。
它的特點是：突出的、奇特的、非凡的。
下面是一個SVD的實例：
這是我們利用奇異值分解來對圖片進行處理后的效果
其實有時數(shù)學(xué)也并不是我們想象的那么難，只要用心就一定去學(xué)習(xí)，一定會克服很多困難的。
聯(lián)系客服
