線性代數(shù)的基本出發(fā)點(diǎn)就是解線性方程組。想想高中的齊次方程組的事情，齊次方程組Ax=0，非齊次方程組Ax=b. 

對(duì)于解線性方程組而言，怎么求解？高斯消元法，一步一步化簡(jiǎn)，分別求出未知數(shù)的值即可。

接下來就是各種分析矩陣A. 

整個(gè)線性代數(shù)這門課就是在分析不同的矩陣A，

“寬”的矩陣，“窄”的矩陣，“方”的矩陣。

一般的矩陣A具有什么性質(zhì)，特殊的矩陣A會(huì)具有什么特殊的性質(zhì)。

首先是element wise,就是一個(gè)元素一個(gè)元素來看，一個(gè)m*n的矩陣有m*n的元素。然后是column picture, 就是一列一列來看，一般習(xí)慣是用A_j表示，一共有n列。然后是row picture, 就是一行一行看，一般習(xí)慣用a_i^T表示，一共有m行。

另外，還有兩個(gè)視角，分別是row*column視角與分塊乘法視角。

矩陣A的靜態(tài)理解視角，想想一張圖片，就意味著一個(gè)矩陣。分析處理一張照片，本質(zhì)上是在分析處理這個(gè)矩陣。比如識(shí)別圖片中的內(nèi)容，或者對(duì)照片進(jìn)行壓縮等，都是在矩陣上做文章。再比如社交網(wǎng)絡(luò)、知識(shí)圖譜等，都是在網(wǎng)絡(luò)結(jié)構(gòu)上做文章，而網(wǎng)絡(luò)本身就有它的矩陣形式，或者是點(diǎn)邊鄰接矩陣，或者是點(diǎn)點(diǎn)矩陣等。

矩陣A的動(dòng)態(tài)理解視角，是指在運(yùn)算過程中，比如矩陣*向量，表示把一個(gè)矩陣作用到一個(gè)向量，是對(duì)向量進(jìn)行一些動(dòng)作，或者拉伸，或者旋轉(zhuǎn)，注意都是一些線性動(dòng)作。

寬的矩陣，從方程組的角度來看，就是未知數(shù)的數(shù)量多于方程的數(shù)量。從矩陣的角度來看，就是列數(shù)>>行數(shù)。

對(duì)于這種情況，第一反應(yīng)的方程組往往無窮多解。變量太多，方程太少，要想求解，必須得先固定一些變量，從而得到其他變量的值。就是自由變量與主變量的區(qū)別了。對(duì)于自由變量，簡(jiǎn)單起見，往往取0或1，方便計(jì)算。

想想線性規(guī)劃里的人工變量的事情，對(duì)于一些線性不等式而言，添加很多人工變量（剩余變量或松弛變量）后構(gòu)造成線性等式的樣子，此時(shí)變量數(shù)往往是多于等式的數(shù)量的。再去想想非基變量與基變量的事情，令非基變量為0，得到基變量的值（這個(gè)本質(zhì)上是隱函數(shù)定理）。

大白話說，空間就是集合，空間對(duì)于一些元素是封閉的，意思是說這個(gè)空間里的元素做加法，或者做數(shù)乘，結(jié)果還在這個(gè)空間里。比如a和b是空間中的任意兩個(gè)元素，a b還在空間里，2a, 3b, -a等都還在這個(gè)空間里。

對(duì)于一個(gè)矩陣而言，有4個(gè)基本子空間。這是個(gè)很關(guān)鍵的內(nèi)容。

窄的矩陣，就是方程數(shù)量多于變量數(shù)量，行數(shù)>>列數(shù)。一般而言，這種情況都是無解的。講窄的矩陣，主要是為了講最小二乘，線性回歸那些東西。這個(gè)是數(shù)據(jù)分析的基礎(chǔ)。

對(duì)于數(shù)據(jù)分析而言，得到一堆數(shù)據(jù)，首先是經(jīng)過一些清洗操作，之后是嘗試著進(jìn)行一些畫圖操作，觀察數(shù)據(jù)具有什么特點(diǎn)。

對(duì)于一個(gè)線性系統(tǒng)而言，觀察來的一大堆數(shù)據(jù)，往往是包含噪聲的，其實(shí)就是有些數(shù)據(jù)觀察的不準(zhǔn)。這種情況下，解線性方程組往往是無解的。怎么處理呢？這里就需要一些投影操作，說白了就是對(duì)觀察數(shù)據(jù)進(jìn)行一些調(diào)整，使得方程組有解，而方程組的解可以理解成這個(gè)線性系統(tǒng)的各種配置。

行列式、特征值、特征向量都是針對(duì)方陣而言的。方陣就是n個(gè)變量，n個(gè)方程的線性方程組。

行列式是跟方陣有關(guān)的一個(gè)數(shù)字，可以代表方陣的一些性質(zhì)。

行列式是一個(gè)非常神奇的數(shù)字。一個(gè)數(shù)字很難告訴我們整個(gè)矩陣是什么樣子，但是行列式這個(gè)數(shù)字包含了盡可能多的信息。比如，一個(gè)矩陣可逆等價(jià)于它的行列式非零。所以說行列式可以用來檢測(cè)矩陣的可逆性。當(dāng)然行列式的功能不僅如此。

行列式本身有2個(gè)公式，一個(gè)是行列式的定義公式，另外一個(gè)是那個(gè)代數(shù)余子式公式。行列式本身具有10個(gè)性質(zhì)，其中前面3個(gè)是基本性質(zhì)，后面的性質(zhì)都是由這些基本性質(zhì)衍生出來的。

求特征值需要用到行列式，是通過行列式為0，得到一個(gè)包含特征值的一元高次方程，求根，得到一堆解，每個(gè)解都是一個(gè)特征值。有了特征值之后才能找特征向量.一般情況下，一個(gè)特征值對(duì)應(yīng)著一個(gè)特征向量。

特征值的和是對(duì)角元素的和，是跡。特征值的乘積，是行列式。特征向量是經(jīng)過矩陣作用后，與原向量保持平行的向量。這些向量相對(duì)于原矩陣扮演了一些特殊的角色。其中一個(gè)作用是用特征值與特征向量來對(duì)角化矩陣。

為什么要對(duì)角化矩陣，本質(zhì)上是把一個(gè)矩陣對(duì)角化之后，會(huì)使得很多計(jì)算變得很容易，因?yàn)榘艘淮蠖?元素，做乘法會(huì)很容易。

給定一個(gè)特殊類型的矩陣，我們先去看它的特征值與特征向量。矩陣的特殊性往往會(huì)通過特征值與特征向量來體現(xiàn)。比如前面的馬爾可夫矩陣，一定有一個(gè)特征值為1. 之前講過旋轉(zhuǎn)矩陣，特征值是復(fù)數(shù)。

現(xiàn)在是對(duì)稱矩陣. 對(duì)于對(duì)稱矩陣而言，特征值一定是實(shí)數(shù)。而且特征向量是相互垂直的。正定矩陣，類似數(shù)有正負(fù)，有正數(shù)，負(fù)數(shù)；對(duì)矩陣而言，也有正定矩陣與負(fù)定矩陣；角色上可以類比。

(1) 對(duì)稱矩陣的特征值都是實(shí)數(shù)。

(2) 正定矩陣的特征值都是正數(shù)。

一般的方陣，到對(duì)稱矩陣，對(duì)稱矩陣再特殊一點(diǎn)是正定矩陣。當(dāng)然，那些上三角矩陣、下三角矩陣，對(duì)角矩陣，置換矩陣、投影矩陣、正交矩陣等也都是些特殊用途的矩陣。還有些什么稀疏矩陣等。

線性代數(shù)是解線性方程組的，對(duì)應(yīng)著線性規(guī)劃的約束部分，這里就是一大堆線性方程組，Ax=b. 基本上是個(gè)列數(shù)>>行數(shù)的情況。

所以從方程組的角度來看，相當(dāng)于有很多解，這些其實(shí)就是線性規(guī)劃的可行解，至于從可行解中挑出來最優(yōu)解的事情，就需要參考目標(biāo)函數(shù)了。目標(biāo)函數(shù)就是一個(gè)判斷標(biāo)準(zhǔn)，決定了哪個(gè)解是最優(yōu)解。當(dāng)然目標(biāo)函數(shù)本身也包含了一個(gè)梯度信息，指導(dǎo)從可行解中選出來最優(yōu)解的過程。

另外，從解方程組的角度來看，但凡不是行滿秩的矩陣A，意味著線性方程組中的方程是有冗余的，有多余的方程。理論上講，可以通過矩陣A消元的方式來識(shí)別哪些是冗余的方程。運(yùn)籌優(yōu)化里對(duì)矩陣A的處理，上來就默認(rèn)A是不存在冗余的，A是行滿秩的。

===============

以下分別是MIT的Gibert Strang，同濟(jì)的工程線性代數(shù)，以及一個(gè)公眾號(hào)“馬同學(xué)圖解數(shù)學(xué)”上關(guān)于線性代數(shù)的章節(jié)目錄設(shè)置。