前段時(shí)間,公司一個(gè)新上線的網(wǎng)站出現(xiàn)頁(yè)面響應(yīng)速度緩慢的問(wèn)題, 一位負(fù)責(zé)這個(gè)項(xiàng)目的但并不是搞技術(shù)的妹子找到我,讓我想辦法提升網(wǎng)站的訪問(wèn)速度 ,因?yàn)橐呀?jīng)有很多用戶(hù)來(lái)投訴了。我第一反應(yīng)覺(jué)的是數(shù)據(jù)庫(kù)上的問(wèn)題,假裝思索了一下,擺著一副深沉炫酷的模樣說(shuō):“是不是數(shù)據(jù)庫(kù)查詢(xún)上出問(wèn)題了, 給表加上索引吧”,然后妹子來(lái)了一句:“現(xiàn)在我們網(wǎng)站訪問(wèn)量太大,加索引有可能導(dǎo)致寫(xiě)入數(shù)據(jù)時(shí)性能下降,影響用戶(hù)使用的”。當(dāng)時(shí)我就楞了一下, 有種強(qiáng)行裝逼被拆穿的感覺(jué),在自己的專(zhuān)業(yè)領(lǐng)域居然被非專(zhuān)業(yè)的同學(xué)教育, 面子上真有點(diǎn)掛不住。
其實(shí), 我說(shuō)這個(gè)例子并不是為展現(xiàn)我們公司的同事們專(zhuān)業(yè)能力的強(qiáng)大、做的產(chǎn)品棒、安全性高、性能牛逼, 連非技術(shù)的同事也懂得技術(shù)上的細(xì)節(jié)。事實(shí)上我只是想說(shuō)明,「數(shù)據(jù)庫(kù)」和「數(shù)據(jù)庫(kù)索引」這兩個(gè)東西是在服務(wù)器端開(kāi)發(fā)領(lǐng)域應(yīng)用最為廣泛的兩個(gè)概念,熟練使用數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)索引是開(kāi)發(fā)人員在行業(yè)內(nèi)生存的必備技能,而整天和技術(shù)人員打交道的非技術(shù)人員們,由于耳濡目染久了,自然也就能講個(gè)頭頭是道了。
使用索引很簡(jiǎn)單,只要能寫(xiě)創(chuàng)建表的語(yǔ)句,就肯定能寫(xiě)創(chuàng)建索引的語(yǔ)句,要知道這個(gè)世界上是不存在不會(huì)創(chuàng)建表的服務(wù)器端程序員的。然而, 會(huì)使用索引是一回事, 而深入理解索引原理又能恰到好處使用索引又是另一回事,這完全是兩個(gè)天差地別的境界(我自己也還沒(méi)有達(dá)到這層境界)。很大一部份程序員對(duì)索引的了解僅限于到“加索引能使查詢(xún)變快”這個(gè)概念為止。
為什么要給表加上主鍵?
為什么加索引后會(huì)使查詢(xún)變快?
為什么加索引后會(huì)使寫(xiě)入、修改、刪除變慢?
什么情況下要同時(shí)在兩個(gè)字段上建索引?
這些問(wèn)題他們可能不一定能說(shuō)出答案。知道這些問(wèn)題的答案有什么好處呢?如果開(kāi)發(fā)的應(yīng)用使用的數(shù)據(jù)庫(kù)表中只有1萬(wàn)條數(shù)據(jù),那么了解與不了解真的沒(méi)有差別, 然而, 如果開(kāi)發(fā)的應(yīng)用有幾百上千萬(wàn)甚至億級(jí)別的數(shù)據(jù),那么不深入了解索引的原理, 寫(xiě)出來(lái)程序就根本跑不動(dòng),就好比如果給貨車(chē)裝個(gè)轎車(chē)的引擎,這貨車(chē)還能拉的動(dòng)貨嗎?
接下來(lái)就講解一下上面提出的幾個(gè)問(wèn)題,希望對(duì)閱讀者有幫助。
網(wǎng)上很多講解索引的文章對(duì)索引的描述是這樣的「索引就像書(shū)的目錄, 通過(guò)書(shū)的目錄就準(zhǔn)確的定位到了書(shū)籍具體的內(nèi)容」,這句話描述的非常正確, 但就像脫了褲子放屁,說(shuō)了跟沒(méi)說(shuō)一樣,通過(guò)目錄查找書(shū)的內(nèi)容自然是要比一頁(yè)一頁(yè)的翻書(shū)找來(lái)的快,同樣使用的索引的人難到會(huì)不知道,通過(guò)索引定位到數(shù)據(jù)比直接一條一條的查詢(xún)來(lái)的快,不然他們?yōu)槭裁匆ㄋ饕?/span>
想要理解索引原理必須清楚一種數(shù)據(jù)結(jié)構(gòu)「平衡樹(shù)」(非二叉),也就是b tree或者 b tree,重要的事情說(shuō)三遍:“平衡樹(shù),平衡樹(shù),平衡樹(shù)”。當(dāng)然, 有的數(shù)據(jù)庫(kù)也使用哈希桶作用索引的數(shù)據(jù)結(jié)構(gòu) , 然而, 主流的RDBMS都是把平衡樹(shù)當(dāng)做數(shù)據(jù)表默認(rèn)的索引數(shù)據(jù)結(jié)構(gòu)的。
我們平時(shí)建表的時(shí)候都會(huì)為表加上主鍵, 在某些關(guān)系數(shù)據(jù)庫(kù)中, 如果建表時(shí)不指定主鍵,數(shù)據(jù)庫(kù)會(huì)拒絕建表的語(yǔ)句執(zhí)行。 事實(shí)上, 一個(gè)加了主鍵的表,并不能被稱(chēng)之為「表」。一個(gè)沒(méi)加主鍵的表,它的數(shù)據(jù)無(wú)序的放置在磁盤(pán)存儲(chǔ)器上,一行一行的排列的很整齊, 跟我認(rèn)知中的「表」很接近。如果給表上了主鍵,那么表在磁盤(pán)上的存儲(chǔ)結(jié)構(gòu)就由整齊排列的結(jié)構(gòu)轉(zhuǎn)變成了樹(shù)狀結(jié)構(gòu),也就是上面說(shuō)的「平衡樹(shù)」結(jié)構(gòu),換句話說(shuō),就是整個(gè)表就變成了一個(gè)索引。沒(méi)錯(cuò), 再說(shuō)一遍, 整個(gè)表變成了一個(gè)索引,也就是所謂的「聚集索引」。 這就是為什么一個(gè)表只能有一個(gè)主鍵, 一個(gè)表只能有一個(gè)「聚集索引」,因?yàn)橹麈I的作用就是把「表」的數(shù)據(jù)格式轉(zhuǎn)換成「索引(平衡樹(shù))」的格式放置。
上圖就是帶有主鍵的表(聚集索引)的結(jié)構(gòu)圖。圖畫(huà)的不是很好, 將就著看。其中樹(shù)的所有結(jié)點(diǎn)(底部除外)的數(shù)據(jù)都是由主鍵字段中的數(shù)據(jù)構(gòu)成,也就是通常我們指定主鍵的id字段。最下面部分是真正表中的數(shù)據(jù)。 假如我們執(zhí)行一個(gè)SQL語(yǔ)句:
select * from table where id = 1256;
首先根據(jù)索引定位到1256這個(gè)值所在的葉結(jié)點(diǎn),然后再通過(guò)葉結(jié)點(diǎn)取到id等于1256的數(shù)據(jù)行。 這里不講解平衡樹(shù)的運(yùn)行細(xì)節(jié), 但是從上圖能看出,樹(shù)一共有三層, 從根節(jié)點(diǎn)至葉節(jié)點(diǎn)只需要經(jīng)過(guò)三次查找就能得到結(jié)果。如下圖
假如一張表有一億條數(shù)據(jù) ,需要查找其中某一條數(shù)據(jù),按照常規(guī)邏輯, 一條一條的去匹配的話, 最壞的情況下需要匹配一億次才能得到結(jié)果,用大O標(biāo)記法就是O(n)最壞時(shí)間復(fù)雜度,這是無(wú)法接受的,而且這一億條數(shù)據(jù)顯然不能一次性讀入內(nèi)存供程序使用, 因此, 這一億次匹配在不經(jīng)緩存優(yōu)化的情況下就是一億次IO開(kāi)銷(xiāo),以現(xiàn)在磁盤(pán)的IO能力和CPU的運(yùn)算能力, 有可能需要幾個(gè)月才能得出結(jié)果 。如果把這張表轉(zhuǎn)換成平衡樹(shù)結(jié)構(gòu)(一棵非常茂盛和節(jié)點(diǎn)非常多的樹(shù)),假設(shè)這棵樹(shù)有10層,那么只需要10次IO開(kāi)銷(xiāo)就能查找到所需要的數(shù)據(jù), 速度以指數(shù)級(jí)別提升,用大O標(biāo)記法就是O(log n),n是記錄總樹(shù),底數(shù)是樹(shù)的分叉數(shù),結(jié)果就是樹(shù)的層次數(shù)。換言之,查找次數(shù)是以樹(shù)的分叉數(shù)為底,記錄總數(shù)的對(duì)數(shù),用公式來(lái)表示就是
用程序來(lái)表示就是Math.Log(100000000,10),100000000是記錄數(shù),10是樹(shù)的分叉數(shù)(真實(shí)環(huán)境下分叉數(shù)遠(yuǎn)不止10), 結(jié)果就是查找次數(shù),這里的結(jié)果從億降到了個(gè)位數(shù)。因此,利用索引會(huì)使數(shù)據(jù)庫(kù)查詢(xún)有驚人的性能提升。
然而, 事物都是有兩面的, 索引能讓數(shù)據(jù)庫(kù)查詢(xún)數(shù)據(jù)的速度上升, 而使寫(xiě)入數(shù)據(jù)的速度下降,原因很簡(jiǎn)單的, 因?yàn)槠胶鈽?shù)這個(gè)結(jié)構(gòu)必須一直維持在一個(gè)正確的狀態(tài), 增刪改數(shù)據(jù)都會(huì)改變平衡樹(shù)各節(jié)點(diǎn)中的索引數(shù)據(jù)內(nèi)容,破壞樹(shù)結(jié)構(gòu), 因此,在每次數(shù)據(jù)改變時(shí), DBMS必須去重新梳理樹(shù)(索引)的結(jié)構(gòu)以確保它的正確,這會(huì)帶來(lái)不小的性能開(kāi)銷(xiāo),也就是為什么索引會(huì)給查詢(xún)以外的操作帶來(lái)副作用的原因。
講完聚集索引 , 接下來(lái)聊一下非聚集索引, 也就是我們平時(shí)經(jīng)常提起和使用的常規(guī)索引。
非聚集索引和聚集索引一樣, 同樣是采用平衡樹(shù)作為索引的數(shù)據(jù)結(jié)構(gòu)。索引樹(shù)結(jié)構(gòu)中各節(jié)點(diǎn)的值來(lái)自于表中的索引字段, 假如給user表的name字段加上索引 , 那么索引就是由name字段中的值構(gòu)成,在數(shù)據(jù)改變時(shí), DBMS需要一直維護(hù)索引結(jié)構(gòu)的正確性。如果給表中多個(gè)字段加上索引 , 那么就會(huì)出現(xiàn)多個(gè)獨(dú)立的索引結(jié)構(gòu),每個(gè)索引(非聚集索引)互相之間不存在關(guān)聯(lián)。 如下圖
每次給字段建一個(gè)新索引, 字段中的數(shù)據(jù)就會(huì)被復(fù)制一份出來(lái), 用于生成索引。 因此, 給表添加索引,會(huì)增加表的體積, 占用磁盤(pán)存儲(chǔ)空間。
非聚集索引和聚集索引的區(qū)別在于, 通過(guò)聚集索引可以查到需要查找的數(shù)據(jù), 而通過(guò)非聚集索引可以查到記錄對(duì)應(yīng)的主鍵值 , 再使用主鍵的值通過(guò)聚集索引查找到需要的數(shù)據(jù),如下圖
不管以任何方式查詢(xún)表, 最終都會(huì)利用主鍵通過(guò)聚集索引來(lái)定位到數(shù)據(jù), 聚集索引(主鍵)是通往真實(shí)數(shù)據(jù)所在的唯一路徑。
然而, 有一種例外可以不使用聚集索引就能查詢(xún)出所需要的數(shù)據(jù), 這種非主流的方法 稱(chēng)之為「覆蓋索引」查詢(xún), 也就是平時(shí)所說(shuō)的復(fù)合索引或者多字段索引查詢(xún)。 文章上面的內(nèi)容已經(jīng)指出, 當(dāng)為字段建立索引以后, 字段中的內(nèi)容會(huì)被同步到索引之中, 如果為一個(gè)索引指定兩個(gè)字段, 那么這個(gè)兩個(gè)字段的內(nèi)容都會(huì)被同步至索引之中。
先看下面這個(gè)SQL語(yǔ)句
//建立索引
create index index_birthday on user_info(birthday);
//查詢(xún)生日在1991年11月1日出生用戶(hù)的用戶(hù)名
select user_name from user_info where birthday = '1991-11-1'
這句SQL語(yǔ)句的執(zhí)行過(guò)程如下
首先,通過(guò)非聚集索引index_birthday查找birthday等于1991-11-1的所有記錄的主鍵ID值
然后,通過(guò)得到的主鍵ID值執(zhí)行聚集索引查找,找到主鍵ID值對(duì)就的真實(shí)數(shù)據(jù)(數(shù)據(jù)行)存儲(chǔ)的位置
最后, 從得到的真實(shí)數(shù)據(jù)中取得user_name字段的值返回, 也就是取得最終的結(jié)果
我們把birthday字段上的索引改成雙字段的覆蓋索引
create index index_birthday_and_user_name on user_info(birthday, user_name);
這句SQL語(yǔ)句的執(zhí)行過(guò)程就會(huì)變?yōu)?/span>
通過(guò)非聚集索引index_birthday_and_user_name查找birthday等于1991-11-1的葉節(jié)點(diǎn)的內(nèi)容,然而, 葉節(jié)點(diǎn)中除了有user_name表主鍵ID的值以外, user_name字段的值也在里面, 因此不需要通過(guò)主鍵ID值的查找數(shù)據(jù)行的真實(shí)所在, 直接取得葉節(jié)點(diǎn)中user_name的值返回即可。 通過(guò)這種覆蓋索引直接查找的方式, 可以省略不使用覆蓋索引查找的后面兩個(gè)步驟, 大大的提高了查詢(xún)性能,如下圖
數(shù)據(jù)庫(kù)索引的大致工作原理就是像文中所述, 然而細(xì)節(jié)方面可能會(huì)略有偏差,這但并不會(huì)對(duì)概念闡述的結(jié)果產(chǎn)生影響 。
最后, 推薦三本關(guān)系數(shù)據(jù)庫(kù)方面的書(shū)籍, 文中所講解的概念內(nèi)容都是來(lái)自于此。
《SQL Server2005技術(shù)內(nèi)幕之T-SQL查詢(xún)》
這本書(shū)雖然是針對(duì)SQL Server寫(xiě)的, 但是里面的大部份內(nèi)容同樣適用于其它關(guān)系數(shù)據(jù)庫(kù),此書(shū)對(duì)查詢(xún)編寫(xiě)的技巧和優(yōu)化講解的非常透徹。
《關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)概論》第四版
王珊和薩師煊寫(xiě)的那本, 是大學(xué)計(jì)算機(jī)教材, 講的通俗易懂, 在國(guó)內(nèi)計(jì)算機(jī)書(shū)圖書(shū)出版領(lǐng)域質(zhì)量是排的上號(hào)的。
《數(shù)據(jù)庫(kù)系統(tǒng)概念》
這本書(shū)在數(shù)據(jù)庫(kù)領(lǐng)域非常出名, 被稱(chēng)之為帆船書(shū), 書(shū)中內(nèi)容博大精深,非一朝一夕可參透的。
聯(lián)系客服