學(xué)習(xí)筆記

一句話簡單來說，索引的出現(xiàn)其實(shí)就是為了提高數(shù)據(jù)查詢的效率，就像書的目錄一樣。一本 500 頁的書，如果你想快速找到其中的某一個知識點(diǎn)，在不借助目錄的情況下，那我估計(jì)你可得找一會兒。同樣，對于數(shù)據(jù)庫的表而言，索引其實(shí)就是它的“目錄”。

索引的常見模型

常見的索引實(shí)現(xiàn)方式：哈希表、有序數(shù)組和搜索樹

從使用的角度，簡單分析一下這三種模型的區(qū)別：

不可避免地，多個 key 值經(jīng)過哈希函數(shù)的換算，會出現(xiàn)同一個值的情況。處理這種情況的一種方法是，拉出一個鏈表。

假設(shè)，你現(xiàn)在維護(hù)著一個身份證信息和姓名的表，需要根據(jù)身份證號查找對應(yīng)的名字，這時對應(yīng)的哈希索引的示意圖如下所示：

image.png

圖中，User2 和 User4 根據(jù)身份證號算出來的值都是 N，但沒關(guān)系，后面還跟了一個鏈表。假設(shè)，這時候你要查 ID_card_n2 對應(yīng)的名字是什么，處理步驟就是：首先，將 ID_card_n2 通過哈希函數(shù)算出 N；然后，按順序遍歷，找到 User2。

需要注意的是，圖中四個 ID_card_n 的值并不是遞增的，這樣做的好處是增加新的 User 時速度會很快，只需要往后追加。但缺點(diǎn)是，因?yàn)椴皇怯行虻?，所以哈希索引?strong>區(qū)間查詢的速度是很慢的。

你可以設(shè)想下，如果你現(xiàn)在要找身份證號在[ID_card_X, ID_card_Y]這個區(qū)間的所有用戶，就必須全部掃描一遍了。

哈希表這種結(jié)構(gòu)適用于只有等值查詢的場景，比如 Memcached 及其他一些 NoSQL 引擎。

而有序數(shù)組在等值查詢和范圍查詢場景中的性能就都非常優(yōu)秀。還是上面這個根據(jù)身份證號查名字的例子，如果我們使用有序數(shù)組來實(shí)現(xiàn)的話，示意圖如下所示：

image.png

同時很顯然，這個索引結(jié)構(gòu)支持范圍查詢。你要查身份證號在[ID_card_X, ID_card_Y]區(qū)間的 User，可以先用二分法找到 ID_card_X（如果不存在 ID_card_X，就找到大于 ID_card_X 的第一個 User），然后向右遍歷，直到查到第一個大于 ID_card_Y 的身份證號，退出循環(huán)。

如果僅僅看查詢效率，有序數(shù)組就是最好的數(shù)據(jù)結(jié)構(gòu)了。但是，在需要更新數(shù)據(jù)的時候就麻煩了，你往中間插入一個記錄就必須得挪動后面所有的記錄，成本太高。

所以，有序數(shù)組索引只適用于靜態(tài)存儲引擎，比如你要保存的是 2017 年某個城市的所有人口信息，這類不會再修改的數(shù)據(jù)。

二叉搜索樹也是課本里的經(jīng)典數(shù)據(jù)結(jié)構(gòu)了。還是上面根據(jù)身份證號查名字的例子，如果我們用二叉搜索樹來實(shí)現(xiàn)的話，示意圖如下所示：

image.png

二叉搜索樹的特點(diǎn)是：每個節(jié)點(diǎn)的左兒子小于父節(jié)點(diǎn)，父節(jié)點(diǎn)又小于右兒子。這樣如果你要查 ID_card_n2 的話，按照圖中的搜索順序就是按照 UserA -> UserC -> UserF -> User2 這個路徑得到。這個時間復(fù)雜度是 O(log(N))。

當(dāng)然為了維持 O(log(N)) 的查詢復(fù)雜度，你就需要保持這棵樹是平衡二叉樹。為了做這個保證，更新的時間復(fù)雜度也是 O(log(N))。

樹可以有二叉，也可以有多叉。多叉樹就是每個節(jié)點(diǎn)有多個兒子，兒子之間的大小保證從左到右遞增。二叉樹是搜索效率最高的，但是實(shí)際上大多數(shù)的數(shù)據(jù)庫存儲卻并不使用二叉樹。其原因是，索引不止存在內(nèi)存中，還要寫到磁盤上。

你可以想象一下一棵 100 萬節(jié)點(diǎn)的平衡二叉樹，樹高 20。一次查詢可能需要訪問 20 個數(shù)據(jù)塊。在機(jī)械硬盤時代，從磁盤隨機(jī)讀一個數(shù)據(jù)塊需要 10 ms 左右的尋址時間。也就是說，對于一個 100 萬行的表，如果使用二叉樹來存儲，單獨(dú)訪問一個行可能需要 20 個 10 ms 的時間，這個查詢可真夠慢的。

為了讓一個查詢盡量少地讀磁盤，就必須讓查詢過程訪問盡量少的數(shù)據(jù)塊。那么，我們就不應(yīng)該使用二叉樹，而是要使用“N 叉”樹。這里，“N 叉”樹中的“N”取決于數(shù)據(jù)塊的大小。

以 InnoDB 的一個整數(shù)字段索引為例，這個 N 差不多是 1200。這棵樹高是 4 的時候，就可以存 1200 的 3 次方個值，這已經(jīng) 17 億了?？紤]到樹根的數(shù)據(jù)塊總是在內(nèi)存中的，一個 10 億行的表上一個整數(shù)字段的索引，查找一個值最多只需要訪問 3 次磁盤。其實(shí)，樹的第二層也有很大概率在內(nèi)存中，那么訪問磁盤的平均次數(shù)就更少了。

N 叉樹由于在讀寫上的性能優(yōu)點(diǎn)，以及適配磁盤的訪問模式，已經(jīng)被廣泛應(yīng)用在數(shù)據(jù)庫引擎中了。

不管是哈希還是有序數(shù)組，或者 N 叉樹，它們都是不斷迭代、不斷優(yōu)化的產(chǎn)物或者解決方案。數(shù)據(jù)庫技術(shù)發(fā)展到今天，跳表、LSM 樹等數(shù)據(jù)結(jié)構(gòu)也被用于引擎設(shè)計(jì)中，這里我就不再一一展開了。

你心里要有個概念，數(shù)據(jù)庫底層存儲的核心就是基于這些數(shù)據(jù)模型的。每碰到一個新數(shù)據(jù)庫，我們需要先關(guān)注它的數(shù)據(jù)模型，這樣才能從理論上分析出這個數(shù)據(jù)庫的適用場景。

截止到這里，我用了半篇文章的篇幅和你介紹了不同的數(shù)據(jù)結(jié)構(gòu)，以及它們的適用場景，你可能會覺得有些枯燥。但是，我建議你還是要多花一些時間來理解這部分內(nèi)容，畢竟這是數(shù)據(jù)庫處理數(shù)據(jù)的核心概念之一，在分析問題的時候會經(jīng)常用到。當(dāng)你理解了索引的模型后，就會發(fā)現(xiàn)在分析問題的時候會有一個更清晰的視角，體會到引擎設(shè)計(jì)的精妙之處。

在 MySQL 中，索引是在存儲引擎層實(shí)現(xiàn)的，所以并沒有統(tǒng)一的索引標(biāo)準(zhǔn)，即不同存儲引擎的索引的工作方式并不一樣。而即使多個存儲引擎支持同一種類型的索引，其底層的實(shí)現(xiàn)也可能不同。由于 InnoDB 存儲引擎在 MySQL 數(shù)據(jù)庫中使用最為廣泛，所以下面我就以 InnoDB 為例，和你分析一下其中的索引模型。

InnoDB 的索引模型

在 InnoDB 中，表都是根據(jù)主鍵順序以索引的形式存放的，這種存儲方式的表稱為索引組織表。又因?yàn)榍懊嫖覀兲岬降模?strong>InnoDB 使用了 B+ 樹索引模型，所以數(shù)據(jù)都是存儲在 B+ 樹中的。

每一個索引在 InnoDB 里面對應(yīng)一棵 B+ 樹。

假設(shè)，我們有一個主鍵列為 ID 的表，表中有字段 k，并且在 k 上有索引。

這個表的建表語句是：

mysql> create table T(
id int primary key, 
k int not null, 
name varchar(16),
index (k))engine=InnoDB;

表中 R1~R5 的 (ID,k) 值分別為 (100,1)、(200,2)、(300,3)、(500,5) 和 (600,6)，兩棵樹的示例示意圖如下。

image.png

從圖中不難看出，根據(jù)葉子節(jié)點(diǎn)的內(nèi)容，索引類型分為主鍵索引和非主鍵索引。

主鍵索引的葉子節(jié)點(diǎn)存的是整行數(shù)據(jù)。在 InnoDB 里，主鍵索引也被稱為聚簇索引（clustered index）。

非主鍵索引的葉子節(jié)點(diǎn)內(nèi)容是主鍵的值。在 InnoDB 里，非主鍵索引也被稱為二級索引（secondary index）。

根據(jù)上面的索引結(jié)構(gòu)說明，我們來討論一個問題：基于主鍵索引和普通索引的查詢有什么區(qū)別？

• 如果語句是 select * from T where ID=500，即主鍵查詢方式，則只需要搜索 ID 這棵 B+ 樹；
• 如果語句是 select * from T where k=5，即普通索引查詢方式，則需要先搜索 k 索引樹，得到 ID 的值為 500，再到 ID 索引樹搜索一次。這個過程稱為回表。

也就是說，基于非主鍵索引的查詢需要多掃描一棵索引樹。因此，我們在應(yīng)用中應(yīng)該盡量使用主鍵查詢。

索引維護(hù)

B+ 樹為了維護(hù)索引有序性，在插入新值的時候需要做必要的維護(hù)。以上面這個圖為例，如果插入新的行 ID 值為 700，則只需要在 R5 的記錄后面插入一個新記錄。如果新插入的 ID 值為 400，就相對麻煩了，需要邏輯上挪動后面的數(shù)據(jù)，空出位置。

而更糟的情況是，如果 R5 所在的數(shù)據(jù)頁已經(jīng)滿了，根據(jù) B+ 樹的算法，這時候需要申請一個新的數(shù)據(jù)頁，然后挪動部分?jǐn)?shù)據(jù)過去。這個過程稱為頁分裂。在這種情況下，性能自然會受影響。

除了性能外，頁分裂操作還影響數(shù)據(jù)頁的利用率。原本放在一個頁的數(shù)據(jù)，現(xiàn)在分到兩個頁中，整體空間利用率降低大約 50%。

當(dāng)然有分裂就有合并。當(dāng)相鄰兩個頁由于刪除了數(shù)據(jù)，利用率很低之后，會將數(shù)據(jù)頁做合并。合并的過程，可以認(rèn)為是分裂過程的逆過程。

基于上面的索引維護(hù)過程說明，我們來討論一個案例：

你可能在一些建表規(guī)范里面見到過類似的描述，要求建表語句里一定要有自增主鍵。當(dāng)然事無絕對，我們來分析一下哪些場景下應(yīng)該使用自增主鍵，而哪些場景下不應(yīng)該。

自增主鍵是指自增列上定義的主鍵，在建表語句中一般是這么定義的： NOT NULL PRIMARY KEY AUTO_INCREMENT。

插入新記錄的時候可以不指定 ID 的值，系統(tǒng)會獲取當(dāng)前 ID 最大值加 1 作為下一條記錄的 ID 值。

也就是說，自增主鍵的插入數(shù)據(jù)模式，正符合了我們前面提到的遞增插入的場景。每次插入一條新記錄，都是追加操作，都不涉及到挪動其他記錄，也不會觸發(fā)葉子節(jié)點(diǎn)的分裂。

而有業(yè)務(wù)邏輯的字段做主鍵，則往往不容易保證有序插入，這樣寫數(shù)據(jù)成本相對較高。

除了考慮性能外，我們還可以從存儲空間的角度來看。假設(shè)你的表中確實(shí)有一個唯一字段，比如字符串類型的身份證號，那應(yīng)該用身份證號做主鍵，還是用自增字段做主鍵呢？

由于每個非主鍵索引的葉子節(jié)點(diǎn)上都是主鍵的值。如果用身份證號做主鍵，那么每個二級索引的葉子節(jié)點(diǎn)占用約 20 個字節(jié)，而如果用整型做主鍵，則只要 4 個字節(jié)，如果是長整型（bigint）則是 8 個字節(jié)。

顯然，主鍵長度越小，普通索引的葉子節(jié)點(diǎn)就越小，普通索引占用的空間也就越小。

所以，從性能和存儲空間方面考量，自增主鍵往往是更合理的選擇。

有沒有什么場景適合用業(yè)務(wù)字段直接做主鍵的呢？還是有的。比如，有些業(yè)務(wù)的場景需求是這樣的：

1. 只有一個索引；
2. 該索引必須是唯一索引。

你一定看出來了，這就是典型的 KV 場景。

由于沒有其他索引，所以也就不用考慮其他索引的葉子節(jié)點(diǎn)大小的問題。

這時候我們就要優(yōu)先考慮上一段提到的“盡量使用主鍵查詢”原則，直接將這個索引設(shè)置為主鍵，可以避免每次查詢需要搜索兩棵樹。

總結(jié)：

分析了數(shù)據(jù)庫引擎可用的數(shù)據(jù)結(jié)構(gòu)，介紹了 InnoDB 采用的 B+ 樹結(jié)構(gòu)，以及為什么 InnoDB 要這么選擇。B+ 樹能夠很好地配合磁盤的讀寫特性，減少單次查詢的磁盤訪問次數(shù)。

由于 InnoDB 是索引組織表，一般情況下我會建議你創(chuàng)建一個自增主鍵，這樣非主鍵索引占用的空間最小。但事無絕對，我也跟你討論了使用業(yè)務(wù)邏輯字段做主鍵的應(yīng)用場景。