面試題

為什么要分庫(kù)分表（設(shè)計(jì)高并發(fā)系統(tǒng)的時(shí)候，數(shù)據(jù)庫(kù)層面該如何設(shè)計(jì)）？用過(guò)哪些分庫(kù)分表中間件？不同的分庫(kù)分表中間件都有什么優(yōu)點(diǎn)和缺點(diǎn)？你們具體是如何對(duì)數(shù)據(jù)庫(kù)如何進(jìn)行垂直拆分或水平拆分的？

面試官心理分析

其實(shí)這塊肯定是扯到高并發(fā)了，因?yàn)榉謳?kù)分表一定是為了支撐高并發(fā)、數(shù)據(jù)量大兩個(gè)問(wèn)題的。而且現(xiàn)在說(shuō)實(shí)話，尤其是互聯(lián)網(wǎng)類的公司面試，基本上都會(huì)來(lái)這么一下，分庫(kù)分表如此普遍的技術(shù)問(wèn)題，不問(wèn)實(shí)在是不行，而如果你不知道那也實(shí)在是說(shuō)不過(guò)去！

面試題剖析

為什么要分庫(kù)分表？（設(shè)計(jì)高并發(fā)系統(tǒng)的時(shí)候，數(shù)據(jù)庫(kù)層面該如何設(shè)計(jì)？）

說(shuō)白了，分庫(kù)分表是兩回事兒，大家可別搞混了，可能是光分庫(kù)不分表，也可能是光分表不分庫(kù)，都有可能。

我先給大家拋出來(lái)一個(gè)場(chǎng)景。

假如我們現(xiàn)在是一個(gè)小創(chuàng)業(yè)公司（或者是一個(gè) BAT 公司剛興起的一個(gè)新部門），現(xiàn)在注冊(cè)用戶就 20 萬(wàn)，每天活躍用戶就 1 萬(wàn)，每天單表數(shù)據(jù)量就 1000，然后高峰期每秒鐘并發(fā)請(qǐng)求最多就 10。天，就這種系統(tǒng)，隨便找一個(gè)有幾年工作經(jīng)驗(yàn)的，然后帶幾個(gè)剛培訓(xùn)出來(lái)的，隨便干干都可以。

結(jié)果沒想到我們運(yùn)氣居然這么好，碰上個(gè) CEO 帶著我們走上了康莊大道，業(yè)務(wù)發(fā)展迅猛，過(guò)了幾個(gè)月，注冊(cè)用戶數(shù)達(dá)到了 2000 萬(wàn)！每天活躍用戶數(shù) 100 萬(wàn)！每天單表數(shù)據(jù)量 10 萬(wàn)條！高峰期每秒最大請(qǐng)求達(dá)到 1000！同時(shí)公司還順帶著融資了兩輪，進(jìn)賬了幾個(gè)億人民幣??！公司估值達(dá)到了驚人的幾億美金！這是小獨(dú)角獸的節(jié)奏！

好吧，沒事，現(xiàn)在大家感覺壓力已經(jīng)有點(diǎn)大了，為啥呢？因?yàn)槊刻於?10 萬(wàn)條數(shù)據(jù)，一個(gè)月就多 300 萬(wàn)條數(shù)據(jù)，現(xiàn)在咱們單表已經(jīng)幾百萬(wàn)數(shù)據(jù)了，馬上就破千萬(wàn)了。但是勉強(qiáng)還能撐著。高峰期請(qǐng)求現(xiàn)在是 1000，咱們線上部署了幾臺(tái)機(jī)器，負(fù)載均衡搞了一下，數(shù)據(jù)庫(kù)撐 1000QPS 也還湊合。但是大家現(xiàn)在開始感覺有點(diǎn)擔(dān)心了，接下來(lái)咋整呢......

再接下來(lái)幾個(gè)月，我的天，CEO 太牛逼了，公司用戶數(shù)已經(jīng)達(dá)到 1 億，公司繼續(xù)融資幾十億人民幣啊！公司估值達(dá)到了驚人的幾十億美金，成為了國(guó)內(nèi)今年最牛逼的明星創(chuàng)業(yè)公司！天，我們太幸運(yùn)了。

但是我們同時(shí)也是不幸的，因?yàn)榇藭r(shí)每天活躍用戶數(shù)上千萬(wàn)，每天單表新增數(shù)據(jù)多達(dá) 50 萬(wàn)，目前一個(gè)表總數(shù)據(jù)量都已經(jīng)達(dá)到了兩三千萬(wàn)了！扛不住啊！數(shù)據(jù)庫(kù)磁盤容量不斷消耗掉！高峰期并發(fā)達(dá)到驚人的 5000~8000！別開玩笑了，哥。我跟你保證，你的系統(tǒng)支撐不到現(xiàn)在，已經(jīng)掛掉了！

好吧，所以你看到這里差不多就理解分庫(kù)分表是怎么回事兒了，實(shí)際上這是跟著你的公司業(yè)務(wù)發(fā)展走的，你公司業(yè)務(wù)發(fā)展越好，用戶就越多，數(shù)據(jù)量越大，請(qǐng)求量越大，那你單個(gè)數(shù)據(jù)庫(kù)一定扛不住。

分表

比如你單表都幾千萬(wàn)數(shù)據(jù)了，你確定你能扛住么？絕對(duì)不行，單表數(shù)據(jù)量太大，會(huì)極大影響你的 sql 執(zhí)行的性能，到了后面你的 sql 可能就跑的很慢了。一般來(lái)說(shuō)，就以我的經(jīng)驗(yàn)來(lái)看，單表到幾百萬(wàn)的時(shí)候，性能就會(huì)相對(duì)差一些了，你就得分表了。

分表是啥意思？就是把一個(gè)表的數(shù)據(jù)放到多個(gè)表中，然后查詢的時(shí)候你就查一個(gè)表。比如按照用戶 id 來(lái)分表，將一個(gè)用戶的數(shù)據(jù)就放在一個(gè)表中。然后操作的時(shí)候你對(duì)一個(gè)用戶就操作那個(gè)表就好了。這樣可以控制每個(gè)表的數(shù)據(jù)量在可控的范圍內(nèi)，比如每個(gè)表就固定在 200 萬(wàn)以內(nèi)。

分庫(kù)

分庫(kù)是啥意思？就是你一個(gè)庫(kù)一般我們經(jīng)驗(yàn)而言，最多支撐到并發(fā) 2000，一定要擴(kuò)容了，而且一個(gè)健康的單庫(kù)并發(fā)值你最好保持在每秒 1000 左右，不要太大。那么你可以將一個(gè)庫(kù)的數(shù)據(jù)拆分到多個(gè)庫(kù)中，訪問(wèn)的時(shí)候就訪問(wèn)一個(gè)庫(kù)好了。

這就是所謂的分庫(kù)分表，為啥要分庫(kù)分表？你明白了吧。

用過(guò)哪些分庫(kù)分表中間件？不同的分庫(kù)分表中間件都有什么優(yōu)點(diǎn)和缺點(diǎn)？

這個(gè)其實(shí)就是看看你了解哪些分庫(kù)分表的中間件，各個(gè)中間件的優(yōu)缺點(diǎn)是啥？然后你用過(guò)哪些分庫(kù)分表的中間件。

比較常見的包括：

• cobar
• TDDL
• atlas
• sharding-jdbc
• mycat

cobar

阿里 b2b 團(tuán)隊(duì)開發(fā)和開源的，屬于 proxy 層方案。早些年還可以用，但是最近幾年都沒更新了，基本沒啥人用，差不多算是被拋棄的狀態(tài)吧。而且不支持讀寫分離、存儲(chǔ)過(guò)程、跨庫(kù) join 和分頁(yè)等操作。

TDDL

淘寶團(tuán)隊(duì)開發(fā)的，屬于 client 層方案。支持基本的 crud 語(yǔ)法和讀寫分離，但不支持 join、多表查詢等語(yǔ)法。目前使用的也不多，因?yàn)檫€依賴淘寶的 diamond 配置管理系統(tǒng)。

atlas

360 開源的，屬于 proxy 層方案，以前是有一些公司在用的，但是確實(shí)有一個(gè)很大的問(wèn)題就是社區(qū)最新的維護(hù)都在 5 年前了。所以，現(xiàn)在用的公司基本也很少了。

sharding-jdbc

當(dāng)當(dāng)開源的，屬于 client 層方案。確實(shí)之前用的還比較多一些，因?yàn)?SQL 語(yǔ)法支持也比較多，沒有太多限制，而且目前推出到了 2.0 版本，支持分庫(kù)分表、讀寫分離、分布式 id 生成、柔性事務(wù)（最大努力送達(dá)型事務(wù)、TCC 事務(wù)）。而且確實(shí)之前使用的公司會(huì)比較多一些（這個(gè)在官網(wǎng)有登記使用的公司，可以看到從 2017 年一直到現(xiàn)在，是有不少公司在用的），目前社區(qū)也還一直在開發(fā)和維護(hù)，還算是比較活躍，個(gè)人認(rèn)為算是一個(gè)現(xiàn)在也可以選擇的方案。

mycat

基于 cobar 改造的，屬于 proxy 層方案，支持的功能非常完善，而且目前應(yīng)該是非常火的而且不斷流行的數(shù)據(jù)庫(kù)中間件，社區(qū)很活躍，也有一些公司開始在用了。但是確實(shí)相比于 sharding jdbc 來(lái)說(shuō)，年輕一些，經(jīng)歷的錘煉少一些。

總結(jié)

綜上，現(xiàn)在其實(shí)建議考量的，就是 sharding-jdbc 和 mycat，這兩個(gè)都可以去考慮使用。

sharding-jdbc 這種 client 層方案的優(yōu)點(diǎn)在于不用部署，運(yùn)維成本低，不需要代理層的二次轉(zhuǎn)發(fā)請(qǐng)求，性能很高，但是如果遇到升級(jí)啥的需要各個(gè)系統(tǒng)都重新升級(jí)版本再發(fā)布，各個(gè)系統(tǒng)都需要耦合 sharding-jdbc 的依賴；

mycat 這種 proxy 層方案的缺點(diǎn)在于需要部署，自己運(yùn)維一套中間件，運(yùn)維成本高，但是好處在于對(duì)于各個(gè)項(xiàng)目是透明的，如果遇到升級(jí)之類的都是自己中間件那里搞就行了。

通常來(lái)說(shuō)，這兩個(gè)方案其實(shí)都可以選用，但是我個(gè)人建議中小型公司選用 sharding-jdbc，client 層方案輕便，而且維護(hù)成本低，不需要額外增派人手，而且中小型公司系統(tǒng)復(fù)雜度會(huì)低一些，項(xiàng)目也沒那么多；但是中大型公司最好還是選用 mycat 這類 proxy 層方案，因?yàn)榭赡艽蠊鞠到y(tǒng)和項(xiàng)目非常多，團(tuán)隊(duì)很大，人員充足，那么最好是專門弄個(gè)人來(lái)研究和維護(hù) mycat，然后大量項(xiàng)目直接透明使用即可。

你們具體是如何對(duì)數(shù)據(jù)庫(kù)如何進(jìn)行垂直拆分或水平拆分的？

水平拆分的意思，就是把一個(gè)表的數(shù)據(jù)給弄到多個(gè)庫(kù)的多個(gè)表里去，但是每個(gè)庫(kù)的表結(jié)構(gòu)都一樣，只不過(guò)每個(gè)庫(kù)表放的數(shù)據(jù)是不同的，所有庫(kù)表的數(shù)據(jù)加起來(lái)就是全部數(shù)據(jù)。水平拆分的意義，就是將數(shù)據(jù)均勻放更多的庫(kù)里，然后用多個(gè)庫(kù)來(lái)抗更高的并發(fā)，還有就是用多個(gè)庫(kù)的存儲(chǔ)容量來(lái)進(jìn)行擴(kuò)容。

[圖片上傳失敗...(image-7c9145-1545721365912)]

垂直拆分的意思，就是把一個(gè)有很多字段的表給拆分成多個(gè)表，或者是多個(gè)庫(kù)上去。每個(gè)庫(kù)表的結(jié)構(gòu)都不一樣，每個(gè)庫(kù)表都包含部分字段。一般來(lái)說(shuō)，會(huì)將較少的訪問(wèn)頻率很高的字段放到一個(gè)表里去，然后將較多的訪問(wèn)頻率很低的字段放到另外一個(gè)表里去。因?yàn)閿?shù)據(jù)庫(kù)是有緩存的，你訪問(wèn)頻率高的行字段越少，就可以在緩存里緩存更多的行，性能就越好。這個(gè)一般在表層面做的較多一些。

[圖片上傳失敗...(image-53b1c0-1545721365912)]

這個(gè)其實(shí)挺常見的，不一定我說(shuō)，大家很多同學(xué)可能自己都做過(guò)，把一個(gè)大表拆開，訂單表、訂單支付表、訂單商品表。

還有表層面的拆分，就是分表，將一個(gè)表變成 N 個(gè)表，就是讓每個(gè)表的數(shù)據(jù)量控制在一定范圍內(nèi)，保證 SQL 的性能。否則單表數(shù)據(jù)量越大，SQL 性能就越差。一般是 200 萬(wàn)行左右，不要太多，但是也得看具體你怎么操作，也可能是 500 萬(wàn)，或者是 100 萬(wàn)。你的SQL越復(fù)雜，就最好讓單表行數(shù)越少。

好了，無(wú)論分庫(kù)還是分表，上面說(shuō)的那些數(shù)據(jù)庫(kù)中間件都是可以支持的。就是基本上那些中間件可以做到你分庫(kù)分表之后，中間件可以根據(jù)你指定的某個(gè)字段值，比如說(shuō) userid，自動(dòng)路由到對(duì)應(yīng)的庫(kù)上去，然后再自動(dòng)路由到對(duì)應(yīng)的表里去。

你就得考慮一下，你的項(xiàng)目里該如何分庫(kù)分表？一般來(lái)說(shuō)，垂直拆分，你可以在表層面來(lái)做，對(duì)一些字段特別多的表做一下拆分；水平拆分，你可以說(shuō)是并發(fā)承載不了，或者是數(shù)據(jù)量太大，容量承載不了，你給拆了，按什么字段來(lái)拆，你自己想好；分表，你考慮一下，你如果哪怕是拆到每個(gè)庫(kù)里去，并發(fā)和容量都o(jì)k了，但是每個(gè)庫(kù)的表還是太大了，那么你就分表，將這個(gè)表分開，保證每個(gè)表的數(shù)據(jù)量并不是很大。

而且這兒還有兩種分庫(kù)分表的方式：

• 一種是按照 range 來(lái)分，就是每個(gè)庫(kù)一段連續(xù)的數(shù)據(jù)，這個(gè)一般是按比如時(shí)間范圍來(lái)的，但是這種一般較少用，因?yàn)楹苋菀桩a(chǎn)生熱點(diǎn)問(wèn)題，大量的流量都打在最新的數(shù)據(jù)上了。
• 或者是按照某個(gè)字段hash一下均勻分散，這個(gè)較為常用。

range 來(lái)分，好處在于說(shuō)，擴(kuò)容的時(shí)候很簡(jiǎn)單，因?yàn)槟阒灰A(yù)備好，給每個(gè)月都準(zhǔn)備一個(gè)庫(kù)就可以了，到了一個(gè)新的月份的時(shí)候，自然而然，就會(huì)寫新的庫(kù)了；缺點(diǎn)，但是大部分的請(qǐng)求，都是訪問(wèn)最新的數(shù)據(jù)。實(shí)際生產(chǎn)用 range，要看場(chǎng)景。

hash 分發(fā)，好處在于說(shuō)，可以平均分配每個(gè)庫(kù)的數(shù)據(jù)量和請(qǐng)求壓力；壞處在于說(shuō)擴(kuò)容起來(lái)比較麻煩，會(huì)有一個(gè)數(shù)據(jù)遷移的過(guò)程，之前的數(shù)據(jù)需要重新計(jì)算 hash 值重新分配到不同的庫(kù)或表。