
內(nèi)容來(lái)源:作者——趙晨,沃趣科技產(chǎn)品專家
鏈接:http://www.doit.com.cn/p/298794.html,好文請(qǐng)多支持!感謝您的閱讀~
摘要
數(shù)據(jù)庫(kù)一體機(jī)并不是一個(gè)新生的事物,它已經(jīng)有了10年的歷史,經(jīng)過(guò)了許多行業(yè)和應(yīng)用場(chǎng)景的考驗(yàn),是非常成熟穩(wěn)定的產(chǎn)品。它具有極高的性能,可量化的可用性,預(yù)先集成,開箱即用,更低的TCO,更高的ROI,適用場(chǎng)景廣泛,同時(shí)也符合數(shù)據(jù)中心的發(fā)展趨勢(shì)。
傳統(tǒng)IOE架構(gòu)的問(wèn)題
對(duì)于Oracle數(shù)據(jù)庫(kù)系統(tǒng)來(lái)說(shuō),IOE架構(gòu)是一種非常經(jīng)典的架構(gòu)。過(guò)去的十幾年,它已經(jīng)在許多行業(yè)中證明了自己存在的合法性。那為什么我們要用數(shù)據(jù)庫(kù)一體機(jī)這樣的新架構(gòu)去取代它?是因?yàn)殡S著互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展,IOE架構(gòu)暴露出了許許多多的問(wèn)題
I/O性能
這是最大的問(wèn)題所在。在該架構(gòu)中,通常只有一個(gè)集中式的存儲(chǔ)陣列,通過(guò)光纖網(wǎng)絡(luò)向計(jì)算節(jié)點(diǎn)提供存儲(chǔ)資源。早期的存儲(chǔ)陣列全部采用機(jī)械磁盤,其性能有非常明顯的瓶頸,即使發(fā)展到了今天,一塊高端的機(jī)械盤最多也只能提供300左右的IOPS,延遲也很高,通常在幾十毫秒。相對(duì)于SSD高達(dá)幾萬(wàn)的IOPS,以及微秒級(jí)別的延遲而言,在OLTP的場(chǎng)景下,性能差距非常明顯。那你可能會(huì)有疑問(wèn),現(xiàn)在SSD已經(jīng)非常普及,各大存儲(chǔ)廠商的AFA(全閃陣列)產(chǎn)品比比皆是,是否只需將原先架構(gòu)中的集中式存儲(chǔ)替換成更新的型號(hào)就可以了?答案是否定的。在數(shù)據(jù)倉(cāng)庫(kù)的場(chǎng)景下,通常數(shù)據(jù)量巨大,而且和時(shí)間是正相關(guān)的。此時(shí)整個(gè)系統(tǒng)所能提供的吞吐量就成為關(guān)鍵,而非IOPS和延遲,也就是說(shuō)需要在可接受的時(shí)間內(nèi),從存儲(chǔ)系統(tǒng)向數(shù)據(jù)庫(kù)服務(wù)器傳輸足夠大量的數(shù)據(jù)。在這樣的場(chǎng)景下,集中式存儲(chǔ)所能提供的吞吐是非常有限的(因?yàn)榫W(wǎng)絡(luò)端口數(shù)量有限),并且無(wú)法進(jìn)行水平擴(kuò)展。因此即使使用了全閃陣列,也無(wú)法應(yīng)對(duì)超大型的數(shù)據(jù)倉(cāng)庫(kù)場(chǎng)景。
可用性
對(duì)于核心數(shù)據(jù)庫(kù)系統(tǒng)來(lái)說(shuō),可用性一定是最重要的。雖然集中式存儲(chǔ)陣列內(nèi)部也有各種冗余的設(shè)計(jì),但從整個(gè)架構(gòu)來(lái)看,它依然是一個(gè)單點(diǎn)。一旦整個(gè)存儲(chǔ)陣列發(fā)生故障,數(shù)據(jù)庫(kù)也會(huì)隨之發(fā)生宕機(jī),而且還存在設(shè)備無(wú)法恢復(fù)導(dǎo)致數(shù)據(jù)丟失的風(fēng)險(xiǎn)。這對(duì)于企業(yè)來(lái)說(shuō),幾乎就是一場(chǎng)災(zāi)難,因?yàn)閿?shù)據(jù)是無(wú)價(jià)的。
開放式系統(tǒng)
IOE架構(gòu)其實(shí)是建立在80年代所提出的開放式系統(tǒng)概念之上的。為了構(gòu)建一個(gè)數(shù)據(jù)庫(kù)系統(tǒng),需要從多個(gè)不同的廠商采購(gòu)不同的硬件、軟件,然后再將這些部件重新集成,這個(gè)過(guò)程成本很高,包括資金、人力和時(shí)間成本。因?yàn)槠髽I(yè)需要面對(duì)各種問(wèn)題:不同設(shè)備的到貨周期,產(chǎn)品穩(wěn)定性、兼容性,各個(gè)廠商實(shí)施人員的技術(shù)水平,項(xiàng)目經(jīng)理的協(xié)調(diào)能力等等。雖然提出開放式系統(tǒng)概念的初衷是因?yàn)樵瓉?lái)的一體化產(chǎn)品過(guò)于封閉限制諸多,但其無(wú)形之中也在不同程度上增加了其他環(huán)節(jié)的成本。雖然各個(gè)廠商都提供了一些標(biāo)準(zhǔn)的軟件和接口,但兼容性的問(wèn)題從來(lái)沒(méi)有消失過(guò),而且這類問(wèn)題通常都很難找到根本原因,各個(gè)廠商之間互相推諉,解決問(wèn)題的效率低下。
高昂的TCO
這一點(diǎn)不僅僅體現(xiàn)在設(shè)備以及軟件本身的成本上。像IBM、Oracle、EMC這樣的國(guó)際廠商,針對(duì)各自產(chǎn)品收取的維保服務(wù)費(fèi)用也已經(jīng)成為企業(yè)很大的負(fù)擔(dān),而且維保費(fèi)用是和設(shè)備的使用年限成正比的。越老的設(shè)備費(fèi)用越高,每年上百萬(wàn)的維保服務(wù)費(fèi)在許多大型企業(yè)中都很常見。
數(shù)據(jù)庫(kù)一體機(jī)是新生事物嗎?
一件事物既然有很多的問(wèn)題,無(wú)法適應(yīng)時(shí)代的發(fā)展,那被淘汰也是必然的。就像馬車被汽車取代,尋呼機(jī)被手機(jī)取代,唱片被數(shù)字音樂(lè)取代一樣。那取代IOE架構(gòu)的會(huì)是什么呢?從目前的發(fā)展趨勢(shì)來(lái)看,數(shù)據(jù)庫(kù)一體機(jī)非常有可能成為它的替代者。但對(duì)于新生的事物,人們或多或少都會(huì)對(duì)它有一些排斥或者質(zhì)疑,就像哥白尼提出的日心說(shuō),特斯拉發(fā)明的交流電。但如果我告訴你,一體機(jī)其實(shí)已經(jīng)根本不算一個(gè)新生事物了,你對(duì)它的看法是否會(huì)有所改變呢?
自2008年9月24日,Oracle公司發(fā)布第一代一體機(jī):The HP Oracle Database Machine(Exadata v1)以來(lái),今年已經(jīng)是數(shù)據(jù)庫(kù)一體機(jī)這個(gè)產(chǎn)品走過(guò)的第10個(gè)年頭。經(jīng)過(guò)10年的發(fā)展,這個(gè)細(xì)分領(lǐng)域的產(chǎn)品其實(shí)已經(jīng)非常成熟。縱觀現(xiàn)在市面上的Oracle數(shù)據(jù)庫(kù)一體機(jī)產(chǎn)品,架構(gòu)基本相同,都采用了計(jì)算-存儲(chǔ)分離的三層架構(gòu)(也有些產(chǎn)品采用了超融合的架構(gòu),不在本文討論范圍)。下面我們將一體機(jī)產(chǎn)品進(jìn)行解剖,看看其中的幾個(gè)關(guān)鍵部分到底有沒(méi)有使用非常前沿的、不成熟的組件或者技術(shù)。
x86服務(wù)器
自從Intel在2005年發(fā)布x86架構(gòu)的64位CPU以來(lái),x86平臺(tái)已經(jīng)有了13年的歷史。x86服務(wù)器也有著相同長(zhǎng)度的歷史。以沃趣科技的一體機(jī)產(chǎn)品為例,與其緊密合作的國(guó)際知名廠商Dell,連續(xù)多年成為全球出貨量最高的x86服務(wù)器廠商,根據(jù)IDC的數(shù)據(jù)顯示,2016和2017的出貨量均在200萬(wàn)臺(tái)左右,是被廣泛應(yīng)用,非常成熟的產(chǎn)品。
閃存介質(zhì)
閃存同樣也并非一項(xiàng)新的技術(shù),早在1980年就已經(jīng)被發(fā)明出來(lái)了。經(jīng)過(guò)了接近27年的發(fā)展,閃存介質(zhì)也已經(jīng)非常成熟穩(wěn)定。根據(jù)USENIX在2016年的調(diào)查報(bào)告顯示,閃存介質(zhì)的替換率,以4年為一個(gè)間隔,大約為4% – 10%,而機(jī)械硬盤的替換率大約是每年2% – 9%。
InfiniBand網(wǎng)絡(luò)
IB網(wǎng)絡(luò)架構(gòu)規(guī)格1.0版本早在2000年就已經(jīng)發(fā)布了,至今也已經(jīng)有18年的歷史了。IB網(wǎng)絡(luò)之前由于成本高昂,并沒(méi)有在數(shù)據(jù)中心普及,但在超算領(lǐng)域,比如石油、天然氣、氣象等,早已經(jīng)廣泛使用。而如前所述,早在2008年,Oracle的第一代一體機(jī)Exadata v1就已經(jīng)采用了InfiniBand作為其內(nèi)部互聯(lián)網(wǎng)絡(luò)。
RDMA技術(shù):和InfiniBand技術(shù)一樣,RDMA同樣也是18年前的產(chǎn)物了。它是一種允許應(yīng)用程序通過(guò)特殊的網(wǎng)卡直接讀寫遠(yuǎn)端內(nèi)存的技術(shù),這種網(wǎng)卡可以是InfiniBand網(wǎng)卡,也可以是Ethernet網(wǎng)卡。RDMA具有零拷貝、內(nèi)核旁路以及無(wú)需CPU參與等優(yōu)勢(shì),可以大幅度降低I/O的延遲和CPU的利用率。
從以上幾點(diǎn)可以看出,數(shù)據(jù)庫(kù)一體機(jī)并非神秘的新事物,而是將幾種非常成熟的產(chǎn)品和技術(shù)有機(jī)地融合在了一起。
數(shù)據(jù)庫(kù)一體機(jī)的優(yōu)勢(shì)
剛才提到,IOE架構(gòu)很可能會(huì)被一體機(jī)所取代,顯然,它可以解決前者所面臨的問(wèn)題。
I/O性能
閃存介質(zhì)加上InfiniBand網(wǎng)絡(luò),再加上RDMA技術(shù),可以為一體機(jī)提供高達(dá)近百萬(wàn)的IOPS以及小于1ms的延遲,可以輕松應(yīng)對(duì)高壓力的OLTP系統(tǒng)。此外,由于存儲(chǔ)層從原來(lái)的集中式存儲(chǔ)變成分布式存儲(chǔ),不僅擴(kuò)展性得到極大的提升,而且能夠提供的吞吐量也有了質(zhì)的飛躍,因?yàn)榇蚱屏司W(wǎng)絡(luò)端口數(shù)量的限制,而且IB網(wǎng)絡(luò)的帶寬通常是IOE架構(gòu)中常用的光纖網(wǎng)絡(luò)的7倍以上。Oracle的Exadata還提供了其特有的Smart Scan技術(shù),用于降低存儲(chǔ)層需要傳輸?shù)接?jì)算層的數(shù)據(jù)量。但該技術(shù)的使用門檻很高,只能在少數(shù)場(chǎng)景中才能發(fā)揮作用。在OLTP和DW的混合型系統(tǒng)中,該功能就徹底淪為雞肋,因?yàn)樗芸赡軙?huì)影響其他查詢語(yǔ)句的性能。而沃趣科技即將發(fā)布的新一代一體機(jī)QData T5,將會(huì)直接支持100Gb/s的網(wǎng)絡(luò)作為內(nèi)部互聯(lián),至少能提供40GB/s的吞吐量,可以滿足PB量級(jí)的數(shù)據(jù)倉(cāng)庫(kù)場(chǎng)景。
可用性
對(duì)于一些IOE用戶來(lái)說(shuō),可能對(duì)于一體機(jī)最大的疑慮在于它的可用性(穩(wěn)定性)。IBM小型機(jī)和EMC的集中式存儲(chǔ)的確是非常優(yōu)秀并且穩(wěn)定的產(chǎn)品,如果單純比較可用性,x86服務(wù)器可能會(huì)處于下風(fēng),但一體機(jī)計(jì)算-存儲(chǔ)分離的三層架構(gòu),很好的規(guī)避了這個(gè)問(wèn)題。我們來(lái)看一組數(shù)據(jù):
根據(jù)ITIC 2016年的數(shù)據(jù)顯示,Dell x86服務(wù)器的可用性如下:
1、其中52%的服務(wù)器可用性達(dá)到了“5個(gè)9”,即99.999%,全年意外宕機(jī)時(shí)間約為5.26分鐘;
2、其中41%的服務(wù)器可用性為“4個(gè)9”,即99.99%,全年意外宕機(jī)時(shí)間約為52.56分鐘;
3、其中7%的服務(wù)器可用性為“3個(gè)9”,即99.9%,全年意外宕機(jī)時(shí)間約為8.76小時(shí)。
通過(guò)計(jì)算加權(quán)平均數(shù)可以得出,Dell x86服務(wù)器的平均可用性大約為99.988%,全年意外宕機(jī)時(shí)間約為63分鐘。一套標(biāo)準(zhǔn)的QData Standard由2個(gè)計(jì)算節(jié)點(diǎn)和3個(gè)存儲(chǔ)節(jié)點(diǎn)組成,全冗余的架構(gòu)設(shè)計(jì)可以達(dá)到極高的可用性,只有在兩個(gè)計(jì)算節(jié)點(diǎn)同時(shí)宕機(jī)或者兩個(gè)存儲(chǔ)節(jié)點(diǎn)同時(shí)宕機(jī)的情況下,才會(huì)導(dǎo)致整體數(shù)據(jù)庫(kù)服務(wù)不可用,通過(guò)基本的概率計(jì)算可以得出其可用性理論上可達(dá)“8個(gè)9” ,99.999999%,全年意外宕機(jī)時(shí)間僅為315.569毫秒。
此外,以沃趣科技的QData Standard一體機(jī)為例,我們通過(guò)自身的監(jiān)控管理平臺(tái)QData Control,對(duì)200多個(gè)客戶現(xiàn)場(chǎng)的7億多條數(shù)據(jù)進(jìn)行了統(tǒng)計(jì)和分析,得出得結(jié)論是:
一體機(jī)的可用性為“6個(gè)9”,即全年意外宕機(jī)時(shí)間31秒(只需要一個(gè)計(jì)算節(jié)點(diǎn)上的數(shù)據(jù)庫(kù)服務(wù)可用,即認(rèn)為集群是可用的),其中:
1、計(jì)算節(jié)點(diǎn)的可用性為“4個(gè)9”,99.99%,全年意外宕機(jī)時(shí)間約為48.56分鐘;
2、存儲(chǔ)節(jié)點(diǎn)的可用性大約為“5個(gè)9”,99.999%,全年意外宕機(jī)時(shí)間約為5.18分鐘。
一體化
在數(shù)據(jù)中心的發(fā)展進(jìn)化史當(dāng)中,有幾個(gè)大的趨勢(shì):更高的計(jì)算密度,更高的模塊化,更高的利用率,更少的定制化開發(fā),更方便的使用。數(shù)據(jù)庫(kù)一體機(jī)這樣經(jīng)過(guò)預(yù)先集成、測(cè)試、優(yōu)化,開箱即用的產(chǎn)品,可以幫助用戶節(jié)省大量的資源,讓他們有更多的時(shí)間和精力去關(guān)注業(yè)務(wù)本身,畢竟對(duì)于企業(yè)來(lái)說(shuō)如何發(fā)展業(yè)務(wù),制造更多利潤(rùn)才是核心,IT架構(gòu)都是為了更好地支撐業(yè)務(wù)而服務(wù)的,不應(yīng)該喧賓奪主。一體化帶來(lái)的另外一個(gè)好處就是后期的維保服務(wù)更簡(jiǎn)單,出現(xiàn)問(wèn)題時(shí)只需要找一個(gè)廠商就可以,不用在多個(gè)廠商的互相推諉中被當(dāng)做皮球一樣踢來(lái)踢去。
更低的TCO
一體機(jī)的成本優(yōu)勢(shì)一方面得益于近幾年的硬件紅利,InfiniBand網(wǎng)絡(luò)、閃存介質(zhì)這些原本只會(huì)在高端超算場(chǎng)景中使用的硬件,現(xiàn)在的價(jià)格已經(jīng)非常親民了,另一方面,一體機(jī)產(chǎn)品的出現(xiàn),打破了國(guó)外產(chǎn)商對(duì)于一些專利產(chǎn)品的壟斷,相比于他們,國(guó)內(nèi)廠商提供的軟件和維保服務(wù)價(jià)格更加合理。
數(shù)據(jù)庫(kù)一體機(jī)的應(yīng)用場(chǎng)景
一體機(jī)經(jīng)過(guò)近10年的發(fā)展,不僅產(chǎn)品成熟,還是成為了一個(gè)“多面手”,適用的場(chǎng)景和行業(yè)廣泛。
首先是主要的應(yīng)用場(chǎng)景:
1.高并發(fā)核心OLTP系統(tǒng):這類系統(tǒng)對(duì)于IO延遲非常敏感,對(duì)業(yè)務(wù)連續(xù)性的要求也很高;
2. 海量數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng):這類系統(tǒng)對(duì)于吞吐量要求很高,要在盡可能短的時(shí)間內(nèi)返回更多的數(shù)據(jù)量;
3. 混合型系統(tǒng):上述兩種業(yè)務(wù)負(fù)載都有;
4. 小庫(kù)整合:可以將原先利用率不平衡的小庫(kù)全部整合到一體機(jī)上,提高資源利用率,降低運(yùn)維成本;
5. 私有云:結(jié)合私有云軟件,比如沃趣科技的Cloud Manager、Oracle的EMCC,構(gòu)建高性能的Oracle私有云平臺(tái);
6. 異地雙活:對(duì)于可用性有極致要求的金融行業(yè)客戶,還可以構(gòu)建異地雙活的方案。
其次是相關(guān)的行業(yè):
1. 金融行業(yè):在銀行、證券、基金、保險(xiǎn)等對(duì)系統(tǒng)穩(wěn)定性和安全性要求最高的領(lǐng)域,一體機(jī)產(chǎn)品已經(jīng)得到了廣泛的應(yīng)用。
2. 電力能源:電力行業(yè)雖然是傳統(tǒng)行業(yè),但卻是最早嘗試一體機(jī)產(chǎn)品的行業(yè)之一,目前全國(guó)有超過(guò)一半省份的國(guó)網(wǎng)公司都已經(jīng)將沃趣科技的QData Standard產(chǎn)品用于他們的財(cái)務(wù)、費(fèi)控、計(jì)量等核心業(yè)務(wù)系統(tǒng)。
3. 政企行業(yè):隨著IT建設(shè)國(guó)產(chǎn)化的推進(jìn),也有不少政企客戶使用沃趣科技的一體機(jī)產(chǎn)品來(lái)取代原來(lái)的IOE架構(gòu)或者建設(shè)新的業(yè)務(wù)系統(tǒng)。
4. 其他行業(yè):除此之外,在運(yùn)營(yíng)商、傳媒、教育、醫(yī)療、房地產(chǎn)等行業(yè)中。
總結(jié)
數(shù)據(jù)庫(kù)一體機(jī)并不是一個(gè)新生的事物,它已經(jīng)有了10年的歷史,經(jīng)過(guò)了許多行業(yè)和應(yīng)用場(chǎng)景的考驗(yàn),是非常成熟穩(wěn)定的產(chǎn)品。它具有極高的性能,可量化的可用性,預(yù)先集成,開箱即用,更低的TCO,更高的ROI,適用場(chǎng)景廣泛,同時(shí)也符合數(shù)據(jù)中心的發(fā)展趨勢(shì)。
以上是本次的分享,感謝大家!
編者:IT大咖說(shuō),轉(zhuǎn)載請(qǐng)標(biāo)明版權(quán)和出處