從阿里巴巴在2018年底正式推出數(shù)據(jù)中臺這個概念后,數(shù)據(jù)中臺就如火如荼的啟航了。網(wǎng)絡(luò)上對"數(shù)據(jù)中臺概念"的理解,對"數(shù)據(jù)中臺架構(gòu)"的理解,這樣的文章數(shù)不勝數(shù),但真正告訴我們怎么做的很少,告訴研發(fā)人員怎么開發(fā)的更少。這也是我想在"簡書"這個地方簡單書寫幾句的部分初衷,當(dāng)然了更重要的原因是(感覺自己工作10年多了也沒有在網(wǎng)絡(luò)上留下什么印記,以前只是看別人的博客,也沒有自己的沉淀,正好借這次機會寫一下吧:)。
筆者從2019年底正式介入數(shù)據(jù)中臺構(gòu)建中。起初也是一個偶然的機會,有幸在北京參加了華為、阿里、京東給國網(wǎng)匯報數(shù)據(jù)中臺戰(zhàn)略的會議,這是我第一次接觸這個概念。后續(xù)我在國網(wǎng)營銷2.0項目數(shù)據(jù)中臺組負(fù)責(zé)數(shù)據(jù)中臺構(gòu)建,在這里我主要是偏理論和架構(gòu)的工作,直到當(dāng)前這份工作從最底層開發(fā)真正構(gòu)建了數(shù)據(jù)中臺。在工作中,不斷的推演和思考數(shù)據(jù)中臺如何構(gòu)建,經(jīng)過多次的迭代&重構(gòu)形成了個人覺得較為合適的最優(yōu)實踐。
數(shù)據(jù)中臺是什么,個人覺得是一套技術(shù)棧組成的解決方案或者說是整體架構(gòu)。從數(shù)據(jù)倉庫角度說,他打通了企業(yè)中各IT部門之間的數(shù)據(jù)壁壘,將各數(shù)據(jù)孤島流向同一個數(shù)據(jù)湖這本身就是一個進步,后續(xù)通過數(shù)據(jù)的關(guān)聯(lián)分析產(chǎn)生啤酒與尿布的效應(yīng),實現(xiàn)數(shù)據(jù)業(yè)務(wù)化。從數(shù)據(jù)服務(wù)角度說,他有了企業(yè)內(nèi)的所有數(shù)據(jù),通過數(shù)據(jù)加工計算反哺到企業(yè)的生產(chǎn)營銷系統(tǒng),可以完成業(yè)務(wù)化。從數(shù)據(jù)模型角度說,中臺鍛造了一份統(tǒng)一的數(shù)據(jù)模型,并對外提供一份統(tǒng)一的數(shù)據(jù)模型。從數(shù)據(jù)質(zhì)量角度說,中臺起到對源端生產(chǎn)系統(tǒng)的監(jiān)督作用,并可以監(jiān)督自己產(chǎn)生的數(shù)據(jù)。從數(shù)據(jù)資產(chǎn)角度說,中臺可以管好企業(yè)內(nèi)部的所有數(shù)據(jù),指標(biāo)資產(chǎn)、元數(shù)據(jù)、存儲、數(shù)據(jù)熱度等。
目前很多公司都在打造企業(yè)級的數(shù)據(jù)中臺PASS平臺,如阿里巴巴提供了一套實踐數(shù)據(jù)中臺的PASS平臺(Dataworks+MaxCompute等)。然而面對開發(fā)人員來說,有用的只有阿里巴巴官網(wǎng)文檔,既然是原創(chuàng),就要有所取舍,這里不會介紹官網(wǎng)SDK里存在的部分,更多的會從站在開發(fā)者/設(shè)計者角度,從整體架構(gòu)、模塊規(guī)劃、技術(shù)選型和數(shù)倉理論上闡述數(shù)據(jù)中臺怎么構(gòu)建,希望能幫助到各位數(shù)倉設(shè)計&開發(fā)人員。實戰(zhàn)篇請看文章下方專題內(nèi)容。