數(shù)據(jù)中臺、數(shù)據(jù)倉庫、數(shù)據(jù)平臺
數(shù)據(jù)中臺是企業(yè)級的邏輯概念,體現(xiàn)企業(yè) D2V(Data to Value)的能力,為業(yè)務(wù)提供服務(wù)的主要方式是數(shù)據(jù) API;
數(shù)據(jù)倉庫是一個相對具體的功能概念,是存儲和管理一個或多個主題數(shù)據(jù)的集合,為業(yè)務(wù)提供服務(wù)的方式主要是分析報表;
數(shù)據(jù)平臺是在大數(shù)據(jù)基礎(chǔ)上出現(xiàn)的融合了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)基礎(chǔ)平臺,為業(yè)務(wù)提供服務(wù)的方式主要是直接提供數(shù)據(jù)集;
數(shù)據(jù)中臺距離業(yè)務(wù)更近,為業(yè)務(wù)提供速度更快的服務(wù);
數(shù)據(jù)倉庫是為了支持管理決策分析,而數(shù)據(jù)中臺則是將數(shù)據(jù)服務(wù)化之后提供給業(yè)務(wù)系統(tǒng),不僅限于分析型場景,也適用于交易型場景;
數(shù)據(jù)中臺可以建立在數(shù)據(jù)倉庫和數(shù)據(jù)平臺之上,是加速企業(yè)從數(shù)據(jù)到業(yè)務(wù)價值的過程的中間層。
數(shù)據(jù)倉庫具有歷史性,其中存儲的數(shù)據(jù)大多是結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)并非企業(yè)全量數(shù)據(jù),而是根據(jù)需求針對性抽取的,因此數(shù)據(jù)倉庫對于業(yè)務(wù)的價值是各種各樣的報表,但這些報表又無法實時產(chǎn)生。數(shù)據(jù)倉庫報表雖然能夠提供部分業(yè)務(wù)價值,但不能直接影響業(yè)務(wù)。
數(shù)據(jù)平臺的出現(xiàn)是為了解決數(shù)據(jù)倉庫不能處理非結(jié)構(gòu)化數(shù)據(jù)和報表開發(fā)周期長的問題,所以先撇開業(yè)務(wù)需求、把企業(yè)所有的數(shù)據(jù)都抽取出來放到一起,成為一個大的數(shù)據(jù)集,其中有結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等。當業(yè)務(wù)方有需求的時候,再把他們需要的若干個小數(shù)據(jù)集單獨提取出來,以數(shù)據(jù)集的形式提供給數(shù)據(jù)應(yīng)用。
而數(shù)據(jù)中臺是在數(shù)據(jù)倉庫和數(shù)據(jù)平臺的基礎(chǔ)上,將數(shù)據(jù)生產(chǎn)為為一個個數(shù)據(jù) API 服務(wù),以更高效的方式提供給業(yè)務(wù)。
史凱總結(jié)說,“數(shù)據(jù)中臺是聚合和治理跨域數(shù)據(jù),將數(shù)據(jù)抽象封裝成服務(wù),提供給前臺以業(yè)務(wù)價值的邏輯概念”。
數(shù)據(jù)中臺是企業(yè)的 Data API 工廠,用更高效、更協(xié)同的方式加快從數(shù)據(jù)到業(yè)務(wù)的價值,能夠給業(yè)務(wù)提供更高的響應(yīng)力。
數(shù)據(jù)中臺設(shè)計的初衷是將計算與存儲分離,從狹義上來說,真正最核心的數(shù)據(jù)中臺可以是沒有存儲的。但就當前的情況來看,廣義的數(shù)據(jù)中臺在未來一段時間內(nèi)仍會涵蓋數(shù)據(jù)倉庫、數(shù)據(jù)湖等存儲組件,“數(shù)據(jù)工廠”這個概念可能更適用于現(xiàn)在的階段。但隨著數(shù)據(jù)中臺的發(fā)展,未來很有可能不再需要數(shù)據(jù)湖了。
數(shù)據(jù)中臺理解為是企業(yè)的數(shù)據(jù)服務(wù)工廠。所謂的數(shù)據(jù)服務(wù)工廠在我看來,以后所有的企業(yè)中的本質(zhì)就是加工處理數(shù)據(jù),產(chǎn)生數(shù)字化世界里的產(chǎn)品,然后把它連接到物理世界,生產(chǎn)出來,銷售出去。所以數(shù)據(jù)中臺對企業(yè)來講,它是數(shù)據(jù)服務(wù)的工廠。
數(shù)據(jù)中臺更多強調(diào)的是機器與機器的接口,就是我的數(shù)據(jù)分析出來的結(jié)果,不僅僅以報表可視化的形式讓人看,而更多的是把這些API這樣的一些數(shù)據(jù)服務(wù)直接地嵌入到交易系統(tǒng)里面產(chǎn)生影響,變成你的價格策略,變成你的推薦引擎,變成你的風險管控。
那么我們所講數(shù)據(jù)中臺,它不僅僅是一個技術(shù)平臺,它還是一個體系。
數(shù)據(jù)中臺會對應(yīng)到一個企業(yè)里的一個部門一個組織,也要有數(shù)據(jù)戰(zhàn)略的支撐,要有數(shù)據(jù)治理,數(shù)據(jù)中臺上面生長一個數(shù)據(jù)服務(wù),數(shù)據(jù)服務(wù)提供給我們業(yè)務(wù)系統(tǒng),提供給我們業(yè)務(wù)中臺,然后我們所接收到的數(shù)據(jù)消費者,就都生長在數(shù)據(jù)中臺之上。數(shù)據(jù)中臺是一個生態(tài),是一個平臺,是一個數(shù)據(jù)服務(wù),是采集、加工、交易、度量、運營的平臺,所以我們把數(shù)據(jù)中臺實際上叫做一個體系。