數(shù)據(jù)中臺(tái)建設(shè)與架構(gòu)

持續(xù)讓數(shù)據(jù)用起來的價(jià)值框架

數(shù)據(jù)中臺(tái)的使命就是持續(xù)讓數(shù)據(jù)用起來，它的一個(gè)根本性創(chuàng)新就是把“數(shù)據(jù)資產(chǎn)”作為一個(gè)基礎(chǔ)要素獨(dú)立出來，讓成為資產(chǎn)的數(shù)據(jù)作為生產(chǎn)資料融入業(yè)務(wù)價(jià)值創(chuàng)造過程，持續(xù)產(chǎn)生價(jià)值。數(shù)據(jù)中臺(tái)要迅速提供數(shù)據(jù)服務(wù)（服務(wù)業(yè)務(wù)化），從而敏捷地響應(yīng)企業(yè)的創(chuàng)新

業(yè)務(wù) -- 業(yè)務(wù)數(shù)據(jù)化 -- 數(shù)據(jù) -- 數(shù)據(jù)資產(chǎn)化 -- 資產(chǎn) -- 資產(chǎn)服務(wù)化 -- 服務(wù) -- 服務(wù)業(yè)務(wù)化 -- 業(yè)務(wù)

1. 數(shù)據(jù)中臺(tái)不是單純的技術(shù)疊加，不是一個(gè)技術(shù)化的大數(shù)據(jù)平臺(tái)，二者有本質(zhì)區(qū)別；
2. 大數(shù)據(jù)平臺(tái)更關(guān)心技術(shù)層面的事情，包括研發(fā)效率、平臺(tái)的數(shù)據(jù)處理能力，針對的是技術(shù)人員；
3. 數(shù)據(jù)中臺(tái)的核心是數(shù)據(jù)服務(wù)能力，要結(jié)合場景，通過服務(wù)直接賦能業(yè)務(wù)應(yīng)用，不僅僅面向技術(shù)人員，面向多個(gè)部門的業(yè)務(wù)人員。

數(shù)據(jù)中臺(tái)建設(shè)方法論

1. 1種戰(zhàn)略行動(dòng)
   把數(shù)據(jù)中臺(tái)驅(qū)動(dòng)業(yè)務(wù)發(fā)展定位為企業(yè)級戰(zhàn)略，全局謀劃,只有企業(yè)“一把手”能推送企業(yè)數(shù)據(jù)中臺(tái)的建設(shè)，需要有相應(yīng)的組織、制度、流程、資源的保障；數(shù)據(jù)中臺(tái)要求整個(gè)企業(yè)共用一個(gè)數(shù)據(jù)技術(shù)平臺(tái)、共建數(shù)據(jù)體系、共享數(shù)據(jù)服務(wù)能力；數(shù)據(jù)中臺(tái)目標(biāo)是實(shí)現(xiàn)企業(yè)經(jīng)營的數(shù)據(jù)化、精細(xì)化、智能化、本質(zhì)是建設(shè)一套可持續(xù)讓企業(yè)數(shù)據(jù)用起來的機(jī)制；

2. 2項(xiàng)保障條件
   中臺(tái)戰(zhàn)略實(shí)施需要有組織保障（建設(shè)團(tuán)隊(duì)、運(yùn)維團(tuán)隊(duì)、運(yùn)營團(tuán)隊(duì)、產(chǎn)品團(tuán)隊(duì)）；中臺(tái)戰(zhàn)略實(shí)施需要提升全企業(yè)的數(shù)據(jù)意識（數(shù)據(jù)采集意識、數(shù)據(jù)標(biāo)準(zhǔn)化意識、數(shù)據(jù)使用意識、數(shù)據(jù)安全意識）

3. 3條目標(biāo)準(zhǔn)則
   數(shù)據(jù)可見（指標(biāo)管理可用性、元數(shù)據(jù)管理可用性、數(shù)據(jù)資產(chǎn)目錄的可視化、數(shù)據(jù)源的可視化、數(shù)據(jù)集成的可視化、數(shù)據(jù)ETL的可視化、數(shù)據(jù)建模的可視化、數(shù)據(jù)消費(fèi)者的可視化、算法模型的可視化）；數(shù)據(jù)可用（數(shù)據(jù)內(nèi)容可用性、數(shù)據(jù)服務(wù)可用性、數(shù)據(jù)任務(wù)可用性、數(shù)據(jù)指標(biāo)化、數(shù)據(jù)標(biāo)簽化、資產(chǎn)的易閱讀性）；數(shù)據(jù)可運(yùn)營（質(zhì)量量化管理、價(jià)值量化管理、數(shù)據(jù)運(yùn)營角色）

4. 4套建設(shè)內(nèi)容（數(shù)據(jù)中臺(tái)建設(shè)的核心）
   技術(shù)體系：基礎(chǔ)支撐，包括大數(shù)據(jù)存儲(chǔ)計(jì)算技術(shù)（Hadoop、Spark、Flink、Greenplun、Elasticsearch、Redis、Phoenix等）和工具技術(shù)組件（數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)管控等）； 數(shù)據(jù)體系：核心要素（全企業(yè)的數(shù)據(jù)通過各種方式匯聚到數(shù)據(jù)中臺(tái)，按照一定的建模方式進(jìn)行加工，形成企業(yè)的數(shù)據(jù)資產(chǎn)體系）； 服務(wù)體系：機(jī)制所在（通過服務(wù)組件能力，把數(shù)據(jù)變?yōu)橐环N服務(wù)能力，讓業(yè)務(wù)決策通過數(shù)據(jù)而不是僅憑經(jīng)驗(yàn)。通過提供數(shù)據(jù)生成、發(fā)布、監(jiān)控、管理功能，幫助企業(yè)逐步建立數(shù)據(jù)服務(wù)，完成企業(yè)數(shù)據(jù)服務(wù)體系的構(gòu)建）；運(yùn)營體系：中臺(tái)守護(hù)者，包括平臺(tái)流程規(guī)范執(zhí)行監(jiān)督、平臺(tái)資源占用的監(jiān)管及優(yōu)化推動(dòng)、數(shù)據(jù)質(zhì)量的監(jiān)督及改進(jìn)推進(jìn)、數(shù)據(jù)價(jià)值評估、數(shù)據(jù)服務(wù)的推廣、稽查排名等。

5. 5個(gè)關(guān)鍵步驟
   理現(xiàn)狀（組織現(xiàn)狀、業(yè)務(wù)現(xiàn)狀、數(shù)據(jù)現(xiàn)狀、技術(shù)現(xiàn)狀）； b. 立架構(gòu)：4A架構(gòu)（業(yè)務(wù)架構(gòu)、技術(shù)架構(gòu)、應(yīng)用架構(gòu)、組織結(jié)構(gòu)）

                    業(yè)務(wù)架構(gòu)：保障中臺(tái)能適用于企業(yè)的業(yè)務(wù)運(yùn)營模型和流程體系；
                    技術(shù)架構(gòu)：對數(shù)據(jù)存儲(chǔ)和計(jì)算進(jìn)行統(tǒng)一選型；
                    應(yīng)用架構(gòu)：即中臺(tái)應(yīng)用架構(gòu)，后續(xù)應(yīng)用的工具主要由數(shù)據(jù)中臺(tái)最為應(yīng)用平臺(tái)來承接；
                    組織結(jié)構(gòu)：保證中臺(tái)項(xiàng)目順利落地需要企業(yè)考慮的組織保障。
   

建資產(chǎn)：涉及數(shù)據(jù)匯聚、數(shù)據(jù)倉庫建設(shè)、標(biāo)簽體系建設(shè)（最關(guān)鍵）、應(yīng)用數(shù)據(jù)建設(shè)； 標(biāo)簽體系：面向具體對象構(gòu)建的全維度數(shù)據(jù)標(biāo)簽，通過標(biāo)簽體系可以支撐應(yīng)用，大數(shù)據(jù)的核心魅力和服務(wù)能力主要體現(xiàn)在標(biāo)簽體系的服務(wù)能力上；用數(shù)據(jù)：數(shù)據(jù)資產(chǎn)服務(wù)化過程；做運(yùn)營：中臺(tái)架構(gòu)基本穩(wěn)定的情況下，不斷循環(huán)第3-5步，多方不斷挖掘業(yè)務(wù)場景的結(jié)合點(diǎn)，逐步形成企業(yè)特有的數(shù)據(jù)認(rèn)知，這是企業(yè)在數(shù)字化轉(zhuǎn)型中國非常重要但很難跨越的點(diǎn)。

數(shù)據(jù)中臺(tái)架構(gòu)

1. 數(shù)據(jù)匯聚：數(shù)據(jù)接入的入口，數(shù)據(jù)來源于業(yè)務(wù)系統(tǒng)、日志、文件、網(wǎng)絡(luò)等；匯聚方式包含數(shù)據(jù)同步、埋點(diǎn)、爬蟲、消息隊(duì)列等；從時(shí)效性又分為離線批量匯聚和實(shí)時(shí)采集；
2. 數(shù)據(jù)開發(fā)：主要面向開發(fā)人員、分析人員，提供離線、實(shí)時(shí)、算法開發(fā)工具，以及任務(wù)的管理、代碼發(fā)布、運(yùn)維、監(jiān)控、告警等一系列集成工具、方便使用，提升效率；
3. 數(shù)據(jù)體系：按照貼源數(shù)據(jù)、統(tǒng)一數(shù)倉、標(biāo)簽數(shù)據(jù)、應(yīng)用數(shù)據(jù)的標(biāo)準(zhǔn)統(tǒng)一建設(shè)；
4. 數(shù)據(jù)資產(chǎn)管理：包括對數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)血緣、數(shù)據(jù)生命周期等進(jìn)行管理和展示，以一種更直觀的方式展示企業(yè)的數(shù)據(jù)資產(chǎn)、提升企業(yè)的數(shù)據(jù)意識；
5. 數(shù)據(jù)服務(wù)體系：沒有很多自帶服務(wù)，而是提供快速的服務(wù)生成能力以及服務(wù)的管控、鑒權(quán)、計(jì)量等功能；
6. 運(yùn)營體系和安全管理：數(shù)據(jù)中臺(tái)得以健康、持續(xù)運(yùn)轉(zhuǎn)的基礎(chǔ)。

數(shù)據(jù)中臺(tái)建設(shè)評分表1

i數(shù)據(jù)中臺(tái)建設(shè)評分表

五個(gè)關(guān)鍵步驟