1. 引言
本周精讀內(nèi)容是：《數(shù)據(jù)之上 智慧之光》，由帆軟軟件公司出品。
帆軟公司是國內(nèi)一家做大數(shù)據(jù) BI 和分析平臺的提供商，主打產(chǎn)品是 FineBI。筆者所在阿里數(shù)據(jù)中臺也處于數(shù)據(jù)分析應(yīng)用的前沿，本次精讀的文章就是帆軟公司的 《數(shù)據(jù)之上 智慧之光 2018》，感謝提供這份國內(nèi)數(shù)據(jù)市場研究報告，讓我們更深入全面的了解國內(nèi)數(shù)據(jù)市場的發(fā)展方向。
隨著 5G 的逐漸推行，網(wǎng)速比 4G 提高了 100 倍，將會為物聯(lián)網(wǎng)打下通信基礎(chǔ)，未來的世界將人與物、物與物進行互聯(lián)。隨著越來越多的設(shè)備接入網(wǎng)絡(luò)，產(chǎn)生數(shù)據(jù)，而未來還有 6G、7G 將網(wǎng)速繼續(xù)提高至 1 萬倍、1 百萬倍，利用衛(wèi)星實現(xiàn)全球網(wǎng)絡(luò)覆蓋，將現(xiàn)實與虛擬融合等等，無不需要強大的數(shù)據(jù)處理分析技術(shù)才能掌握。
數(shù)據(jù)的總量將呈幾何倍數(shù)上升，如果不能提前對數(shù)據(jù)的存儲、處理、挖掘和分析提出一套解決方案，那么 5G 時代的海量數(shù)據(jù)就是人類社會的累贅，如果有一套數(shù)據(jù)處理與分析的方案，我們就有可能掌握海量的數(shù)據(jù)為自己所用，利用數(shù)據(jù)進一步推動人類社會向前發(fā)展。
上面是對未來的暢想，那么我國現(xiàn)階段國內(nèi)的數(shù)據(jù)市場的容量、需求是什么樣呢？《數(shù)據(jù)之上 智慧之光》這本書給了我們答案。
PS：本文使用 2018 年的數(shù)據(jù)。
2. 精讀
大數(shù)據(jù)行業(yè)發(fā)展趨勢
2018 年中國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模預(yù)計 329 億元人民幣，同比增長 39.4%?？梢钥吹皆鲩L速度逐年增加，預(yù)計在 2020 年數(shù)據(jù)市場規(guī)?？蛇_ 586 億元人民幣。
筆者查了一下，2018 年全國網(wǎng)上零售額為 90065 億元，比數(shù)據(jù)市場規(guī)模多了一個數(shù)量級，所以我國的數(shù)據(jù)產(chǎn)業(yè)其實還在萌芽期，可能還需要 5 到 10 年才能完全成熟，這也意味著目前數(shù)據(jù)市場是一片藍海，從后面的數(shù)據(jù)和國內(nèi)數(shù)據(jù)應(yīng)用使用情況也可以看出來。
另外，各企業(yè)在大數(shù)據(jù)領(lǐng)域的投入資金與部門組織都同比 2017 年有所增加，其中接近四成的受訪企業(yè)已經(jīng)在應(yīng)用大數(shù)據(jù)，較 2016 年提升了 4.5%，暫不考慮大數(shù)據(jù)的企業(yè)從 2016 年 7.8% 下降到 6.8%。
從微觀角度觀察社會也能發(fā)現(xiàn)這樣的趨勢，近些年研究大數(shù)據(jù)的公司明顯增多，許多公司都逐漸設(shè)立了 “數(shù)據(jù)分析” 崗位和部門，可視化大屏在 toB 與 toG 領(lǐng)域都越來越得到重視。
企業(yè)數(shù)據(jù)應(yīng)用情況
數(shù)據(jù)應(yīng)用分為數(shù)據(jù)采集、數(shù)據(jù)治理、數(shù)據(jù)處理、數(shù)據(jù)分析這四大階段，其中數(shù)據(jù)采集是獲取數(shù)據(jù)的最重要方式，而數(shù)據(jù)治理是將分散在各種不同形態(tài)數(shù)據(jù)庫的文件用統(tǒng)一方式管理起來，比如形成數(shù)據(jù)聯(lián)邦，這是數(shù)據(jù)使用前最重要的一步治理。數(shù)據(jù)處理就是將數(shù)據(jù)按照業(yè)務(wù)需求進行計算，而不同量級的數(shù)據(jù)計算方式會不同，特別是大數(shù)據(jù)場景要分為離線計算與實時計算，只有極為重要、實時性要求強的指標(biāo)才進行實時計算，現(xiàn)在正處于離線與實時計算混合的混合計算轉(zhuǎn)型期。數(shù)據(jù)分析一般通過 BI 平臺完成，也是分析數(shù)據(jù)最重要的一步，BI 也經(jīng)歷了漫長的版本迭代，第一階段是數(shù)據(jù)報表階段，第二階段是具備分析能力與數(shù)據(jù)挖掘能力的分析階段，第三階段是機器自動識別用戶意圖的智能化分析階段。
從智慧之光的調(diào)查結(jié)果來看，只有 22.47% 的企業(yè)實用了 BI 系統(tǒng)，而使用 BI 系統(tǒng)的企業(yè)中，超過七成認(rèn)為 BI 項目能較好的滿足現(xiàn)在的需求。說明未來還會有更多企業(yè)使用 BI，BI 的市場還有 4 倍的增長空間。
在數(shù)據(jù)應(yīng)用成熟度方面，僅有 3.5% 的企業(yè)處于數(shù)據(jù)盈利階段，也就是大部分企業(yè)對數(shù)據(jù)的治理還在投入階段，但無需質(zhì)疑，持續(xù)對數(shù)據(jù)進行投入一定能得到回報，但短期來看會拖累財務(wù)報表。
再看目前企業(yè)的數(shù)據(jù)價值需求，看看業(yè)務(wù)方對 BI 工具的期望有哪些。
期望從高到低分別是：
- (72.8%) 整合多系統(tǒng)數(shù)據(jù)，打通數(shù)據(jù)壁壘
- (69.1%) 提高報表數(shù)據(jù)效率，更快更準(zhǔn)更省事
- (53.7%) 輔助管理預(yù)測，提高決策成功率
- (51.4%) 提高生產(chǎn)效率，降低人力成本
- (50.0%) 數(shù)據(jù)結(jié)合管理，優(yōu)化管理方式
- (47.8%) 業(yè)務(wù)監(jiān)管分析，促進業(yè)務(wù)增至
這個排列順序基本上也是 BI 平臺迭代的順序。
BI 剛起步時都要先做數(shù)據(jù)整合，對于大部分公司，數(shù)據(jù)孤島的情況還是很普遍的，甚至有大量數(shù)據(jù)分散在各自工作人員電腦的 Excel 文件中，已存在的各業(yè)務(wù)平臺見數(shù)據(jù)無法打通也很普遍，如果不能將多套系統(tǒng)間數(shù)據(jù)打通，你就沒有對數(shù)據(jù)的掌控力。像阿里云的 Dataphin 就可以幫助企業(yè)建立數(shù)倉，建立一套數(shù)據(jù)資產(chǎn)管理體系，其中第一步就是幫助你打通數(shù)據(jù)壁壘。
解決取數(shù)問題后，就可以建設(shè) BI 平臺了，BI 平臺初期基本以構(gòu)建報表為主，而構(gòu)建報表的方式根據(jù)發(fā)展階段也各有不同，下面是智慧之光中一張很經(jīng)典的 BI 發(fā)展階段：
<img width=500 src="https://img.alicdn.com/tfs/TB1szfQb.CF3KVjSZJnXXbnHFXa-2432-1104.png">
在 IT-完全主導(dǎo)型階段，主要任務(wù)就是制作報表，而業(yè)務(wù)人員能配置的部分只有 BI 模版的 5%，剩余 95% 都需要 IT 人員參與開發(fā)，不僅浪費人力資源，而且對業(yè)務(wù)線的時間成本也很高。
IT-強主導(dǎo)型階段，BI 平臺具有一定的配置能力，業(yè)務(wù)有 20% 的自主配置權(quán)，而 IT 仍需完成 80% 的工作。
在業(yè)務(wù)強主導(dǎo)型階段，BI 層 80% 的工作都可以由業(yè)務(wù)方完成，IT 人員只參與 20%，這 20% 可能包括復(fù)雜場景的定制，比如電子表格或者復(fù)雜的分析功能。這個階段真正實現(xiàn)了更快更準(zhǔn)更省事。
業(yè)務(wù)完全主導(dǎo)型階段，基本上 BI 層不需要 IT 人員參與，業(yè)務(wù)同學(xué)可以完全主導(dǎo)對 BI 平臺的拓展，或者 BI 平臺已經(jīng)能滿足業(yè)務(wù)線幾乎所有的訴求，同時業(yè)務(wù)還能參與數(shù)據(jù)模型的控制，讓業(yè)務(wù)能力下沉到數(shù)據(jù)層。到這個階段的企業(yè)已經(jīng)非常少了，也許只有少數(shù)互聯(lián)網(wǎng)巨頭可以達到這個階段。
智能自助型，這個階段不需要 IT 人員參與，業(yè)務(wù)僅需參與 1%，原因是 99% 的需求都有人工智能自動分析出來，也就是將業(yè)務(wù)數(shù)據(jù)拿到后，計算機已經(jīng)知道該怎么看這份數(shù)據(jù)了。智能自主型在國內(nèi)還處于概念階段，在國外 BI 工具比如 PowerBI 與 Tableau 已經(jīng)在這個領(lǐng)域深耕多年了，然而門檻比較高，目前效果應(yīng)該還不太理想，因為這個階段一旦成熟，國內(nèi)的 BI 企業(yè)將面臨巨大沖擊，之所以國內(nèi)處于業(yè)務(wù)強主導(dǎo)階段的 BI 平臺依然存在，除了數(shù)據(jù)安全的理由之外，只能認(rèn)為國外智能自助型 BI 平臺依然 “不夠智能”。
通過上面的分析可以總結(jié)出，BI 平臺不僅業(yè)務(wù)發(fā)展階段迥異，對技術(shù)人才的要求在不同階段也不一樣，技術(shù)層面需要以 后端 -> 前端 -> ETL -> AI 人才 的遞進態(tài)勢演變，對技術(shù)人員來說，如何在 BI 技術(shù)演變的過程中不斷自我學(xué)習(xí)，滿足下個階段的技術(shù)要求，是非常嚴(yán)峻的挑戰(zhàn)。
另一個值得關(guān)注的是企業(yè)數(shù)據(jù)來源，根據(jù) 2016 與 2017 年的對比，來自企業(yè)內(nèi)部的數(shù)據(jù)正在逐漸增多，從外部購買的數(shù)據(jù)從 16.7% 降低到 15.1%，而從政府免費開放的數(shù)據(jù)比例從 13.5% 提升到了 14.6%。這表示企業(yè)正在逐漸擺脫對外部購買數(shù)據(jù)的依賴，轉(zhuǎn)而產(chǎn)生更多自己業(yè)務(wù)的數(shù)據(jù)，而政府也在逐漸加強開放數(shù)據(jù)建設(shè)，努力減少各企業(yè)間數(shù)據(jù)資源的壁壘。
企業(yè)數(shù)據(jù)使用方式
根據(jù)調(diào)查顯示：
- （70.0%）使用傳統(tǒng)的 SQL + Excel 分析數(shù)據(jù)
- （64.8%）使用業(yè)務(wù)系統(tǒng)自帶的報表或分析功能
- （35.6%）使用 BI 工具
- （10.8%）手工寫代碼
首先頻繁的手工寫代碼只有 10% 不到的比例，這是因為稍稍有點長遠打算的企業(yè)，都會打造一支技術(shù)團隊，而業(yè)務(wù)也會給技術(shù)團隊打造一些生產(chǎn)效能提升的工具，只有 10% 左右的企業(yè)無法割舍短期利益，導(dǎo)致所有數(shù)據(jù)分析需求都要手工寫代碼。
大部分企業(yè)依然采用 SQL + Excel 分析數(shù)據(jù)，這個結(jié)果在情理之中，因為 SQL + Excel 都是現(xiàn)成的工具，不需要研發(fā)成本，而 Excel 的強大分析能力也基本滿足了業(yè)務(wù)需求。但這種模式無法共享分析結(jié)果，存在數(shù)據(jù)安全隱患，且無法進入分析與智能階段。
使用業(yè)務(wù)系統(tǒng)自帶的報表或分析功能也占了 64.8% 的比例，筆者所了解到的中小型公司也的確屬于這個階段，公司內(nèi)不同業(yè)務(wù)線都有自己的業(yè)務(wù)平臺，每個業(yè)務(wù)平臺內(nèi)都有或多或少的數(shù)據(jù)分析和報表能力，這對大部分企業(yè)來說夠用了，但對于要建立 數(shù)據(jù)中臺 的企業(yè)來說，分散在各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)與報表能力，反而是一種阻礙。PS：阿里數(shù)據(jù)中臺已進入 2.0 階段，但對大部分企業(yè)來說，是不可能越過數(shù)據(jù)中臺 1.0，直接進入 2.0 的，就像不可能跳過 5G 做 6G 一樣。
只有 35.6% 的企業(yè)在使用 BI 工具，因為使用 BI 工具需要一定門檻，比如做數(shù)據(jù)治理等，當(dāng)然也可以直接訂購阿里云的 Dataphin 快速接入 QuickBI。
在企業(yè)使用 BI 時，選型的考慮因素也很有意思：
- （69.1%）產(chǎn)品是否高效易用
- （59.2%）產(chǎn)品是否穩(wěn)定性高，性能好
- （58.5%）產(chǎn)品是否擁有豐富強大的功能
- （51.4%）產(chǎn)品是否具備大數(shù)據(jù)分析能力
- （33.6%）采購成本
- （31.2%）生態(tài)與學(xué)習(xí)資源
- （24.4%）廠商本身的實力
可以看到，BI 工具靠自身實力吃飯的，而不依賴公司光環(huán)，因為業(yè)務(wù)方對實用性要求更大。
69.1% 的企業(yè)看中是否高效易用，說明目前國內(nèi)企業(yè)對 BI 培訓(xùn)能力較弱，希望有高投入產(chǎn)出比，同時也說明了 BI 自身的特性，它是面向非技術(shù)人員的產(chǎn)品，如果易用性不強，只是功能強大是沒有用的。
59.2% 的企業(yè)看中穩(wěn)定性和性能，這是因為對數(shù)據(jù)分析來說，看報表是高頻操作，業(yè)務(wù)方會使用 BI 查看 KPI 報表，發(fā)日報或月報，用戶是無法忍受頻繁使用的產(chǎn)品穩(wěn)定性出現(xiàn)問題的。
第三點就是功能是否強大，對一款面向用戶的工具來說，如果功能有欠缺，就意味著無法滿足業(yè)務(wù)需求。比如對折線圖做歸一化，如果 BI 平臺的折線圖自身不支持這個功能，使用者也沒辦法立馬拉上一名前端同學(xué)拓展出這個功能，因為 BI 平臺表面看上去易用，但底層設(shè)計復(fù)雜，一旦遇到功能不支持，除了等待更新外，沒有更好的辦法。
最后一個超過 50% 的用戶期待就是具備大數(shù)據(jù)分析能力，這是因為企業(yè)數(shù)據(jù)量級普遍都很大，而 BI 平臺底層的多維建模一般采用 OLAP 查詢，遇到海量數(shù)據(jù)可能要等上幾十分鐘，需要 BI 平臺內(nèi)置一些數(shù)據(jù)加速的功能。ROLAP 給予關(guān)系型數(shù)據(jù)庫，特點是兼容性強、靈活性強，但查詢速度慢，而 MOLAP 是實現(xiàn)將各維度數(shù)據(jù)計算好，查詢時直接映射到多為數(shù)據(jù)庫訪問，性能好，但是對存儲空間的依賴極高，需要付出大量的金錢才能支撐這種模式的查詢。
下面是企業(yè)對 BI 功能要求：
<img width=500 src="https://img.alicdn.com/tfs/TB1itL4bW1s3KVjSZFAXXX_ZXXa-1676-1310.png">
可以看到，對報表能力需求量最大，說明報表是 BI 工具基礎(chǔ)的要求，也說明我國對數(shù)據(jù)的使用方式還停留在最初級的階段。
另一個就是移動 BI 需求，在移動端看報表，PC 端做報表已經(jīng)非常普遍了。
之所以數(shù)據(jù)填報排到了第三名，是因為不同公司并不是所有數(shù)據(jù)都統(tǒng)一管理，BI 支持?jǐn)?shù)據(jù)填報，就可以將遺漏的數(shù)據(jù)錄入進去。
相信在未來，這個條形圖最長邊會逐漸移動到腰部。
最后是企業(yè)面臨的綜合挑戰(zhàn)：
- （64.8%）數(shù)據(jù)的整合與治理
- （58.1%）與管理層及業(yè)務(wù)部門的配合
- （51.8%）數(shù)據(jù)人才的培養(yǎng)
- （49.8%）數(shù)據(jù)分析工具的選擇
- （42.4%）IT 部門自身的能力提升
- （38.1%）衡量數(shù)據(jù)分析的價值產(chǎn)出
- （27.6%）公司重視程度或預(yù)算投入
- （14.1%）項目風(fēng)險的控制
數(shù)據(jù)整合與治理是最大問題再次反映了我國數(shù)據(jù)可視化處于較為初級階段，第二名的 “與管理層及業(yè)務(wù)部門的配合”，也印證了這一點，如何將數(shù)據(jù)價值傳達給管理層，讓管理層認(rèn)可前期投入在未來是可以得到回報的，是在企業(yè)里做數(shù)據(jù)分析比較頭疼的問題，而其他業(yè)務(wù)部門如果不予配合，不將數(shù)據(jù)交給數(shù)據(jù)中臺部門，又難以解決數(shù)據(jù)整合的問題，而這個往往又依賴管理層的決定，因此管理層與業(yè)務(wù)部門的配合問題是相輔相成的。
第三名是數(shù)據(jù)人才培養(yǎng)的問題，這個問題筆者認(rèn)為還好，前幾年流行大數(shù)據(jù)人才，近幾年流行 AI 人才，我國數(shù)據(jù)人才應(yīng)該有不少的儲備。
后面幾項最重要的就是 衡量數(shù)據(jù)分析的價值產(chǎn)出，任何做數(shù)據(jù)的部門，如果不能讓數(shù)據(jù)為公司帶來價值，這件事件就沒有可持續(xù)性。筆者建議從數(shù)據(jù)整合后的管理提效，節(jié)省機器成本的角度計算出收益，從數(shù)據(jù)分析平臺為其他業(yè)務(wù)部門提供的決策依據(jù)，計算出為業(yè)績提高作出的貢獻，再從對公司內(nèi)部做報表、郵件的研發(fā)人力節(jié)省，管理層快速查看公司整體實時數(shù)據(jù)分析的角度計算出軟貢獻價值。
3. 總結(jié)
盡管 BI 平臺與數(shù)據(jù)分析可以為公司帶來巨大的價值，但制作 BI 平臺的成本是相當(dāng)大的，而且 BI 平臺具有馬太效應(yīng)，目前國際第一梯隊的 Tableau、PowerBI 無論是吸引的人才，投入的資源，市場份額都遠超追趕者的總和。
<img width=800 src="https://img.alicdn.com/tfs/TB1xd_1b2WG3KVjSZFPXXXaiXXa-1860-1027.png">
從 17-18，18-19 的 BI 四維度對比可以看出，低端 BI 的角逐正在越來越激烈，行業(yè)龍頭 PowerBI 與 Tableau 位置越來越穩(wěn)，國內(nèi) BI 龍頭 FineBI，以及正在逐漸發(fā)力的 QuickBI 希望能擠進國際梯隊，在 BI 技術(shù)領(lǐng)域拉平與發(fā)達國家的差距。
PS：目前國內(nèi)市場的情況，反而不適應(yīng) PowerBI 與 Tableau 階段的 BI 工具，給國產(chǎn) BI 工具創(chuàng)造了發(fā)展機遇，我們要抓住這次機遇帶領(lǐng)中國數(shù)據(jù)市場走向第三代增強分析型，并使國內(nèi) BI 工具在國際市場占有一席之地。
討論地址是：精讀《數(shù)據(jù)之上·智慧之光 - 2018》 · Issue #162 · dt-fe/weekly
如果你想?yún)⑴c討論，請 點擊這里，每周都有新的主題，周末或周一發(fā)布。前端精讀 - 幫你篩選靠譜的內(nèi)容。
關(guān)注 前端精讀微信公眾號
<img width=200 src="https://img.alicdn.com/tfs/TB165W0MCzqK1RjSZFLXXcn2XXa-258-258.jpg">
special Sponsors
版權(quán)聲明：自由轉(zhuǎn)載-非商用-非衍生-保持署名（創(chuàng)意共享 3.0 許可證）
