本文是由來自騰訊的陳才進行的分享。作者專注數(shù)據(jù)資產(chǎn)管理，自動化運維，AIOps。

騰訊游戲大數(shù)據(jù)運營概況

file

每日傳輸量：17000億條，約260TB，總存儲量為100PB+，公司占比為20%。

在游戲大數(shù)據(jù)管控中，面臨著眾多問題與痛點：

• 數(shù)據(jù)多樣化，缺少統(tǒng)一標(biāo)準(zhǔn)
• 計算邏輯理解一不致，導(dǎo)致統(tǒng)計結(jié)果有偏差
• 數(shù)據(jù)全鏈路質(zhì)量問題，層次復(fù)雜、不能快速定位問題
• 游戲數(shù)據(jù)管控的問題與難點
• 數(shù)據(jù)質(zhì)量偏低給數(shù)據(jù)應(yīng)用帶來的各種挑戰(zhàn)
• 數(shù)據(jù)標(biāo)準(zhǔn)缺乏結(jié)構(gòu)化管理，集成困難
• 數(shù)據(jù)分散，沒有形成完整的成本管理
• 數(shù)據(jù)價值的評估較為困難
• 數(shù)據(jù)安全與合規(guī)保障的問題

歷經(jīng)6年在各階段解決的關(guān)鍵問題，構(gòu)建游戲大數(shù)據(jù)資產(chǎn)管理體系：

file

通過組織、流程、制度、技術(shù)等組合手段，確保數(shù)據(jù)交付的質(zhì)量、效率、成本和安全，助力業(yè)務(wù)數(shù)據(jù)價值提升。

游戲大數(shù)據(jù)資產(chǎn)管理體系

file

元數(shù)據(jù)管理

• 異構(gòu)適配，集中存儲
• 業(yè)務(wù)指標(biāo)，開放共享
• 描述數(shù)據(jù)，理解業(yè)務(wù)
• 自動構(gòu)建血緣關(guān)系鏈
• 擴展能力，輔助運營

file

數(shù)據(jù)采集架構(gòu)

file

• 單機： UDP：5W qps; KCP: 9w; TCP:10w
• 單機吞吐量：180Mbps
• 分布式高可用，雙方擴容互不耦合
• 高可用，高可靠：擴容不丟失數(shù)據(jù)；WAL雙備數(shù)據(jù)
• 完整率: 99.99~99.9999%
• 多協(xié)議支持；多數(shù)據(jù)格式支持
• 專業(yè)數(shù)據(jù)管理、數(shù)據(jù)運維
• 周邊系統(tǒng)完善支持

數(shù)據(jù)標(biāo)準(zhǔn)管理

file

file

數(shù)據(jù)治理面臨挑戰(zhàn)

數(shù)據(jù)服務(wù)運營質(zhì)量面臨三大挑戰(zhàn)：

• 全鏈路數(shù)據(jù)服務(wù)環(huán)節(jié)眾多復(fù)雜，問題定位困難
• 業(yè)務(wù)服務(wù)故障，回溯數(shù)據(jù)問題非常困難
• 數(shù)據(jù)平臺異常，如何快速評估影響面

解決方案：基于數(shù)據(jù)+業(yè)務(wù)血緣構(gòu)建全鏈路質(zhì)量保障體系

file

數(shù)據(jù)治理-血緣構(gòu)建

數(shù)據(jù)與業(yè)務(wù)血緣關(guān)系鏈構(gòu)建過程:

file

數(shù)據(jù)治理-血緣應(yīng)用效果

• 構(gòu)建數(shù)據(jù)與業(yè)務(wù)血緣，保障數(shù)據(jù)全鏈路服務(wù)質(zhì)量SLA達(dá)99.99+%
• 1min內(nèi)告警并評估影響面和問題快速定位

file

資產(chǎn)運營-成本管理

file

資產(chǎn)運營-數(shù)據(jù)生命周期管理

無數(shù)據(jù)生命周期管理會出現(xiàn)：

• 數(shù)據(jù)無序增長
• 成本快速上升
• 計算效率低下

• 數(shù)據(jù)維護困難

  
  
  file

隨時間推移，數(shù)據(jù)使用價值不斷衰減，數(shù)據(jù)在線度就是反應(yīng)數(shù)據(jù)的在線程度和使用衰減情況影響數(shù)據(jù)在線度的因素：數(shù)據(jù)使用價值和數(shù)據(jù)重要等級，而數(shù)據(jù)使用價值有跟數(shù)據(jù)訪問熱度和應(yīng)用廣度有關(guān)，數(shù)據(jù)在線度的關(guān)聯(lián)函數(shù)為：
??(??) = ??(??(??), ??)
其中??(??)為數(shù)據(jù)使用價值， ??為數(shù)據(jù)重要等級數(shù)據(jù)生命周期管理策略隨在線度的變化而變化。

資產(chǎn)運營-數(shù)據(jù)安全管理

游戲數(shù)據(jù)資產(chǎn)安全管理 “四大” 關(guān)鍵舉措：

file

file

數(shù)據(jù)驅(qū)動-數(shù)據(jù)價值評估

實施數(shù)據(jù)價值評估的意義

• 衡量業(yè)務(wù)的投入產(chǎn)出比
• 衡量數(shù)據(jù)發(fā)揮的作用
• 為產(chǎn)品提供運營決策依據(jù)
• 衡量數(shù)據(jù)服務(wù)平臺能力水平

數(shù)據(jù)價值評估的難點

• 行業(yè)內(nèi)無統(tǒng)一標(biāo)準(zhǔn)和方法
• 公司內(nèi)缺乏可量化的估值體系
• 數(shù)據(jù)價值存場景化差異性

數(shù)據(jù)價值評估：

投入產(chǎn)出比ROI計算

結(jié)合數(shù)據(jù)成本與價值，計算數(shù)據(jù)服務(wù)平臺投入產(chǎn)出比，為市場化數(shù)據(jù)管理運營提供直接依據(jù)

推動數(shù)據(jù)成本優(yōu)化

減少投入，推動業(yè)務(wù)方實施數(shù)據(jù)服務(wù)成本優(yōu)化

數(shù)據(jù)深度挖掘到精細(xì)化場景落地

放大價值，橫向?qū)Ρ韧惍a(chǎn)品，協(xié)助業(yè)務(wù)方結(jié)合數(shù)據(jù)服務(wù)，發(fā)掘更多業(yè)務(wù)服務(wù)場景

file

數(shù)據(jù)資產(chǎn)管理實踐步驟

總結(jié)：

file

關(guān)注我的公眾號，后臺回復(fù)【JAVAPDF】獲取200頁面試題！
5萬人關(guān)注的大數(shù)據(jù)成神之路，不來了解一下嗎？
5萬人關(guān)注的大數(shù)據(jù)成神之路，真的不來了解一下嗎？
5萬人關(guān)注的大數(shù)據(jù)成神之路，確定真的不來了解一下嗎？

歡迎您關(guān)注《大數(shù)據(jù)成神之路》