發(fā)簡信
IP屬地：北京
DWB層實現(xiàn) 還有 hive 優(yōu)化 和 數(shù)據(jù)傾斜問題 1.DWB層開始按主題劃分，日（天）統(tǒng)計寬表，輕度提前聚合操作 解釋:輕度提前聚合說的是先...
DWD實現(xiàn):緯度退化操作（退維） 本項目老師給我們講三大寬表 訂單明細表寬 主表:訂單事實表（拉鏈表） 1.訂單組表 2.訂單組支付信息表 3....
漸變緯 拉鏈表的設(shè)計 dwd層的搭建_三導(dǎo)入方式 全量導(dǎo)入，循環(huán)和拉鏈導(dǎo)入，全量覆蓋導(dǎo)入 重點，講的拉鏈表。 hive的相關(guān)配置導(dǎo)入。
數(shù)倉分層設(shè)計 ODS層 元數(shù)據(jù)層 DWD層 細分數(shù)據(jù)層（數(shù)據(jù)的轉(zhuǎn)化和清洗） DWB層 數(shù)據(jù)降緯 出明細寬表，作為中間數(shù)據(jù)使用 DWS層 按照主題...
今天 sqoop 講完了 sqoop 的安裝 從關(guān)系型數(shù)據(jù)庫導(dǎo)入到HDFS mysql數(shù)據(jù)導(dǎo)入hive orc壓縮格式用 hcatalog ap...
今天第一天，老師講了大數(shù)據(jù)框架 Lambda架構(gòu) 離線走離線 實時走實時 還有kappa架構(gòu) 流批一體架構(gòu)（未來主流） 還有一些大數(shù)據(jù)環(huán)境的工具...
第四天 對MySQL庫的數(shù)據(jù)進行采集，篩選去除臟數(shù)據(jù)。 第五天 采集后臺日志數(shù)據(jù) 模擬后臺日志數(shù)據(jù)， 1.讀取文件 2.從MySQL元數(shù)據(jù)庫中查...
因為線上原因四天課加了一天。 今日總結(jié) 完成字符串工具的編寫和單元測試 完成時間工具的編寫及單元測試 對老師編寫的模型理解和解讀 完整主業(yè)務(wù)邏輯...
編寫MySQL工具類 編寫查詢MySQL那些文件被處理的記錄方法 查詢對比兩個列表，找出沒有被用的工具方法