#boy LI
發(fā)簡(jiǎn)信
IP屬地：北京
-
新零售項(xiàng)目第七天
DWB層實(shí)現(xiàn) 還有 hive 優(yōu)化 和 數(shù)據(jù)傾斜問(wèn)題 1.DWB層開(kāi)始按主題劃分，日（天）統(tǒng)計(jì)寬表，輕度提前聚合操作 解釋:輕度提前聚合說(shuō)的是先聚合出口的指標(biāo)，后續(xù)可以上卷出...
-
新零售項(xiàng)目第六天
DWD實(shí)現(xiàn):緯度退化操作（退維） 本項(xiàng)目老師給我們講三大寬表 訂單明細(xì)表寬 主表:訂單事實(shí)表（拉鏈表） 1.訂單組表 2.訂單組支付信息表 3.商品快照表 4.訂單輔表 5...
-
新零售項(xiàng)目第五天
漸變緯 拉鏈表的設(shè)計(jì) dwd層的搭建_三導(dǎo)入方式 全量導(dǎo)入，循環(huán)和拉鏈導(dǎo)入，全量覆蓋導(dǎo)入 重點(diǎn)，講的拉鏈表。 hive的相關(guān)配置導(dǎo)入。
-
新零售項(xiàng)目第四天
數(shù)倉(cāng)分層設(shè)計(jì) ODS層 元數(shù)據(jù)層 DWD層 細(xì)分?jǐn)?shù)據(jù)層（數(shù)據(jù)的轉(zhuǎn)化和清洗） DWB層 數(shù)據(jù)降緯 出明細(xì)寬表，作為中間數(shù)據(jù)使用 DWS層 按照主題劃分的日統(tǒng)計(jì)寬表，基于DWB層...
-
新零售項(xiàng)目第三天
今天 sqoop 講完了 sqoop 的安裝 從關(guān)系型數(shù)據(jù)庫(kù)導(dǎo)入到HDFS mysql數(shù)據(jù)導(dǎo)入hive orc壓縮格式用 hcatalog apl 導(dǎo)入 hive看不了，可以...
-
新零售項(xiàng)目10天
今天第一天，老師講了大數(shù)據(jù)框架 Lambda架構(gòu) 離線走離線 實(shí)時(shí)走實(shí)時(shí) 還有kappa架構(gòu) 流批一體架構(gòu)（未來(lái)主流） 還有一些大數(shù)據(jù)環(huán)境的工具 比如 flume:實(shí)時(shí)數(shù)據(jù)采...
-
'ETL實(shí)戰(zhàn)四天
第四天 對(duì)MySQL庫(kù)的數(shù)據(jù)進(jìn)行采集，篩選去除臟數(shù)據(jù)。 第五天 采集后臺(tái)日志數(shù)據(jù) 模擬后臺(tái)日志數(shù)據(jù)， 1.讀取文件 2.從MySQL元數(shù)據(jù)庫(kù)中查詢是否處理過(guò) 3.進(jìn)行對(duì)比，找...
-
ETL實(shí)戰(zhàn)五天第三天
因?yàn)榫€上原因四天課加了一天。 今日總結(jié) 完成字符串工具的編寫和單元測(cè)試 完成時(shí)間工具的編寫及單元測(cè)試 對(duì)老師編寫的模型理解和解讀 完整主業(yè)務(wù)邏輯代碼，成功寫入csv到硬盤。
-
今天來(lái)黑馬20天了
線下課今天第四天，每天七點(diǎn)起床，九點(diǎn)半下晚自習(xí)，十點(diǎn)半到住的地方。在做飯，洗刷11點(diǎn)了在學(xué)習(xí)一小時(shí)。 挺好的，加油(? ??_??)?
-
mysql學(xué)習(xí)筆記
-
黑馬大數(shù)據(jù)培訓(xùn)第10天
我在北京培訓(xùn)，因?yàn)橐咔闀簳r(shí)還是線上課。 今天基礎(chǔ)班結(jié)束，交了500占位費(fèi)。 后天考完試要交2萬(wàn)3，感覺(jué)對(duì)以后充滿恐懼 心里很慌，自己可以堅(jiān)持下去。(? ??_??)? 我家境...
