開(kāi)始之前，我們先聊下數(shù)據(jù)的分類(lèi)吧。數(shù)據(jù)可以從多種維度進(jìn)行分類(lèi)，但從數(shù)倉(cāng)開(kāi)發(fā)角度看， 數(shù)據(jù)可以分為"結(jié)構(gòu)化數(shù)據(jù)"、"半結(jié)構(gòu)化數(shù)據(jù)"、"非結(jié)構(gòu)化數(shù)據(jù)...
使用Dataworks完成數(shù)倉(cāng)的離線全量+實(shí)時(shí)增量ETL可以有多種具體實(shí)現(xiàn)方案。筆者進(jìn)行了多種實(shí)踐，也大概了解到各種實(shí)踐方案的優(yōu)缺點(diǎn)?；貞洰?dāng)時(shí)，...
開(kāi)始之前，先聊下企業(yè)數(shù)據(jù)的整體架構(gòu)吧。一般來(lái)說(shuō)，業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫(kù)有較大的生產(chǎn)壓力，大多數(shù)的做法是在企業(yè)生產(chǎn)庫(kù)后會(huì)追加1到2個(gè)只讀庫(kù)，負(fù)責(zé)實(shí)時(shí)同步...
伴隨前臺(tái)業(yè)務(wù)系統(tǒng)的微服務(wù)化，各微應(yīng)用的數(shù)據(jù)存儲(chǔ)于各自微服務(wù)里，使得各業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)的關(guān)聯(lián)分析、數(shù)據(jù)的全生命周期的分析愈發(fā)困難。這往往逼迫各互聯(lián)...
數(shù)據(jù)倉(cāng)庫(kù)主要包含數(shù)據(jù)集成、數(shù)據(jù)計(jì)算、數(shù)據(jù)服務(wù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)資產(chǎn)等模塊。在數(shù)倉(cāng)建設(shè)中，對(duì)數(shù)據(jù)開(kāi)發(fā)者說(shuō)最主要工作在數(shù)據(jù)集成和數(shù)據(jù)計(jì)算，這2塊在Da...
使用DataWorks開(kāi)發(fā)過(guò)程中會(huì)存在各類(lèi)配置，面對(duì)如此多的配置，如果不進(jìn)行規(guī)范化的約定，后期業(yè)務(wù)過(guò)程將面臨難以維護(hù)，參數(shù)定義冗亂等問(wèn)題，在這里...
從阿里巴巴在2018年底正式推出數(shù)據(jù)中臺(tái)這個(gè)概念后，數(shù)據(jù)中臺(tái)就如火如荼的啟航了。網(wǎng)絡(luò)上對(duì)"數(shù)據(jù)中臺(tái)概念"的理解，對(duì)"數(shù)據(jù)中臺(tái)架構(gòu)"的理解，這樣的...
Dataworks里的資源組分為"公共資源組"、"獨(dú)享資源組"。其中"公共資源組"是全租戶(hù)下使用，在任務(wù)高峰期會(huì)造成數(shù)據(jù)調(diào)度、數(shù)據(jù)同步延遲，因此...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1930835/p8910.png', '推薦專(zhuān)題《基于DataWorks構(gòu)建數(shù)據(jù)中臺(tái)》（ 分享自 @簡(jiǎn)書(shū) ）','http://m.itdecent.cn/c/e48e19935bc0?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁(yè)面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}