作為公司的平臺(tái)部門，需要給各個(gè)業(yè)務(wù)線提供平臺(tái)的服務(wù)，那么如何建設(shè)一個(gè)滿足各種需求的公司平臺(tái)級(jí)OLAP分析服務(wù)呢。首先，一個(gè)開源項(xiàng)目在公司真正落地...
投稿
收錄了19篇文章 · 38人關(guān)注
-
Apache Kylin在美團(tuán)數(shù)十億數(shù)據(jù)OLAP場(chǎng)景下的實(shí)踐
-
深度訪談：華為開源數(shù)據(jù)格式CarbonData項(xiàng)目，實(shí)現(xiàn)大數(shù)據(jù)即席查詢秒級(jí)響應(yīng)
華為宣布開源了CarbonData項(xiàng)目，該項(xiàng)目于6月3日通過Apache社區(qū)投票，成功進(jìn)入Apache孵化器。CarbonData是一種低時(shí)延查...
-
Phoenix 與Spark整合，完善大數(shù)據(jù)計(jì)算棧
本篇文章主要講解phoenix與spark做整合，目的是將phoenix做存儲(chǔ)，spark做計(jì)算層。這樣就結(jié)合了phoenix查詢速度快和spa...
-
Spark在GrowingIO數(shù)據(jù)無埋點(diǎn)全量采集場(chǎng)景下的實(shí)踐本文根據(jù)2016年7月北京IBM Spark沙龍上的分享講稿整理而成。 大家好，我是來自GrowingIO的數(shù)據(jù)工程師付旗，今天跟大家分享的是我...
-
Spark cache 和 checkpoint
checkpoint 相當(dāng)于 cache的備胎;checkpoint的數(shù)據(jù)一般都會(huì)放在容錯(cuò)的文件系統(tǒng)當(dāng)中，比如hdfs．一般在做checkpo...
-
Spark 數(shù)據(jù)傾斜解決思路
１．優(yōu)化數(shù)據(jù)結(jié)構(gòu) ２．修改并行度 ３．對(duì)數(shù)據(jù)做采樣，對(duì)數(shù)據(jù)傾斜的key增加隨機(jī)的前綴． ４．局部聚合＋全局聚合 ５．ETL 6．盡量不要產(chǎn)生sh...
-
-
-
spark 監(jiān)控--WebUi、Metrics SystemUi相關(guān)流程Spark集群?jiǎn)?dòng)之后，我們可以通過Web觀查集群狀態(tài)等信息，這一部分工作是Spark WebUi 模塊實(shí)現(xiàn)。Servlet容器啟動(dòng)...
-
讀完這100篇論文 就能成大數(shù)據(jù)高手作者：Anil Madan** 譯者：張玉宏 文源：LinkeDin 轉(zhuǎn)自：CSDN**PayPal高級(jí)工程總監(jiān)Anil ...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/257203/spark-logo-trademark.png', '推薦專題《玩轉(zhuǎn)Spark》（ 分享自 @簡(jiǎn)書 ）','http://m.itdecent.cn/c/fb78157f2fd3?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}