利用clickhouse中的toStartOf*()函數(shù)，將時間歸屬到相同點，然后利用分組統(tǒng)計即可。 toStartOf*()函數(shù)： toStartOfInterval() ...
發(fā)簡信
IP屬地：遼寧
-
Clickhouse 實現(xiàn)分時統(tǒng)計 -
ZooKeeper快速領(lǐng)導(dǎo)選舉（Fast Leader Election）機制解析前言 忙亂的1月馬上就要過去了，連續(xù)20多天沒更新，還是寫點什么找找狀態(tài)比較好。 最近我們服務(wù)ClickHouse集群的ZooKeeper znode數(shù)量一度突破了300萬，...
-
MapReduce Shuffle 和 Spark Shuffle 原理概述
更多大數(shù)據(jù)技術(shù)干貨，歡迎關(guān)注“大數(shù)據(jù)技術(shù)進階”微信公眾號。 Shuffle簡介 Shuffle的本意是洗牌、混洗的意思，把一組有規(guī)則的數(shù)據(jù)盡量打亂成無規(guī)則的數(shù)據(jù)。而在MapR...
-
Parquet與ORC：高性能列式存儲格式
http://blog.csdn.net/yu616568/article/details/51868447背景隨著大數(shù)據(jù)時代的到來，越來越多的數(shù)據(jù)流向了Hadoop生態(tài)圈，...
-
Hive調(diào)優(yōu)全方位指南(轉(zhuǎn)載)
正文目錄 1、表層面 1.1 利用分區(qū)表優(yōu)化 1.2 利用分桶表優(yōu)化 1.3 選擇合適的文件存儲格式 1.4 選擇合適的壓縮格式 2、HQL層面優(yōu)化 2.1 執(zhí)行計劃 2.1...
-
這兩月“阿里和金蝶”，我的兩次面試之旅
一、阿里面試，一次“期盼”和“揪心”之旅1說起與阿里的“面試姻緣”，最早要追溯到差不多10年前了。 那是2009的春天，那時的阿里遠不像現(xiàn)在如日中天。阿里從B2B起家的，我記...
-
【轉(zhuǎn)載】馬蜂窩數(shù)據(jù)倉庫的架構(gòu)、模型與應(yīng)用實踐馬蜂窩數(shù)據(jù)倉庫的架構(gòu)、模型與應(yīng)用實踐 （馬蜂窩技術(shù)原創(chuàng)內(nèi)容，公眾號ID：mfwtech） 一、馬蜂窩數(shù)據(jù)倉庫與數(shù)據(jù)中臺 最近幾年，數(shù)據(jù)中臺概念的熱度一直不減。2018 年起，...
-
Canal + Kafka 實現(xiàn) MySQL 的 binlog 近實時同步背景 經(jīng)過上篇文章的測試 Kafka Connect For MySQL 實現(xiàn)增量數(shù)據(jù)同步，因為研究時間較短，網(wǎng)上資源較少，只能自己一步一步去探索，在理論層面上是可以實現(xiàn)業(yè)務(wù)...
