1.首先創(chuàng)造數(shù)據(jù)，數(shù)據(jù)有4列分別是店鋪id、訂單id、訂單金額、訂單日期。 數(shù)據(jù)如下： 2.計算月銷售額占比通過窗口函數(shù)實現(xiàn)，首先聚合月銷售額，之后再根據(jù)月銷售額集合為年銷售...
發(fā)簡信
IP屬地：海南
-
spark sql實現(xiàn)月銷售額占比以及月環(huán)比和月同比(大廠數(shù)倉sql面試題)
-
敗者樹-包學(xué)包會先說個常見的面試題，對非常多的數(shù)據(jù)進行排序，例如對5億個數(shù)進行排序，但是內(nèi)存中只能容納5千萬的數(shù)據(jù)，這時候就要用到外部排序，多路歸并排序。這里不做詳細介紹，只說下大概的流程：...
-
-
spark sql 連續(xù)登錄最大天數(shù)
數(shù)據(jù)： 注意：| 3|2020-09-04|| 3|2020-09-04|這里是有重復(fù)的，所以第一步是去重復(fù)： 第二步：同一個user_id的登錄時間進行...
-
spark maybeSpill
在shuffle過程中會進行多次的溢出到磁盤的操作，那么條件是什么呢？這個方法maybeSpill就是判斷是否進行溢出操作的。1.不是每加載一個數(shù)據(jù)進行一次判斷的，而是每隔3...
-
java面試題-多線程數(shù)組求和(CountDownLatch實現(xiàn)）
CountDownLatch是一個線程等待其他的所有線程執(zhí)行完成。先對數(shù)組進行分段，每段求和，主線程等待所有線程計算完成之后，在執(zhí)行整體求和。
-
java面試題-多線程數(shù)組求和(CyclicBarrier實現(xiàn)）
CyclicBarrier的作用是攔截多個線程，當所有線程到達指定位置時，在開始往下面執(zhí)行，否則線程等待。兩種構(gòu)造函數(shù)： 其中parties是線程個數(shù)，barrierActi...
-
spark 默認分區(qū)的問題(spark.default.parallelism)
（先區(qū)分一個概念，rdd的分區(qū)數(shù)和rdd的分區(qū)器（partitioner）的分區(qū)數(shù)不是一個）reduceByKey groupByKey join等，如果沒有明確的標記出來分...
-
PageRank算法原理剖析及Spark實現(xiàn)PageRank算法原理剖析及Spark實現(xiàn) 姓名：余玥 學(xué)號：16010188033 轉(zhuǎn)載自http://blog.csdn.ne...
-
spark streaming java簡單demo
java寫的程序，所以程序中使用的都是java的類和api，例如JavaStreamingContext，JavaReceiverInputDStream，JavaDStre...
-
spark graphx最短路徑-java版本網(wǎng)上graphx實現(xiàn)最短路徑的代碼比較多，但是都是scala版本，java版本的實現(xiàn)很少。1.創(chuàng)建圖數(shù)據(jù)使用的方法是Graph.apply()，下面看一下scala的該方法的...
-
spark sortShuffleExternalSorter：1.可以對數(shù)據(jù)進行聚合。2.使用分區(qū)計數(shù)器首先將key分組到各個分區(qū)中，然后使用自定義的比較器對每個分區(qū)中的key進行可選的排序；3.將每個分區(qū)...