shuffle操作原理 是spark中一些特殊的算子操作會觸發(fā)的一種操作shuffle操作，會導(dǎo)致大量的數(shù)據(jù)在不同的機器和節(jié)點之間進行傳輸，因此也是spark中最復(fù)雜、最消耗...
發(fā)簡信
IP屬地：湖北
-
149、Spark核心編程進階之Shuffle相關(guān) -
207、Spark 2.0之Structured Streaming：基于checkpoint的容錯機制
容錯機制 如果實時計算作業(yè)遇到了某個錯誤掛掉了，那么我們可以配置容錯機制讓它自動重啟，同時繼續(xù)之前的進度運行下去。這是通過checkpoint和wal機制完成的?？梢越oque...
-
205、Spark 2.0之Structured Streaming：output mode、sink以及foreach sink詳解output操作 定義好了各種計算操作之后，就需要啟動這個應(yīng)用。此時就需要使用DataStreamWriter，通過spark.writeStream()方法返回。此時需要指...
-
204、Spark 2.0之Structured Streaming：對流式的dataset和dataframe執(zhí)行計算操作基礎(chǔ)操作：選擇、映射、聚合 我們可以對流式dataset/dataframe執(zhí)行所有類型的操作，包括untyped操作，SQL類操作，typed操作。 滑動窗口：基于even...
-
203、Spark 2.0之Structured Streaming：創(chuàng)建流式的dataset和dataframe
創(chuàng)建流式的dataset和dataframe 流式dataframe可以通過DataStreamReader接口來創(chuàng)建，DataStreamReader對象是通過SparkS...
-
202、Spark 2.0之Structured Streaming：編程模型Structured Streaming基礎(chǔ)編程模型 structured streaming的核心理念，就是將數(shù)據(jù)流抽象成一張表，而源源不斷過來的數(shù)據(jù)是持續(xù)地添加到這個表中...
-
201、Spark 2.0之Structured Streaming：wordcount入門案例
Structured Streaming structured streaming是一種可伸縮的、容錯的、基于Spark SQL引擎的流式計算引擎。你可以使用，與針對靜態(tài)數(shù)據(jù)...
-
200、Spark 2.0之Structured Streaming：深入淺出的介紹
流式計算 大多數(shù)的流式計算引擎（比如storm、spark streaming等）都僅僅關(guān)注流數(shù)據(jù)的計算方面：比如使用一個map函數(shù)對一個流中每條數(shù)據(jù)都進行轉(zhuǎn)換，或者是用re...