Spark DataSource API 的提出使得各個數(shù)據(jù)源按規(guī)范實現(xiàn)適配，那么就可以高效的利用Spark 的計算能力。典型如Parquet,CarbonData,Post...
發(fā)簡信
IP屬地：浙江
-
利用 Spark DataSource API 實現(xiàn)Rest數(shù)據(jù)源
-
使用Spark SQL構(gòu)建交互式查詢引擎StreamingPro目前已經(jīng)涵蓋流式/批處理，以及交互查詢?nèi)齻€領(lǐng)域，實現(xiàn)配置和SQL化 前言 StreamingPro 原來僅僅是用來作為Spark Streaming的...
-
Spark Streaming + Spark SQL 實現(xiàn)配置化ETL流程
Spark Streaming 非常適合ETL。但是其開發(fā)模塊化程度不高，所以這里提供了一套方案，該方案提供了新的API用于開發(fā)Spark Streaming程序，同時也實現(xiàn)...
-
Kafka Zero-Copy 使用分析
之前有聽過Zero-Copy 技術(shù)，而Kafka是典型的使用者。網(wǎng)上找了找，竟然沒有找到合適的介紹文章。正好這段時間正在閱讀Kafka的相關(guān)代碼，于是有了這篇內(nèi)容。這篇文章會...
-
Spark Tungsten-sort Based Shuffle 分析Tungsten-sort 算不得一個全新的shuffle 方案，它在特定場景下基于類似現(xiàn)有的Sort Based Shuffle處理流程，對內(nèi)存/CPU/Cache使用做了...
-
Spark Streaming 流式計算實戰(zhàn)這篇文章由一次平安夜的微信分享整理而來。在Stuq 做的分享，原文內(nèi)容。 業(yè)務場景 這次分享會比較實戰(zhàn)些。具體業(yè)務場景描述： 我們每分鐘會有幾百萬條的日志進入系統(tǒng)，我們希望根...