發(fā)簡信
IP屬地：北京
-
5.Spark基礎(chǔ)學(xué)習(xí)五（SparkStreaming）
Spark Streaming 概述 ? Spark Streaming用于流式數(shù)據(jù)的處理。Spark Streaming支持的數(shù)據(jù)輸入源很...
-
4.Spark基礎(chǔ)學(xué)習(xí)四（IDEA創(chuàng)建Spark_SQL）
IDEA創(chuàng)建SparkSQL程序 IDEA中程序的打包和運(yùn)行方式都和SparkCore類似，Maven依賴中需要添加新的依賴項(xiàng)： 用戶自定義函數(shù)...
-
3.Spark基礎(chǔ)學(xué)習(xí)三（Spark_SQL）
什么是Spark SQL ? Spark SQL是Spark用來處理結(jié)構(gòu)化數(shù)據(jù)的一個(gè)模塊，它提供了2個(gè)編程抽象：DataFrame和Data...
-
2.Spark基礎(chǔ)學(xué)習(xí)二（RDD和一些算子）RDD 什么是RDD ? RDD（Resilient Distributed Dataset）叫做分布式數(shù)據(jù)集，是Spark中最基本的數(shù)據(jù)抽...
-
1.Spark基礎(chǔ)學(xué)習(xí)一（Spark概念）
什么是Spark Spark是一種基于內(nèi)存的快速的，通用的，可擴(kuò)展的大數(shù)據(jù)分析引擎 Spark內(nèi)存模塊 Spark特點(diǎn) 快:與Hadoop和Ma...
-
Scala語言學(xué)習(xí)五 （高級用法）Scala 高級用法 樣例類 ? 樣例類是一種特殊類，它可以用來快速定義一個(gè)用于保存數(shù)據(jù)的類（類似于Java POJO類），在后續(xù)要學(xué)習(xí)并發(fā)...
-
Scala語言學(xué)習(xí)四 （類和對象）類和對象 scala是支持面向?qū)ο蟮模灿蓄惡蛯ο蟮母拍?。我們依然可以基于scala語言來開發(fā)面向?qū)ο蟮膽?yīng)用程序。 創(chuàng)建類和對象 語法 使用cl...
-
Scala語言學(xué)習(xí)三 （函數(shù)式編程）
函數(shù)式編程 我們將來使用Spark/Flink的大量業(yè)務(wù)代碼都會(huì)使用到函數(shù)式編程。下面的這些操作是學(xué)習(xí)的重點(diǎn)。 遍歷（ foreach ） 映射...
-
Scala語言學(xué)習(xí)一 （數(shù)組，元祖，列表，集合，映射）
Array (數(shù)組) scala中數(shù)組的概念是和Java類似，可以用數(shù)組來存放一組數(shù)據(jù)。scala中，有兩種數(shù)組，一種是定 長數(shù)組，另一種是變長...