遇到一個(gè)很奇怪的異常，通過(guò) JDBC batch insert 時(shí)，會(huì)報(bào) Unknown command(27) 的異常。 而且這個(gè)問(wèn)題很容易復(fù)現(xiàn)，復(fù)現(xiàn)例子： 建表語(yǔ)句 寫入...
發(fā)簡(jiǎn)信
IP屬地：湖北
-
奇妙的 JDBC batch insert 到 Doris 異常的問(wèn)題 -
Kafka GetOffsetShellparseOffsetSpec 根據(jù) time 配置解析出獲取 offset 的方式，earliest、lastest或者指定的時(shí)間戳 然后通過(guò) KafkaAdminClie...
-
人家說(shuō)的哪兒不對(duì)你倒是說(shuō)啊，上來(lái)就這個(gè)不對(duì)那個(gè)不對(duì)的，你也不說(shuō)個(gè)對(duì)的
深入理解 Scala 中的閉包（Closures）
摘要 本文通過(guò) Scala 語(yǔ)言來(lái)實(shí)現(xiàn)一個(gè)簡(jiǎn)單的閉包，并且通過(guò) Opcode 來(lái)深入理解 Scala 中閉包的實(shí)現(xiàn)原理。 一個(gè)簡(jiǎn)單的例子 閉包，簡(jiǎn)單的理解就是：函數(shù)內(nèi)部的變量...
-
本博客所有內(nèi)容均適用知識(shí)共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議。
-
-
線程池使用及優(yōu)勢(shì)
線程池使用及優(yōu)勢(shì) 線程池的主要工作是控制運(yùn)行的線程數(shù)量，處理過(guò)程中將任務(wù)放入隊(duì)列，然后在線程創(chuàng)建后啟動(dòng)這些任務(wù)，如果線程數(shù)超過(guò)了最大數(shù)量，超出數(shù)量的線程就需要排隊(duì)等候，等待其...
-
volatile關(guān)鍵字volatile是Java虛擬機(jī)提供的輕量級(jí)的同步機(jī)制 具有三大特性： 保證可見性 不保證原子性 禁止指令重排 要想講清楚這三大特性，首先要了解JMM JMM JMM(Jav...
-
ClassNotFoundException和NoClassDefFoundError
ClassNotFoundException ClassNotFoundException一個(gè)異常，該異常為已檢查異常（Checked Exception），可以在編譯期檢查...
-
Spark-task執(zhí)行過(guò)程中的序列化
先看一個(gè)例子： 運(yùn)行后結(jié)果： Exception in thread "main" org.apache.spark.SparkException: Task not ser...
-
Spark-通信架構(gòu)
Spark 2.x版本使用Netty通訊框架作為內(nèi)部通訊組間。Spark基于Netty新的RPC框架借鑒了Akka中的設(shè)計(jì)，基于Actor模型。 Spark通訊框架中各個(gè)組件...
-
Spark-DStream數(shù)據(jù)轉(zhuǎn)換
DStream的原語(yǔ)與RDD類似，分文轉(zhuǎn)換（Transformation）和輸出（Output）兩種，此外還有一些特殊的原語(yǔ)，如：updateStateByKey，trans...
-
Spark-從Kafka讀取數(shù)據(jù)
在工程中引用spark-streaming-kafka-0-10_2.11來(lái)使用它。通過(guò)包中提供的KafkaUtils可以在StreamingContext和JavaStre...
-
Spark-用戶定義函數(shù)
用戶可以調(diào)用SparkSession的udf功能自定義函數(shù) 用戶定義函數(shù) 加載json數(shù)據(jù)val df = spark.read.json("files\\test.json...
-
Spark-DataFrame的基本操作
在SparkSQL中SparkSession是創(chuàng)建DataFrame和執(zhí)行SQL的入口，創(chuàng)建DataFrame有三種方式：通過(guò)Spark的數(shù)據(jù)源進(jìn)行創(chuàng)建，從一個(gè)存在的RDD進(jìn)...
-
Spark-DataSet的基本操作
DataSet是具有強(qiáng)類型的數(shù)據(jù)集合，需要提供對(duì)應(yīng)的類型信息。 創(chuàng)建 創(chuàng)建一個(gè)樣例類case class Person(name: String, age: Long) 創(chuàng)建...
-
static關(guān)鍵字
由static關(guān)鍵字修飾的成員稱為靜態(tài)成員，該關(guān)鍵字可以用來(lái)修飾： 變量 方法 代碼塊 內(nèi)部類 靜態(tài)成員屬于它所在的類，不同于類的實(shí)例成員，每一個(gè)對(duì)象實(shí)例都有一份自己的拷貝，...
-
Spark-SparkSQL介紹SparkSQL是Spark用來(lái)處理結(jié)構(gòu)化數(shù)據(jù)的一個(gè)模塊，它提供了2個(gè)編程抽象：DataFrame和DataSet，并且作為分布式SQL查詢引擎使用。 不同于Hive將Hiv...
-
Spark-自定義Receiver
可以繼承Receiver類來(lái)實(shí)現(xiàn)自定義采集器，需要實(shí)現(xiàn)方法如下： onStart：接收器啟動(dòng)方法 onStop：接收器停止方法 同時(shí)還要指定Receiver的緩存等級(jí) 代碼實(shí)...
