發(fā)簡信
IP屬地：陜西
-
正則表達(dá)式解析包含中英文的unicode字符串
在抽取oracle等數(shù)據(jù)庫時，由于編碼問題需要處理unicode字符串，將字符串中的特殊符號和中文還原。例如：如下UNISTR字符串 UNIST...
-
本地用spark訪問開啟Kerberos認(rèn)證的華為云端hive本地IDEA搭建開發(fā)環(huán)境，實(shí)現(xiàn)local模式spark對開啟Kerberos認(rèn)證的云端hive數(shù)據(jù)進(jìn)行讀寫操作。 一、環(huán)境版本：本地PC: wi...
-
CDH-hdfs配置HA后，hive查詢報錯在CDH平臺上配置HA后，hdfs服務(wù)正常運(yùn)行，hive服務(wù)可以正常連接，但是進(jìn)行查詢時報錯?，F(xiàn)象：查詢時卡主不動，然后報錯顯示舊的那么name...
-
CDH平臺-Hue集成Oracle報錯:no oracle client library found on host:…
在Hue的編輯器中可以集成Oralce進(jìn)行查詢，集成過程中報錯：no oracle client library found on host:…...
-
Spark SQL UDF函數(shù)的兩種注冊方式
SparkSQL中可以創(chuàng)建自定義函數(shù)UDF對dataframe進(jìn)行操作，UDF是一對一的關(guān)系，用于給dataframe增加一列數(shù)據(jù)的場景。 每次...
-
Spark中Rdd轉(zhuǎn)換為DataFrame的兩種方式
1. Spark SQL中，將已存在的RDD轉(zhuǎn)換為DataFrame的兩種方式。 Inferring the Schema Using Refl...
-
Spark中Rdd、Dataframe、Dataset的區(qū)別1. 概述 本文章將從多個角度介紹Spark中RDD，DataFrame和Dataset的概念以及它們之間的區(qū)別。例如，數(shù)據(jù)表示，不變性和互操作...
-
SparkSQL DataFrame新增一列的四種方法
SparkSQL中，有時需要根據(jù)需求基于原數(shù)據(jù)新增一些列，下面介紹一下dataframe新增列的四種方法，根據(jù)情況可采用不同的方法實(shí)現(xiàn)需求。
-
Spark通過jdbc采用分區(qū)的方式從oracle讀數(shù)據(jù)
spark通過jdbc可以從oracle中直接讀取數(shù)據(jù)，返回dataframe。有時由于數(shù)據(jù)量較大，我們可以采用分區(qū)方式通過jdbc多線程并行從...