ORC文件--包含snappy、zlib兩種壓縮格式，不需要配置compress參數(shù) CREATE EXTERNAL TABLE tbl_orc_snappy_comma(s...
發(fā)簡信
IP屬地：山西
-
hive建表-指定文件類型和壓縮類型以及字段分隔符
-
關(guān)于是否在intellij idea 的工程下的resources目錄下添加core-site.xml 的區(qū)別？
hadoop core-site.xml 中通常有核心的配置項(xiàng)，比如： 如圖，當(dāng)resources目錄下添加了Hadoop core-site.xml 且包含配置項(xiàng)“fs.d...
-
datax字段轉(zhuǎn)換
通用轉(zhuǎn)換 針對通用的轉(zhuǎn)換，如加密等很多表同步都使用到的，可以加入插件。可以參考com.alibaba.datax.core.transport.transformer下面的插...
-
傳遞文字，結(jié)交喜愛文字的朋友，用一個思想換取另外一個思想，讓我們的世界充滿正能量！
-
Kafka 入門1：系統(tǒng)架構(gòu)、基本概念以及偽集群搭建方法一、Kafka 是什么？ Apache Kafka 本質(zhì)上是一種消息中間件，用來可靠傳遞消息事件，用來管理消息隊(duì)列（Message Queue），具有如下特點(diǎn)： 分布式的，支...
-
Redis 高級功能
一、Redis 管道技術(shù) 1.1 背景 想象一下，現(xiàn)在需要向 Redis 中添加大量的 KV 對，可以通過直接調(diào)用大量的 set 命令來完成，比如： 然而這種方法存在一個問題...
-
解決 hive 建表注釋中文亂碼問題
有時在 hive 中創(chuàng)建表之后，在查看表結(jié)構(gòu)（describe TABLE_NAME）或者建表語句（show create table TABLE_NAME）時會遇到注釋中的...
-
Spark 中 RDD 算子 ReduceByKey 和 GroupByKey 使用方法和區(qū)別在對RDDPair（一種特殊的 RDD，即RDD[(key, Row)]）進(jìn)行操作時經(jīng)常會用到 reduceByKey() 和 groupByKey() 兩個算子。下面看看兩...
-
HDFS讀寫文件流程https://www.cnblogs.com/laowangc/p/8949850.html 一、HDFS讀取文件流程： 詳解讀取流程： Client調(diào)用FileSyste...
-
Flink 入門（一）：Flink 背景、架構(gòu)以及基本知識點(diǎn)今年 Flink 火的一塌糊涂，一些大廠比如阿里巴巴也都開始使用 Flink 構(gòu)建實(shí)時數(shù)據(jù)倉庫。 一、什么是 Flink ？ 1.1 批處理和流處理 數(shù)據(jù)集分為有界數(shù)據(jù)集和無...
-
Flink 入門（二）：Mac 上搭建 Flink & Flink 配置項(xiàng)Flink V1.9 官方中文文檔地址：https://ci.apache.org/projects/flink/flink-docs-release-1.9/zh/。 一、...
-
學(xué)習(xí)筆記總結(jié)<br><br>github:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fxy2953396112" target="_blank">https://github.com/xy2953396112</a><br><br><br><br><br>
