作者 |TMH_ITBOY原文| https://blog.csdn.net/LLJJYY001/article/details/113994130 前言 Hive作為大數(shù)...
IP屬地：上海
-
大廠都在用的Hive優(yōu)化
-
最新Hadoop的面試題總結(jié)
1、集群的最主要瓶頸 ? 磁盤IO,網(wǎng)絡帶寬 2、Hadoop運行模式 ? 單機版、偽分布式模式、完全分布式模式 3、Hadoop生態(tài)圈的組件并做簡要描述 ? 1）Zooke...
-
企業(yè)是如何解決HDFS單點問題的？前言 在早期Hadoop剛出來的時候是沒有解決HDFS單點問題的，這就意味著當NameNode的服務器宕機了就會導致整個集群癱瘓，這是非常危險的于是在Hadoop不斷的更新...
-
你都知道那些Kafka副本機制？前言 在日常開發(fā)過程中使用kafka來實限流削峰作用但是往往kafka會存放多份副本來防止數(shù)據(jù)丟失，那你知道他的機制是什么樣的嗎？本篇文章就帶給大家講解下。 一、Kafka...
-
HDFS是如何設計架構的？前言 Hadoop到目前為止發(fā)展已經(jīng)有10余年，版本經(jīng)過無數(shù)次的更新迭代，目前業(yè)內(nèi)大家把Hadoop大的版本分為Hadoop1.0、Hadoop2.0、Hadoop3.0 ...
-
企業(yè)是如何選擇技術棧來做離線數(shù)倉前言 最近在跟一位粉絲聊天，聊起來了做離線數(shù)倉時該用那些技術棧。于是根據(jù)我的經(jīng)驗和參考一些資料于就有本篇文章。在這里我會分享三個案例，僅供參考。 案例一、小型公司 首先我...
-
原來Canal也可以做HA?前言 在做實時數(shù)倉時，數(shù)據(jù)量往往比較大的，如果使用Canal來監(jiān)聽MySQL的狀態(tài)當Canal 是單節(jié)服務時，服務器掛掉是就會造成數(shù)據(jù)丟失，這時Canal恰好可以配置HA這...
-
萬字帶你深入阿里開源的Canal工作原理前言 上篇文章給大家講解了如何安裝一個Canal,以及講解了一部分的原理，今天我們就來深度聊一聊Canal的工作流程，以及他是怎么工作的，以及架構師怎樣的。 首...
-
實時數(shù)倉|架構設計與技術選型前言 當我們做一個項目時往往都需要選擇該用什么技術。這一部分不是我們普通員工想的，而是架構師會根據(jù)客戶的需求選擇出合適的技術。當選擇合適的技術會讓我們的開發(fā)事半功倍。下面我...
-
一文帶你快速入門Canal，看這篇就夠了！前言 我們在做實時數(shù)倉時數(shù)據(jù)往往都是保存到數(shù)據(jù)庫中例如MySQL，當有一條數(shù)據(jù)新增或修改需要馬上將數(shù)據(jù)同步到kafka中或其他的數(shù)據(jù)庫中，這時候我們需要借助阿里開源出來的C...
-
Flink 自定義Avro序列化(Source/Sink)到kafka中前言 環(huán)境所依賴的pom文件 一、Avro提供的技術支持包括以下五個方面： 優(yōu)秀的數(shù)據(jù)結(jié)構； 一個緊湊的，快速的，二進制數(shù)據(jù)格式； 一個容器文件，用來存儲持久化數(shù)據(jù)； RPC...
-
Hive的調(diào)優(yōu)你都知道那些？前言 一、Fetch抓取（Hive可以避免進行MapReduce） Hive中對某些情況的查詢可以不必使用MapReduce計算。例如：SELECT * FROM empl...
-
一文教你學會Hive視圖和索引前言 我們在寫HQL有沒有遇到過數(shù)據(jù)量特別大的時候比如，使用HQL 處理起來非常復雜，非常慢，這時候我們可以使用Hive給加個索引來提高我們的速度。多了就不說了，我們直接開...
-
深入講解拉鏈表，還怕面試官問？前言 今天給大家分享一個面試中經(jīng)常會被問到的拉鏈表，我在上篇文章中提出來一個需求如果不知道的請去→數(shù)倉緩慢變化維深層講解[http://mp.weixin.qq.com/s...
-
數(shù)倉緩慢變化維深度講解前言 舉例說明 一、SCD問題的幾種解決方案 以下為解決緩慢變化維問題的幾種辦法： 保留原始值 改寫屬性值 增加維度新行 增加維度新列 添加歷史表 1.1 保留原始值 某一個...
-
數(shù)據(jù)倉庫分層架構深度講解前言 一、為什么要分層 分層的主要原因是在管理數(shù)據(jù)的時候，能對數(shù)據(jù)有一個更加清晰的掌控，詳細來講，主要有下面幾個原因： 清晰數(shù)據(jù)結(jié)構： 每一個數(shù)據(jù)分層都有它的作用域，這樣...
-
數(shù)倉模型設計詳細講解前言 今天給大家分享下數(shù)倉中的模型設計，一個好的數(shù)倉項目首先看一下它的架構以及他所用到的模型，它們使用的模型也都是非常巧妙的，好了，我們話不說到直接開始。 一、維度建?；?..
-
作為程序員必備的十款軟件今天給大家分享一些我自己都在使用的軟件，使用這些軟件無論是工作還是學習，我感覺我的工作效率提升了不知一點點，好了廢話就不多說了，喜歡的朋友加個一鍵三連。 一、IDM 下載工具...
-
那些被問懵的Flink面試題前言 1 Flink基礎（適合初入職場） 簡單介紹一下 Flink Flink相比傳統(tǒng)的Spark Streaming區(qū)別? Flink的組件棧有哪些？ Flink 的運行必...
-
FlinkSQL內(nèi)置了這么多函數(shù)你都使用過嗎？
前言 Flink Table 和 SQL 內(nèi)置了很多 SQL 中支持的函數(shù)；如果有無法滿足的需要，則可以實現(xiàn)用戶自定義的函數(shù)（UDF）來解決。 一、系統(tǒng)內(nèi)置函數(shù) Flin...
個人介紹
我是一名大數(shù)據(jù)開發(fā)工程師，我在簡書會分享一些我平常在工作用到的技術，以及后面會分享一些源碼內(nèi)容。我也在GitHub上搭建了我自己的代碼倉庫，里面有優(yōu)秀的項目會記錄我是如何從0到1走向大數(shù)據(jù)架構師（https://github.com/lhh2002），我也開通的我自己的公眾號【大數(shù)據(jù)老哥】優(yōu)秀的文章會第一時間在公眾號發(fā)布，歡迎大家來觀看。