IP屬地：北京
-
5、kafk數(shù)據(jù)的Exactly once
kafka數(shù)據(jù)可靠性[http://m.itdecent.cn/p/75ec3e1145d5]，用ack來保證，有0值，1值，和-1值，生產(chǎn)環(huán)境需要根據(jù)實際情況來配置，...
-
4、kafka消息一致性
考慮如下一個問題：某個topic下的某個partition， 假設(shè)他有3個副本(1個leader，2個follower)；在某個時刻，leader里有100條數(shù)據(jù)， 第1個f...
-
3、kafka消息可靠性
數(shù)據(jù)可靠性 當(dāng)producer發(fā)送消息給kafka集群，如何保證數(shù)據(jù)發(fā)送過去了呢？ 這就需要kafka集群在收到消息時給producer一個反饋， 當(dāng)producer收到這個...
-
數(shù)據(jù)倉庫學(xué)習(xí)筆記
按順序要了解：數(shù)倉是什么、數(shù)倉是干什么、數(shù)倉具體是怎么做 一. 數(shù)倉是什么(了解基本概念) 略 二. 數(shù)倉是干什么(了解自己的工作內(nèi)容在公司所處的定位) 數(shù)據(jù)倉庫研發(fā)規(guī)范概述...
-
2、安裝ohmyzsh
官網(wǎng)：https://ohmyz.sh/#install[https://ohmyz.sh/#install] 官網(wǎng)安裝會報錯443的錯誤，需要換一個源： 這是一個包裝mac...
-
1、homebrew的介紹與使用homebrew官網(wǎng)：https://brew.sh/[https://brew.sh/]homebrew是macos(或linux)缺失的軟件包管理器。 簡介一般來講，我們...
-
0、安裝homebrew以上是我自己電腦上安裝homebrew的過程截圖，中間有一步驟下載數(shù)據(jù)特別慢，提示遠(yuǎn)程終端掛起，導(dǎo)致下載失敗，不過失敗后會自動切換源重新下載（需要再次輸入mac密碼），然后等...
-
工作中用到的參數(shù)
set datasync.input.table.encrypt=true;用于在ks_db_origin_encrypt(這種為加密表)的解密 set hive.fetch...
-
Flink筆記2020-02-23
Apache Flink是由Apache軟件基金會開發(fā)的開源流處理框架。其核心是用Java和Scala編寫的分布式流數(shù)據(jù)流引擎。Flink以數(shù)據(jù)并行和流水線方式執(zhí)行任意流數(shù)據(jù)...
-
數(shù)據(jù)庫連接池1、數(shù)據(jù)庫輔助類 以上連接方式有個問題：用戶每次請求都要獲取數(shù)據(jù)庫連接，而數(shù)據(jù)庫創(chuàng)建連接的創(chuàng)建是非常消耗資源的。如果訪問量過多，創(chuàng)建的連接數(shù)也會遞增，極易造成數(shù)據(jù)庫服務(wù)器的內(nèi)...
-
-
ClickHouse
ClickHouse是俄羅斯的Yandex于2016年開源的列式存儲數(shù)據(jù)庫(DBMS)， 主要用于在線分析處理查詢(OLAP)， 能夠使用SQL查詢實時生成分析數(shù)據(jù)報告。 1...
-
13、scala集合基本介紹 Scala同時支持不可變集合(immutable)和可變集合(mutable)， 不可變集合可以安全滴并發(fā)訪問。ps：一般情況下建議使用不可變集合。scala默認(rèn)采...
-
11、scala嵌套類
在scala中，你幾乎可以在任何語法結(jié)構(gòu)中嵌套任何語法結(jié)構(gòu)。 如在類中可以再定義一個類，這樣的類是嵌套類，其他語法接口也是一樣。嵌套類，類似于java的內(nèi)部類。
-
10、trait的動態(tài)混入 及 trait的疊加
1、問題引入 問題引入：可以看到上面的代碼，Person類從MyTrait繼承的函數(shù)，也被傳遞給了Person的子類！目的：想讓Person類擁有MyTrait函數(shù)，而不想讓...
-
9、scala的trait簡介 trait，中文意思"特質(zhì)"。scala中叫"特質(zhì)"， 有的人也叫"特征"。scala中的trait相當(dāng)于java中的"接口+抽象類"java的抽象類既可以有抽象方法也...