緩存 & redis

cache vs buffer

cache 緩存。經(jīng)常使用的東西放在離自己更近的地方,比如cpu將最近使用的數(shù)據(jù)放入緩存中,提高存取速度。redis通常被當(dāng)著緩存服務(wù)器使用。

buffer 緩沖。如泄洪湖/池時(shí),將淡水湖作為泄洪時(shí)的緩沖地帶,確保下游河道的流量平穩(wěn),降低風(fēng)險(xiǎn)。

Redis定位

Redis 是一個(gè)開源(BSD許可)的,內(nèi)存中的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)系統(tǒng),它可以用作數(shù)據(jù)庫(kù)、緩存、消息隊(duì)列等;

支持多種數(shù)據(jù)結(jié)構(gòu):String、Hash、List、Sorted List、Set等;

支持不同級(jí)別的持久化(RDB、AOF--redis1.1版本出現(xiàn));

通過哨兵(Sentinel)機(jī)制和集群(Cluter,3.0.2版本出現(xiàn))機(jī)制提供高可用性

redis cluter

集群出現(xiàn)的目的在于:提高可擴(kuò)展性,提高可用性

redis cluster的目標(biāo):

在1000個(gè)節(jié)點(diǎn)的時(shí)候仍能表現(xiàn)得很好并且可擴(kuò)展性(scalability)是線性的。

沒有合并操作,這樣在 Redis 的數(shù)據(jù)模型中最典型的大數(shù)據(jù)值中也能有很好的表現(xiàn)。

寫入安全(Write safety):那些與大多數(shù)節(jié)點(diǎn)相連的客戶端所做的寫入操作,系統(tǒng)嘗試全部都保存下來。不過公認(rèn)的,還是會(huì)有小部分場(chǎng)景寫入會(huì)丟失:(兩個(gè)場(chǎng)景:主從之間異步復(fù)制、非強(qiáng)一致性保證)。

可用性(Availability):在絕大多數(shù)的主節(jié)點(diǎn)(master node)是可達(dá)的,并且對(duì)于每一個(gè)不可達(dá)的主節(jié)點(diǎn)都至少有一個(gè)它的從節(jié)點(diǎn)(slave)可達(dá)的情況下,Redis 集群仍能進(jìn)行分區(qū)(partitions)操作。

redis cluster為了獲取更好的性能和擴(kuò)展性,在可用性和一致性上做出了舍棄:Redis采取了P2P而非Proxy方式、異步復(fù)制、客戶端重定向(節(jié)點(diǎn)間不需要傳遞command)

redis cluster的Availability允許少數(shù)節(jié)點(diǎn)出錯(cuò),當(dāng)某一主節(jié)點(diǎn)及其所有的從節(jié)點(diǎn)都掛掉的時(shí)候,cluster不可用(試配置而定),出現(xiàn)的概率其實(shí)不高。

redis cluster沒有采用一致性hash算法(參考:五分鐘理解一致性哈希算法(consistent hashing)),而是使用了固定數(shù)碼的HASH_SOLT(hash槽),減少了復(fù)雜度,reshare就是完成HASH_SOLT和節(jié)點(diǎn)直接的映射關(guān)系變化。

自我理解:

1、redis cluster通過固定的HASH_SOLT,將key分散到不同的節(jié)點(diǎn);

2、為提高可用性,每個(gè)master節(jié)點(diǎn)都可以有一個(gè)/多個(gè)slave節(jié)點(diǎn),當(dāng)master節(jié)點(diǎn)死掉后,其中的某個(gè)slave節(jié)點(diǎn)會(huì)通過選舉算法升級(jí)為master節(jié)點(diǎn),繼續(xù)服務(wù);

3、redis cluster還支持備份遷移,適用于某個(gè)master節(jié)點(diǎn)死掉后,再也無法回來的情況下,另外的master節(jié)點(diǎn),會(huì)將其slave節(jié)點(diǎn)貢獻(xiàn)出來,配給剛剛升級(jí)上來的master節(jié)點(diǎn),作為slave節(jié)點(diǎn);

4、redis cluster為了達(dá)到高性能和高擴(kuò)展性,犧牲了部分可用性和數(shù)據(jù)一致性:各個(gè)master node之間不能互為備份,在少數(shù)情況下不能完全安全寫入。

5、從redis cluster的設(shè)計(jì)思路中,可以發(fā)現(xiàn):架構(gòu)設(shè)計(jì)的關(guān)鍵在于搞清楚問題域,找到關(guān)鍵問題點(diǎn),做好取舍。


參考資料:

Redis 的幾種數(shù)據(jù)結(jié)構(gòu)&五種數(shù)據(jù)類型對(duì)象

Redis作者談Redis應(yīng)用場(chǎng)景

redis中文站點(diǎn)

示例:

考慮存儲(chǔ)用戶基本信息、綁定賬戶列表、社交信息、最近登錄信息,分析下來,擬采用如下數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)

用戶基本信息 —— Hash

綁定賬戶列表 —— Set,賬戶信息詳情使用String即可,畢竟更改賬戶信息場(chǎng)景的地方很少;

社交信息 —— Hash

最近登錄信息 —— List,限定長(zhǎng)度的列表表示,如果需要按照登錄時(shí)間排序,則考慮使用Sorted List


使用redis做隊(duì)列

redis提供Pub/Sub命令,提供消息發(fā)布/訂閱 機(jī)制,使用List數(shù)據(jù)結(jié)構(gòu)可以模擬隊(duì)列,使用Sorted List可以模擬優(yōu)先級(jí)的隊(duì)列。

問題思考

1、redis什么場(chǎng)景下需要做持久化處理?

RE:作為緩存服務(wù)器使用時(shí),可以不做持久化處理;作為數(shù)據(jù)存儲(chǔ)服務(wù)器時(shí),如果數(shù)據(jù)不容丟失且沒有關(guān)系型數(shù)據(jù)庫(kù)兜底,則需要做持久化處理。

作為緩存服務(wù)器時(shí),不宜做持久化處理,緩存的數(shù)據(jù)可能被更改,在redis不可用期間,應(yīng)用程序孩子繼續(xù)修改數(shù)據(jù),這時(shí)的修改并沒有反應(yīng)到redis緩存中,這時(shí)做持久化可能帶來數(shù)據(jù)一致性問題。比如用戶基本信息的緩存數(shù)據(jù),不宜做持久化。

在redis當(dāng)著存儲(chǔ)服務(wù)器使用時(shí),如果數(shù)據(jù)沒有其他存儲(chǔ)方式兜底,則需要做持久化。如用戶最后登錄時(shí)間,數(shù)據(jù)丟失一兩次,影響不大,而且為了計(jì)算和存取速度,選擇放在redis中,這時(shí)需要考慮持久化,丟一兩次可以,但是不能全丟了。

2、redis cluster總的hash solt(哈希槽)的數(shù)量為什么是16384(2的14次方)?

RE:算法實(shí)現(xiàn)決定的。間redis官方網(wǎng)站解釋,參考:cluster-spec

redis cluster HASH_SLOT algorithm

3、redis cluster 從節(jié)點(diǎn)升級(jí)為主節(jié)點(diǎn)的選舉過程是不是一個(gè)paxos算法實(shí)現(xiàn)?

RE:不是。redis cluster的選舉過程目標(biāo)是:選舉出唯一的一個(gè)從節(jié)點(diǎn)來代替已經(jīng)FAIL掉的主節(jié)點(diǎn)。但是算法實(shí)現(xiàn)上和paxos上有一些相似之處:參加選舉的原slave節(jié)點(diǎn)是proposaler,其他或者的master node是acceptor;

redis的使用場(chǎng)景案例

1、作為計(jì)數(shù)器使用

需要記錄一個(gè)時(shí)間窗口期內(nèi)某行為發(fā)生的次數(shù),比如需要記錄一天內(nèi)用戶登錄失敗次數(shù),如果失敗次數(shù)大于5次則鎖定用戶??梢赃@樣做:用戶每次登錄失敗,使用登錄標(biāo)識(shí)(手機(jī)號(hào)或者用戶名)作為key,使用SET數(shù)據(jù)結(jié)構(gòu),將登錄失敗信息(時(shí)間戳、登錄渠道)寫入redis,過期時(shí)間設(shè)置為24小時(shí);用戶再次登錄時(shí),首先從redis查詢?cè)摰卿洏?biāo)識(shí)對(duì)應(yīng)的登錄失敗記錄是否超過了5次,如果沒有則繼續(xù)登錄流程,否則報(bào)錯(cuò)。

由于redis記錄自身天然過期,所以redis set記錄寫入后,無需再作更改,效率高效。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 標(biāo)簽: redis 緩存 主從 哨兵 集群 本文簡(jiǎn)單的介紹redis三種模式在linux的安裝部署和數(shù)據(jù)存儲(chǔ)的總結(jié)...
    luhanlin閱讀 4,496評(píng)論 0 5
  • 1 在項(xiàng)目中緩存是如何使用的?緩存如果使用不當(dāng)會(huì)造成什么后果? 這個(gè)問題幾乎是互聯(lián)網(wǎng)公司必問的,是基礎(chǔ)中的基礎(chǔ)。 ...
    Teemo_fca4閱讀 304評(píng)論 0 0
  • 如果數(shù)據(jù)量很少,主要是承載高并發(fā)高性能的場(chǎng)景,比如你的緩存一般就幾個(gè) G,單機(jī)就足夠了,可以使用 replicat...
    花神子閱讀 732評(píng)論 0 0
  • 1 redis的持久化有哪幾種方式?不同的持久化機(jī)制都有什么優(yōu)缺點(diǎn)?持久化機(jī)制具體底層是如何實(shí)現(xiàn)的? (1) 為什...
    Teemo_fca4閱讀 468評(píng)論 0 8
  • 寫在前面??本學(xué)習(xí)教程所有示例代碼見GitHub:https://github.com/selfconzrr/Re...
    Lseafood閱讀 307評(píng)論 0 0

友情鏈接更多精彩內(nèi)容