cache vs buffer
cache 緩存。經(jīng)常使用的東西放在離自己更近的地方,比如cpu將最近使用的數(shù)據(jù)放入緩存中,提高存取速度。redis通常被當(dāng)著緩存服務(wù)器使用。
buffer 緩沖。如泄洪湖/池時(shí),將淡水湖作為泄洪時(shí)的緩沖地帶,確保下游河道的流量平穩(wěn),降低風(fēng)險(xiǎn)。
Redis定位
Redis 是一個(gè)開源(BSD許可)的,內(nèi)存中的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)系統(tǒng),它可以用作數(shù)據(jù)庫(kù)、緩存、消息隊(duì)列等;
支持多種數(shù)據(jù)結(jié)構(gòu):String、Hash、List、Sorted List、Set等;
支持不同級(jí)別的持久化(RDB、AOF--redis1.1版本出現(xiàn));
通過哨兵(Sentinel)機(jī)制和集群(Cluter,3.0.2版本出現(xiàn))機(jī)制提供高可用性
redis cluter
集群出現(xiàn)的目的在于:提高可擴(kuò)展性,提高可用性
redis cluster的目標(biāo):
在1000個(gè)節(jié)點(diǎn)的時(shí)候仍能表現(xiàn)得很好并且可擴(kuò)展性(scalability)是線性的。
沒有合并操作,這樣在 Redis 的數(shù)據(jù)模型中最典型的大數(shù)據(jù)值中也能有很好的表現(xiàn)。
寫入安全(Write safety):那些與大多數(shù)節(jié)點(diǎn)相連的客戶端所做的寫入操作,系統(tǒng)嘗試全部都保存下來。不過公認(rèn)的,還是會(huì)有小部分場(chǎng)景寫入會(huì)丟失:(兩個(gè)場(chǎng)景:主從之間異步復(fù)制、非強(qiáng)一致性保證)。
可用性(Availability):在絕大多數(shù)的主節(jié)點(diǎn)(master node)是可達(dá)的,并且對(duì)于每一個(gè)不可達(dá)的主節(jié)點(diǎn)都至少有一個(gè)它的從節(jié)點(diǎn)(slave)可達(dá)的情況下,Redis 集群仍能進(jìn)行分區(qū)(partitions)操作。
redis cluster為了獲取更好的性能和擴(kuò)展性,在可用性和一致性上做出了舍棄:Redis采取了P2P而非Proxy方式、異步復(fù)制、客戶端重定向(節(jié)點(diǎn)間不需要傳遞command)
redis cluster的Availability允許少數(shù)節(jié)點(diǎn)出錯(cuò),當(dāng)某一主節(jié)點(diǎn)及其所有的從節(jié)點(diǎn)都掛掉的時(shí)候,cluster不可用(試配置而定),出現(xiàn)的概率其實(shí)不高。
redis cluster沒有采用一致性hash算法(參考:五分鐘理解一致性哈希算法(consistent hashing)),而是使用了固定數(shù)碼的HASH_SOLT(hash槽),減少了復(fù)雜度,reshare就是完成HASH_SOLT和節(jié)點(diǎn)直接的映射關(guān)系變化。
自我理解:
1、redis cluster通過固定的HASH_SOLT,將key分散到不同的節(jié)點(diǎn);
2、為提高可用性,每個(gè)master節(jié)點(diǎn)都可以有一個(gè)/多個(gè)slave節(jié)點(diǎn),當(dāng)master節(jié)點(diǎn)死掉后,其中的某個(gè)slave節(jié)點(diǎn)會(huì)通過選舉算法升級(jí)為master節(jié)點(diǎn),繼續(xù)服務(wù);
3、redis cluster還支持備份遷移,適用于某個(gè)master節(jié)點(diǎn)死掉后,再也無法回來的情況下,另外的master節(jié)點(diǎn),會(huì)將其slave節(jié)點(diǎn)貢獻(xiàn)出來,配給剛剛升級(jí)上來的master節(jié)點(diǎn),作為slave節(jié)點(diǎn);
4、redis cluster為了達(dá)到高性能和高擴(kuò)展性,犧牲了部分可用性和數(shù)據(jù)一致性:各個(gè)master node之間不能互為備份,在少數(shù)情況下不能完全安全寫入。
5、從redis cluster的設(shè)計(jì)思路中,可以發(fā)現(xiàn):架構(gòu)設(shè)計(jì)的關(guān)鍵在于搞清楚問題域,找到關(guān)鍵問題點(diǎn),做好取舍。
參考資料:
Redis 的幾種數(shù)據(jù)結(jié)構(gòu)&五種數(shù)據(jù)類型對(duì)象
Redis作者談Redis應(yīng)用場(chǎng)景
示例:
考慮存儲(chǔ)用戶基本信息、綁定賬戶列表、社交信息、最近登錄信息,分析下來,擬采用如下數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)
用戶基本信息 —— Hash
綁定賬戶列表 —— Set,賬戶信息詳情使用String即可,畢竟更改賬戶信息場(chǎng)景的地方很少;
社交信息 —— Hash
最近登錄信息 —— List,限定長(zhǎng)度的列表表示,如果需要按照登錄時(shí)間排序,則考慮使用Sorted List
使用redis做隊(duì)列
redis提供Pub/Sub命令,提供消息發(fā)布/訂閱 機(jī)制,使用List數(shù)據(jù)結(jié)構(gòu)可以模擬隊(duì)列,使用Sorted List可以模擬優(yōu)先級(jí)的隊(duì)列。
問題思考
1、redis什么場(chǎng)景下需要做持久化處理?
RE:作為緩存服務(wù)器使用時(shí),可以不做持久化處理;作為數(shù)據(jù)存儲(chǔ)服務(wù)器時(shí),如果數(shù)據(jù)不容丟失且沒有關(guān)系型數(shù)據(jù)庫(kù)兜底,則需要做持久化處理。
作為緩存服務(wù)器時(shí),不宜做持久化處理,緩存的數(shù)據(jù)可能被更改,在redis不可用期間,應(yīng)用程序孩子繼續(xù)修改數(shù)據(jù),這時(shí)的修改并沒有反應(yīng)到redis緩存中,這時(shí)做持久化可能帶來數(shù)據(jù)一致性問題。比如用戶基本信息的緩存數(shù)據(jù),不宜做持久化。
在redis當(dāng)著存儲(chǔ)服務(wù)器使用時(shí),如果數(shù)據(jù)沒有其他存儲(chǔ)方式兜底,則需要做持久化。如用戶最后登錄時(shí)間,數(shù)據(jù)丟失一兩次,影響不大,而且為了計(jì)算和存取速度,選擇放在redis中,這時(shí)需要考慮持久化,丟一兩次可以,但是不能全丟了。
2、redis cluster總的hash solt(哈希槽)的數(shù)量為什么是16384(2的14次方)?
RE:算法實(shí)現(xiàn)決定的。間redis官方網(wǎng)站解釋,參考:cluster-spec

3、redis cluster 從節(jié)點(diǎn)升級(jí)為主節(jié)點(diǎn)的選舉過程是不是一個(gè)paxos算法實(shí)現(xiàn)?
RE:不是。redis cluster的選舉過程目標(biāo)是:選舉出唯一的一個(gè)從節(jié)點(diǎn)來代替已經(jīng)FAIL掉的主節(jié)點(diǎn)。但是算法實(shí)現(xiàn)上和paxos上有一些相似之處:參加選舉的原slave節(jié)點(diǎn)是proposaler,其他或者的master node是acceptor;
redis的使用場(chǎng)景案例
1、作為計(jì)數(shù)器使用
需要記錄一個(gè)時(shí)間窗口期內(nèi)某行為發(fā)生的次數(shù),比如需要記錄一天內(nèi)用戶登錄失敗次數(shù),如果失敗次數(shù)大于5次則鎖定用戶??梢赃@樣做:用戶每次登錄失敗,使用登錄標(biāo)識(shí)(手機(jī)號(hào)或者用戶名)作為key,使用SET數(shù)據(jù)結(jié)構(gòu),將登錄失敗信息(時(shí)間戳、登錄渠道)寫入redis,過期時(shí)間設(shè)置為24小時(shí);用戶再次登錄時(shí),首先從redis查詢?cè)摰卿洏?biāo)識(shí)對(duì)應(yīng)的登錄失敗記錄是否超過了5次,如果沒有則繼續(xù)登錄流程,否則報(bào)錯(cuò)。
由于redis記錄自身天然過期,所以redis set記錄寫入后,無需再作更改,效率高效。