比較

• Redis支持服務器端的數(shù)據(jù)操作：Redis相比Memcached來說，擁有更多的數(shù)據(jù)結構和支持更豐富的數(shù)據(jù)操作。通常在Memcached里，需要將數(shù)據(jù)拿到客戶端進行修改再set回去。這大大增加了網絡IO的次數(shù)和數(shù)據(jù)體積。在Redis中，這些復雜的操作通常和一般的get/set一樣高效。所以，如果需要緩存能夠支持更復雜的結構的操作，那么Redis會是個不錯的選擇。

• 內存使用效率對比：使用簡單的key-value存儲的話，Memcached的內存利用率更高，而如果Redis采用hash結構來做key-value存儲，由于其組合式的壓縮，其內存利用率會高于Memcached。

• 性能對比：由于Redis只使用單核，而Memcached可以使用多核，所以平均每一個核上的Redis在存儲小數(shù)據(jù)時比Memcached性能更高。而在100k以上的數(shù)據(jù)中，Memcached性能要高于Redis，雖然Redis最近也在存儲大數(shù)據(jù)的性能上進行優(yōu)化，但是比起Memcached，還是稍有遜色。

原因

數(shù)據(jù)類型支持不同

??與Memcached僅支持簡單的key-value結構的數(shù)據(jù)結構不同，Redis支持的數(shù)據(jù)類型要豐富得多。最為常用的數(shù)據(jù)類型主要有五種：String、Hash、List、Set和Sorted Set。Redis內部使用一個redisObject對象來表示所有的key和value。redisObject最主要的信息如圖所示：

redisObject.png

??type代表一個value對象具體是何種數(shù)據(jù)類型，encoding是不同數(shù)據(jù)類型在Redis內部的存儲方式，比如：type=string代表value存儲的是一個普通字符串，那么對應的encoding可以是raw或者是int，如果是int則代表實際redis內存是按數(shù)值類型存儲和表示這個字符串的，當然前提是這個字符串本身可以用數(shù)值表示，比如：“123”、“456”這樣的字符串。只有打開了Redis的虛擬內存功能，vm字段才會真正地分配內存，該功能默認是關閉狀態(tài)的。

String

• 常用命令：set / get / decr / incr / mget 等
• 應用場景：String是最常用的一種數(shù)據(jù)類型，普通的key / value存儲都可以歸為此類
• 實現(xiàn)方式：String在redis內部存儲默認就是一個字符串，被redisObject所引用，當遇到incr、decr等操作時會轉成數(shù)值類型進行計算，此時redisObject的encoding字段為int

Hash

• 常用命令：hget / hset / hgetall 等
• 應用場景：我們要存儲一個用戶信息對象數(shù)據(jù)，其中包括用戶ID、用戶姓名、年齡和生日，通過用戶ID我們希望獲取該用戶的姓名或者年齡或者生日
• 實現(xiàn)方式：Redis的Hash實際是內部存儲的value為一個HashMap，并提供了直接存取這個Map成員的接口。如果所示，key是用戶ID，value是一個map，這個map的key是成員的屬性名，value是屬性值。這樣對數(shù)據(jù)的修改和存取都可以直接通過其內部map的key（Redis里稱內部map的key為field），也就是通過key（用戶ID）+ field（屬性標簽）就可以操作對應屬性數(shù)據(jù)。當前HashMap的實現(xiàn)方式有兩種：當HashMap的成員比較少的時候，Redis為了節(jié)省內存會采用類似一維數(shù)組的方式來緊湊存儲，而不會采用真正的HashMap結構，這時對應的value的redisObject的encoding為zipmap，當成員數(shù)量增大是會自動轉成真正的HashMap，此時encoding為int

hash.png

List

• 常用命令：lpush / rpush / lpop / rpop / lrange 等
• 應用場景：Redis list的應用場景非常多，也是Redis最重要的數(shù)據(jù)結構之一
• 實現(xiàn)方式：Redis list的實現(xiàn)為一個雙向鏈表，即可以支持反向查詢和遍歷，更方便操作，不過帶來了部分額外的內存開銷。Redis內部的很多實現(xiàn)，包括發(fā)送緩沖隊列等也都是用的這個數(shù)據(jù)結構

Set

• 常用命令：sadd / spop / smembers / sunion 等
• 應用場景：Redis set對外提供的功能與list類似是一個列表的功能，特殊之處在于set是可以自動排重的，當你需要存儲一個列表數(shù)據(jù)，又不希望出現(xiàn)重復數(shù)據(jù)時，set是一個很好的選擇，并且set提供了判斷某個成員是否在一個set集合內的重要接口，這個也是list所不能提供的
• 實現(xiàn)方式：set的內部實現(xiàn)是一個value永遠為null的HashMap，實際就是通過計算hash的方式來快速排重的，這也是set能夠提供判斷一個成員是否在集合內的原因

Sorted Set

• 常用命令：zadd / zrange / zrem / zcard 等
• 應用場景：Redis sorted set的使用場景與set類似，區(qū)別是set不是自動有序的，而sorted set可以通過用戶額外提供一個優(yōu)先級（score）的參數(shù)來為成員排序，并且是插入有序的，即自動排序。當需要一個有序的并且不會重復的集合列表，那么可以選擇sorted set數(shù)據(jù)結構
• 實現(xiàn)方式：Redis sorted set的內部使用HashMap和跳躍表（SkipList）來保證數(shù)據(jù)的存儲和有序，HashMap里放的是成員到score的映射，而跳躍表里放的是所有的成員，排序依據(jù)是HashMap里存的score，使用跳躍表的結構可以獲得比較高的查找效率，并且在實現(xiàn)上比較簡單

內存管理機制不同

??在Redis中，并不是所有的數(shù)據(jù)都一直存儲在內存中的。這是和Memcached相比一個最大的區(qū)別。當物理內存用完時，Redis可以將一些很久沒用到的value交換到磁盤。Redis只會緩存所有的key的信息，如果Redis發(fā)現(xiàn)內存的使用量超過了某一個閾值，將觸發(fā)swap操作，Redis根據(jù)“swappability = age*log(size_in_memory)”計算出哪些key對應的value需要swap到磁盤。然后再將這些key對應的value持久化到磁盤中，同時在內存中清除。這種特性使得Redis可以保持超過其機器本身內存大小的數(shù)據(jù)。當然，機器本身的內存必須要能夠保持所有的key，畢竟這些數(shù)據(jù)是不會進行swap操作的。同時由于Redis將內存中的數(shù)據(jù)swap到磁盤中的時候，提供服務的主線程和進行swap操作的子線程會共享這部分內存，所以如果更新需要swap的數(shù)據(jù)，Redis將阻塞這個操作，直到子線程完成swap操作后才可以進行修改。當從Redis中讀取數(shù)據(jù)的時候，如果讀取的key對應的value不在內存中，那么Redis就需要從swap文件中加載相應的數(shù)據(jù)，然后再返回給請求方。這里就存在一個I/O線程池的問題。在默認的情況下，Redis會出現(xiàn)阻塞，即完成所有的swap文件加載后才會響應。這種策略在客戶端的數(shù)量較少，進行批量操作的時候比較合適。但是如果將Redis應用在一個大型的網站應用程序中，這顯然是無法滿足大并發(fā)的情況的。所以Redis運行我們設置I/O線程池的大小，對需要從swap文件中加載相應數(shù)據(jù)的讀取請求進行并發(fā)操作，減少阻塞的時間。

??對于像Redis和Memcached這種基于內存的數(shù)據(jù)庫系統(tǒng)來說，內存管理的效率高低是影響系統(tǒng)性能的關鍵因素。傳統(tǒng)C語言中的malloc/free函數(shù)是最常用的分配和釋放內存的方法，但是這種方法存在著很大的缺陷：首先，對于開發(fā)人員來說，不匹配的malloc和free容易造成內存泄露；其次頻繁調用會造成大量內存碎片無法回收重新利用，降低內存利用率；最后作為系統(tǒng)調用，其系統(tǒng)開銷遠遠大于一般函數(shù)調用。所以，為了提高內存的管理效率，高效的內存管理方案都不會直接使用malloc/free調用。Redis和Memcached均使用了自身設計的內存管理機制，但是實現(xiàn)方法存在很大的差異，下面將會對兩者的內存管理機制分別進程介紹。

Memcached

??Memcached利用Slab Allocation機制來分配和管理內存。傳統(tǒng)的內存管理方式是：使用完通過malloc分配的內存后通過free來回收內存。這種方式容易產生內存碎片并降低操作系統(tǒng)對內存的管理效率。Slab Allocation機制不存在這樣的問題，它按照預先規(guī)定的大小，將分配的內存分割成特定長度的內存塊，再把尺寸相同的內存塊分成組，這些內存塊不會釋放，可以重復利用。

??Memcached服務器端保存著一個空閑的內存塊列表，當有數(shù)據(jù)存入時根據(jù)接收到的數(shù)據(jù)大小，分配一個能存下這個數(shù)據(jù)的最小內存塊。這種方式有時會造成內存浪費，例如：將一個200字節(jié)的數(shù)據(jù)存入一個300字節(jié)的內存塊中，會有100字節(jié)內存被浪費掉，不能使用。避免浪費內存的辦法是，預先計算出應用存入的數(shù)據(jù)大小，或把同一業(yè)務類型的數(shù)據(jù)存入一個Memcached服務器中，確保存入的數(shù)據(jù)大小相對均勻，這樣就可以減少對內存的浪費。還有一種辦法是，在啟動時指定“-f”參數(shù)，能在某種程度上控制內存組之間的大小差異。在應用中使用Memcached時，通?？梢圆恢匦略O置這個參數(shù)，使用默認值1.25進行部署。如果想優(yōu)化Memcached對內存的使用，可以考慮重新計算數(shù)據(jù)的預期平均長度，調整這個參數(shù)來獲得合適的設置值。

??Slab Allocation的原理——將分配的內存分割成各種尺寸的塊（chunk）， 并把尺寸相同的塊分成組（chunk的集合），每個chunk集合被稱為slab。Memcached的內存分配以Page為單位，Page默認值為1M，可以在啟動時通過-I參數(shù)來指定。Slab是由多個Page組成的，Page按照指定大小切割成多個chunk。其結構圖如下：

Slab.png

Slab Allocation的缺點

Slab Allocation可以有效的解決內存碎片問題，但是在如下情況下，會導致內存的浪費：

• 每個slab的chunk大小是固定的，當item的占用空間實際小于chunk大小時，會出現(xiàn)內存浪費
• 每個slab的大小是固定的(因為page是固定的），當slab不能被他所擁有的chunk整除時，會出現(xiàn)內存浪費
• 按照Growth Factor因子生成指定大小的slab，而某slab id根本未被使用時，會出現(xiàn)內存浪費

Redis

??Redis的內存管理主要通過源碼中的zmalloc.h和zmalloc.c兩個文件來實現(xiàn)的。Redis為了方便內存的管理，在分配一塊內存之后，會將這塊內存的大小存入內存塊的頭部。如圖所示，real_ptr是Redis調用malloc后返回的指針。Redis將內存塊的大小size存入頭部，size所占據(jù)的內存大小是已知的，為size_t類型的長度，然后返回ret_ptr。當需要釋放內存的時候，ret_ptr被傳給內存管理程序。通過ret_ptr，程序可以很容易地算出real_ptr的值，然后將real_ptr傳給free釋放內存

redis.png

??Redis通過定義一個數(shù)組來記錄所有的內存分配情況，這個數(shù)組的長度為ZMALLOC_MAX_ALLOC_STAT。數(shù)組的每一個元素代表當前程序所分配的內存塊的個數(shù)，且內存塊的大小為該元素的下標。在源碼中，這個數(shù)組為zmalloc_allocations。zmalloc_allocations[16]代表已經分配的長度為16bytes的內存塊的個數(shù)。zmalloc.c中有一個靜態(tài)變量used_memory用來記錄當前分配的內存總大小。所以，總得來看，Redis采用的是包裝的malloc/free，相較于Memcached的內存管理方法來說，要簡單很多。

數(shù)據(jù)持久化支持

??Redis雖然是基于內存的存儲系統(tǒng)，但是它本身是支持內存數(shù)據(jù)的持久化，而且提供兩種主要的持久化策略：RDB快照和AOF日志。而Memcached是不支持數(shù)據(jù)持久化操作的。

RDB快照

??Redis支持將當前數(shù)據(jù)的快照存成一個數(shù)據(jù)文件的持久化機制，即RDB快照。但是一個持續(xù)寫入的數(shù)據(jù)庫如何生成快照呢？Redis借助了fork命令的copy on write機制。在生成快照時，將當前進程fork出一個子進程，然后在子進程中循環(huán)所有的數(shù)據(jù)，將數(shù)據(jù)寫成為RDB文件。我們可以通過Redis的save指令來配置RDB快照生成的時機，比如配置10分鐘就生成快照，也可以配置有1000次寫入就生成快照，也可以多個規(guī)則一起實施。這些規(guī)則的定義就在Redis的配置文件中，也可以通過Redis的config set命令在Redis運行時設置規(guī)則，而不需要重啟Redis。

??Redis的RDB文件不會壞掉，因為其寫操作時在一個新進程中進行的，當生成一個新的RDB文件時，Redis生成的子進程會先將數(shù)據(jù)寫到一個臨時文件中，然后通過原子性rename系統(tǒng)調用將臨時文件重命名為RDB文件，這樣在任何時候出現(xiàn)故障，Redis的RDB文件都總是可用的。同時，Redis的RDB文件也是Redis主從同步實現(xiàn)中的一環(huán)。RDB有它的不足，就是一旦數(shù)據(jù)庫出現(xiàn)問題，那么我們的RDB文件中保存的數(shù)據(jù)并不是全新的，從上次RDB文件生成到Redis停機的這段時間的數(shù)據(jù)全部丟掉了。在某些業(yè)務下，這些可以忍受的。

AOF日志

??AOF日志的全稱是append only file，它是一個追加寫入的日志文件。與一般數(shù)據(jù)庫的binlog不同的是，AOF文件是可識別的純文本文件，它的內容就是一個個的Redis標準命令。只有那些會導致數(shù)據(jù)發(fā)生修改的命令才會追加到AOF文件中。每一條修改數(shù)據(jù)的命令都生成一條日志，AOF文件會越來越大，所以Redis又提供了一個功能，叫做AOF rewrite。其功能就是重新生成一份AOF文件，新的AOF文件中一條記錄的操作只會有一次，而不像一份老文件那樣，可能記錄了對同一個值的多次操作。其生成過程和RDB類似，也是fork一個進程，直接遍歷數(shù)據(jù)，寫入新的AOF臨時文件。在寫入新文件的過程中，所有地寫操作日志還是會寫到原來老的AOF文件中，同時還會記錄在內存緩沖區(qū)中。當重寫操作完成后，會將所有緩沖區(qū)中的日志一次性寫入到臨時文件中。然后調用原子性的rename命令用新的AOF文件取代老的AOF文件。

??AOF是一個寫文件操作，其目的是將操作日志寫到磁盤上，所以它也同樣會遇到我們上面說的寫操作的流程。在Redis中對AOF調用write寫入后，通過appendfsync選項來控制調用fsync將其寫到磁盤上的時間，下面appendfsync的三個設置項，安全強度逐漸變強。

• appendfsync no 當設置appendfsync為no的時候，Redis不會主動調用fsync去將AOF日志內容同步到磁盤，所以這一切就完全依賴于操作系統(tǒng)的調試了。對大多數(shù)Linux操作系統(tǒng)，是每30秒進行一次fsync，將緩沖區(qū)中的數(shù)據(jù)寫到磁盤上。
• appendfsync everysec 當設置appendfsync為everysec的時候，Redis會默認每隔一秒進行一次fsync調用，將緩沖區(qū)中的數(shù)據(jù)寫到磁盤。但是當這一次的fsync調用時長超過1秒時。Redis會采取延遲fsync的策略，再等一秒鐘。也就是在兩秒后再進行fsync，這一次的fsync就不管會執(zhí)行多長時間都會進行。這時候由于在fsync時文件描述符會被阻塞，所以當前的寫操作就會阻塞。所以結論就是，在絕大多數(shù)情況下，Redis會每隔一秒進行一次fsync。在最壞的情況下，兩秒鐘會進行一次fsync操作。這一操作在大多數(shù)數(shù)據(jù)庫系統(tǒng)中被稱為group commit，就是組合多次寫操作的數(shù)據(jù)，一次性將日志寫到磁盤。
• appednfsync always 當設置appendfsync為always時，每一次寫操作都會調用一次fsync，這時數(shù)據(jù)是最安全的，當然，由于每次都會執(zhí)行fsync，所以其性能也會受到影響。

??對于一般的業(yè)務需求，建議使用RDB的方式進行持久化，原因是RDB的開銷相比AOF日志要低很多，對于那些無法忍數(shù)據(jù)丟失的應用，建議使用AOF日志。

集群管理的不同

??Memcached是全內存的數(shù)據(jù)緩沖系統(tǒng)，Redis雖然支持數(shù)據(jù)的持久化，但是全內存畢竟才是其高性能的本質。作為基于內存的存儲系統(tǒng)來說，機器物理內存的大小就是系統(tǒng)能夠容納的最大數(shù)據(jù)量。如果需要處理的數(shù)據(jù)量超過了單臺機器的物理內存大小，就需要構建分布式集群來擴展存儲能力。

??Memcached本身并不支持分布式，因此只能在客戶端通過像一致性哈希這樣的分布式算法來實現(xiàn)Memcached的分布式存儲。下圖給出了Memcached的分布式存儲實現(xiàn)架構。當客戶端向Memcached集群發(fā)送數(shù)據(jù)之前，首先會通過內置的分布式算法計算出該條數(shù)據(jù)的目標節(jié)點，然后數(shù)據(jù)會直接發(fā)送到該節(jié)點上存儲。但客戶端查詢數(shù)據(jù)時，同樣要計算出查詢數(shù)據(jù)所在的節(jié)點，然后直接向該節(jié)點發(fā)送查詢請求以獲取數(shù)據(jù)。

Memcached.png

??相較于Memcached只能采用客戶端實現(xiàn)分布式存儲，Redis更偏向于在服務器端構建分布式存儲。最新版本的Redis已經支持了分布式存儲功能。Redis Cluster是一個實現(xiàn)了分布式且允許單點故障的Redis高級版本，它沒有中心節(jié)點，具有線性可伸縮的功能。下圖給出Redis Cluster的分布式存儲架構，其中節(jié)點與節(jié)點之間通過二進制協(xié)議進行通信，節(jié)點與客戶端之間通過ascii協(xié)議進行通信。在數(shù)據(jù)的放置策略上，Redis Cluster將整個key的數(shù)值域分成4096個哈希槽，每個節(jié)點上可以存儲一個或多個哈希槽，也就是說當前Redis Cluster支持的最大節(jié)點數(shù)就是4096。Redis Cluster使用的分布式算法也很簡單：crc16( key ) % HASH_SLOTS_NUMBER。

Redis.png

??為了保證單點故障下的數(shù)據(jù)可用性，Redis Cluster引入了Master節(jié)點和Slave節(jié)點。在Redis Cluster中，每個Master節(jié)點都會有對應的兩個用于冗余的Slave節(jié)點。這樣在整個集群中，任意兩個節(jié)點的宕機都不會導致數(shù)據(jù)的不可用。當Master節(jié)點退出后，集群會自動選擇一個Slave節(jié)點成為新的Master節(jié)點。

Redis.png

參考文章
Redis和Memcached的區(qū)別
簡單理解Memcached的Slab Allocation

2021.4.7 17:07 深圳