Redis源碼研究之內(nèi)存管理

本文主要說(shuō)明Redis中的內(nèi)存管理，Redis中使用自己實(shí)現(xiàn)了一個(gè)內(nèi)存管理庫(kù)來(lái)進(jìn)行內(nèi)存管理。

I、上帝視角看幾個(gè)主要函數(shù)

1、Redis中的內(nèi)存管理操作主要集中在zmalloc.c文件中，其主要函數(shù)包括：

zmalloc()        //內(nèi)存分配
zfree()          //內(nèi)存釋放
zcalloc()          //calloc，與malloc的區(qū)別在于在分配完內(nèi)存后初始化為0，而malloc為隨機(jī)的垃圾數(shù)據(jù)
zrealloc()          //重新分配內(nèi)存
zstrdup()        //strdup，復(fù)制字符串函數(shù)

2、Redis為了屏蔽不同庫(kù)的差異進(jìn)行了預(yù)處理，自己封裝了系統(tǒng)的內(nèi)存分配函數(shù)：

/*src/zmalloc.h*/
#if defined(USE_TCMALLOC)  
#define ZMALLOC_LIB ("tcmalloc-" __xstr(TC_VERSION_MAJOR) "." __xstr(TC_VERSION_MINOR))  
#include <google/tcmalloc.h>  
#if (TC_VERSION_MAJOR == 1 && TC_VERSION_MINOR >= 6) || (TC_VERSION_MAJOR > 1)  
#define HAVE_MALLOC_SIZE 1  
#define zmalloc_size(p) tc_malloc_size(p)  
#else  
#error "Newer version of tcmalloc required"  
#endif  
  
#elif defined(USE_JEMALLOC)  
#define ZMALLOC_LIB ("jemalloc-" __xstr(JEMALLOC_VERSION_MAJOR) "." __xstr(JEMALLOC_VERSION_MINOR) "." __xstr(JEMALLOC_VERSION_BUGFIX))  
#include <jemalloc/jemalloc.h>  
#if (JEMALLOC_VERSION_MAJOR == 2 && JEMALLOC_VERSION_MINOR >= 1) || (JEMALLOC_VERSION_MAJOR > 2)  
#define HAVE_MALLOC_SIZE 1  
#define zmalloc_size(p) je_malloc_usable_size(p)  
#else  
#error "Newer version of jemalloc required"  
#endif  
  
#elif defined(__APPLE__)  
#include <malloc/malloc.h>  
#define HAVE_MALLOC_SIZE 1  
#define zmalloc_size(p) malloc_size(p)  
#endif  
  
#ifndef ZMALLOC_LIB  
#define ZMALLOC_LIB "libc"  
#endif  
  
...  
#ifndef HAVE_MALLOC_SIZE  
size_t zmalloc_size(void *ptr);  
#endif

可以看出：
· 若系統(tǒng)中存在Google的TC_MALLOC庫(kù)，則使用tc_malloc一族函數(shù)代替原本的malloc一族函數(shù)。
· 如果存在FaceBook的JEMALLOC庫(kù)，則使用je_malloc一族函數(shù)代替原本的malloc一族函數(shù)。
· 若使用MAC系統(tǒng)，則使用<malloc/malloc.h>中的內(nèi)存分配函數(shù)。

II、zmalloc

1、zmalloc()主要提供了對(duì)malloc函數(shù)的封裝，如果是glibc的malloc函數(shù)，則分配的內(nèi)存是長(zhǎng)度+要分配的內(nèi)存，然后將頭部放入大?。?/p> 

/*src/zmalloc.c/zmalloc*/  
/* 內(nèi)存分配函數(shù)zmalloc，size為實(shí)際需要分配的內(nèi)存大小。
 * 而實(shí)際調(diào)用了  malloc(size+PREFIX_SIZE) ，PREFIX_SIZE是一個(gè)條件編譯宏  
 * 對(duì)不同的編譯平臺(tái)有不同的結(jié)果，Linux中是sizeof(size_t)，  
 * 多分配的這個(gè)空間用于存儲(chǔ)size的值。
*/
void *zmalloc(size_t size) {  
    void *ptr = malloc(size+PREFIX_SIZE);  
  
    if (!ptr) zmalloc_oom_handler(size);  //如果分配失敗，則打印錯(cuò)誤信息并終止程序
#ifdef HAVE_MALLOC_SIZE  
    update_zmalloc_stat_alloc(zmalloc_size(ptr));  
    return ptr;  
#else  
    *((size_t*)ptr) = size;    //將上面多分配的PREFIX_SIZE大小填充為size值
    update_zmalloc_stat_alloc(size+PREFIX_SIZE);    //更新全局變量used_memory(已分配內(nèi)存大小)的值
    return (char*)ptr+PREFIX_SIZE;      //返回真正的分配存儲(chǔ)空間的位置
#endif  
}

2、下面我們看上面的update_zmalloc_stat_alloc()函數(shù)

/*src/zmalloc.c/update_zmalloc_stat_alloc*/
/*更新全局變量used_memory的值*/  
#define update_zmalloc_stat_alloc(__n) do { \  
    size_t _n = (__n); \  
    //if的作用是判斷分配的內(nèi)存空間大小是否為sizeof(long)的倍數(shù)，如果不是，則加上響應(yīng)的偏移量使其成為sizeof(long)的倍數(shù)
    if (_n&(sizeof(long)-1)) _n += sizeof(long)-(_n&(sizeof(long)-1)); \  

    //判斷是否為線程安全的
    if (zmalloc_thread_safe) { \  
        update_zmalloc_stat_add(_n); \  
    } else { \  
        used_memory += _n; \    //used_memory是一個(gè)全局靜態(tài)變量，表示已分配內(nèi)存的大小
    } \  
} while(0)

這里所使用的do{...}while(0)結(jié)構(gòu)可以參見(jiàn) do{...}while(0)的意義和用法。

而update_zmalloc_stat_add()函數(shù)就是在線程安全的情況下通過(guò)加鎖對(duì)used_memory進(jìn)行+n操作：

/*src/zmalloc.c/update_zmalloc_stat_add()*/
#define update_zmalloc_stat_add(__n) do { \  
    pthread_mutex_lock(&used_memory_mutex); \  
    used_memory += (__n); \  
    pthread_mutex_unlock(&used_memory_mutex); \  
} while(0)

III、 zfree

1、 zfree()函數(shù)主要是對(duì)free()函數(shù)進(jìn)行了封裝，實(shí)現(xiàn)了內(nèi)存的釋放。

/*src/zmalloc.c/zfree*/
void zfree(void *ptr) {  
#ifndef HAVE_MALLOC_SIZE  
    void *realptr;  
    size_t oldsize;  
#endif  
  
    if (ptr == NULL) return;  
#ifdef HAVE_MALLOC_SIZE  
    update_zmalloc_stat_free(zmalloc_size(ptr));  
    free(ptr);  
#else  
    realptr = (char*)ptr-PREFIX_SIZE;  
    oldsize = *((size_t*)realptr);  
    update_zmalloc_stat_free(oldsize+PREFIX_SIZE);  
    free(realptr);  
#endif  
}

2、 update_zmalloc_stat_free()函數(shù)為對(duì)used_memory進(jìn)行-n操作。我們重點(diǎn)關(guān)注else之后的部分：

realptr = (char *)ptr - PREFIX_SIZE為得到真正的內(nèi)存分配位置（即除去頭部存儲(chǔ)的size值），然后在進(jìn)行update used_memory 操作。

IV、 zcalloc

1、zcalloc函數(shù)主要封裝的是calloc函數(shù)，其也是內(nèi)存分配函數(shù)，但是與malloc函數(shù)不同的是，會(huì)對(duì)內(nèi)存進(jìn)行初始化操作。

/*src/zmalloc.c/zcalloc*/
void *zcalloc(size_t size) {  
    void *ptr = calloc(1, size+PREFIX_SIZE);  
  
    if (!ptr) zmalloc_oom_handler(size);  
#ifdef HAVE_MALLOC_SIZE  
    update_zmalloc_stat_alloc(zmalloc_size(ptr));  
    return ptr;  
#else  
    *((size_t*)ptr) = size;  
    update_zmalloc_stat_alloc(size+PREFIX_SIZE);  
    return (char*)ptr+PREFIX_SIZE;  
#endif  
}

上述代碼與zmalloc函數(shù)基本一致。

V、zrealloc

1、zrealloc函數(shù)完成的功能是為ptr位置重新分配大小。主要完成的是對(duì)realloc的封裝。

/*src/zmalloc.c/zrealloc*/
void *zrealloc(void *ptr, size_t size) {  
#ifndef HAVE_MALLOC_SIZE  
    void *realptr;  
#endif  
    size_t oldsize;  
    void *newptr;  
  
    if (ptr == NULL) return zmalloc(size);  
#ifdef HAVE_MALLOC_SIZE  
    oldsize = zmalloc_size(ptr);  
    newptr = realloc(ptr,size);  
    if (!newptr) zmalloc_oom_handler(size);  
  
    update_zmalloc_stat_free(oldsize);  
    update_zmalloc_stat_alloc(zmalloc_size(newptr));  
    return newptr;  
#else  
    realptr = (char*)ptr-PREFIX_SIZE;  
    oldsize = *((size_t*)realptr);  
    newptr = realloc(realptr,size+PREFIX_SIZE);  
    if (!newptr) zmalloc_oom_handler(size);  
  
    *((size_t*)newptr) = size;  
    update_zmalloc_stat_free(oldsize);  
    update_zmalloc_stat_alloc(size);  
    return (char*)newptr+PREFIX_SIZE;  
#endif  
}

VI、zstrdup

1、zstrdup函數(shù)為string分配內(nèi)存，并完成string的復(fù)制：

/*src/zmalloc.c/zstrdup*/  
char *zstrdup(const char *s) {  
    size_t l = strlen(s)+1;    //+1是加上\0
    char *p = zmalloc(l);    //分配內(nèi)存
  
    memcpy(p,s,l);        //完成copy
    return p;  
}

VII、其他輔助函數(shù)

在zmalloc.h的輔助函數(shù)中，有些會(huì)比之前出現(xiàn)的函數(shù)更值得學(xué)習(xí)，因?yàn)樗鼈兏N近OS。

7.1 zmalloc_enable_thread_safeness
/*src/zmalloc.c/zmalloc_enable_thread_safeness*/  
void zmalloc_enable_thread_safeness(void) {  
    zmalloc_thread_safe = 1;  
}

1、zmalloc_thread_safe是一個(gè)全局靜態(tài)變量，標(biāo)記線程安全。

7.2 zmalloc_used_memory

1、zmalloc_used_memory函數(shù)返回used_memory的值，其功能為查詢當(dāng)前Redis分配的內(nèi)存大小。其中包含了線程安全的判斷。

/*src/zmalloc.c/zmalloc_used_memory*/
size_t zmalloc_used_memory(void) {  
    size_t um;  
  
    if (zmalloc_thread_safe) {  
#if defined(__ATOMIC_RELAXED) || defined(HAVE_ATOMIC)  
        um = update_zmalloc_stat_add(0);  
#else  
        pthread_mutex_lock(&used_memory_mutex);  
        um = used_memory;  
        pthread_mutex_unlock(&used_memory_mutex);  
#endif  
    }  
    else {  
        um = used_memory;  
    }  
  
    return um;  
}
7.3 zmalloc_size

1、函數(shù)的作用是返回實(shí)際分配內(nèi)存的總大小，這包括size，以及存儲(chǔ)size值的頭PREFIX_SIZE，還有內(nèi)存對(duì)齊操作所形成的偏移量：

/*src/zmalloc.c/zmalloc_size*/
#ifndef HAVE_MALLOC_SIZE  
size_t zmalloc_size(void *ptr) {  
    void *realptr = (char*)ptr-PREFIX_SIZE;  
    size_t size = *((size_t*)realptr);  
    /* Assume at least that all the allocations are padded at sizeof(long) by 
     * the underlying allocator. */  
    if (size&(sizeof(long)-1)) size += sizeof(long)-(size&(sizeof(long)-1));  
    return size+PREFIX_SIZE;  
}  
#endif
7.4 zmalloc_get_rss

1、zmalloc_get_rss的作用是獲取rss(Resident Set Size)的大小，表示當(dāng)前進(jìn)程實(shí)際駐留在內(nèi)存中的空間大小，即不包括swap出去的空間。

2、該函數(shù)大致的操作是在當(dāng)前進(jìn)程的文件中進(jìn)行檢索。該文件的第24個(gè)字段是rss的信息，其單位是pages(內(nèi)存頁(yè)的數(shù)目)。

/*src/zmalloc.c/zmalloc_get_rss*/
size_t zmalloc_get_rss(void) {  
    int page = sysconf(_SC_PAGESIZE);    //通過(guò)調(diào)用sysconf庫(kù)函數(shù)，查詢內(nèi)存頁(yè)大小
    size_t rss;  
    char buf[4096];  
    char filename[256];  
    int fd, count;  
    char *p, *x;  
  
    //將當(dāng)前進(jìn)程所對(duì)應(yīng)的stat文件的絕對(duì)路徑名保存到filename中，萬(wàn)物皆文件的效果。
    snprintf(filename,256,"/proc/%d/stat",getpid());  
    if ((fd = open(filename,O_RDONLY)) == -1) return 0;  
    if (read(fd,buf,4096) <= 0) {  
        close(fd);  
        return 0;  
    }  
    close(fd);  
  
    p = buf;  
    //跳過(guò)前23個(gè)字段
    count = 23; /* RSS is the 24th field in /proc/<pid>/stat */  
    while(p && count--) {  
        p = strchr(p,' ');  
        if (p) p++;  
    }  
    if (!p) return 0;  
    x = strchr(p,' ');  
    if (!x) return 0;  
    *x = '\0';  
  
    rss = strtoll(p,NULL,10);    //string to long long
    rss *= page;  
    return rss;  
}
7.5 zmalloc_get_fragementation_ratio

1、zmalloc_get_fragementation_ratio函數(shù)用來(lái)查詢內(nèi)存碎片率，即rss和所分配內(nèi)存空間的比值，這里查詢的實(shí)際上是內(nèi)部碎片率。

/*src/malloc.c/zmalloc_get_fragementation_ratio*/
/* Fragmentation = RSS / allocated-bytes */  
float zmalloc_get_fragmentation_ratio(size_t rss) {  
    return (float)rss/zmalloc_used_memory();  
}

【參考】
[1] Redis內(nèi)存管理的基石zmalloc.c源碼解讀

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 文章轉(zhuǎn)摘自:http://www.cnblogs.com/mushroom/p/4738170.html 性能相關(guān)...
    奮斗live閱讀 7,120評(píng)論 2贊 10
  • 轉(zhuǎn)載地址：http://gnucto.blog.51cto.com/3391516/998509 Redis與Me...
    Ddaidai閱讀 21,551評(píng)論 0贊 82
  • 轉(zhuǎn)載:Redis性能問(wèn)題排查解決手冊(cè)(七) 閱讀目錄： 性能相關(guān)的數(shù)據(jù)指標(biāo) 內(nèi)存使用率used_memory 命令...
    meng_philip123閱讀 4,354評(píng)論 0贊 30
  • 她一位陽(yáng)光的少女踏進(jìn)了傳聞教學(xué)十分嚴(yán)格的初中，不過(guò)她不怕。等待她的是令她難忘的初中生活
    陌晗晞閱讀 136評(píng)論 0贊 1
  • “你說(shuō)咱們?cè)趺瓷钤谀蚺枥锩?！? 說(shuō)這話的是我鐵哥們二嘎子，當(dāng)時(shí)我們正懶洋洋的躺在山坡上，嚼著叫不上名字...
    老趙不老閱讀 700評(píng)論 0贊 6

友情鏈接更多精彩內(nèi)容