Redis原始碼閱讀 sds字串實現

從開始工作就開始使用redis，也有一段時間了，但都只是停留在使用階段，沒有往更深的角度探索，每次想讀原始碼都止步在閱讀書籍上，因為看完書很快又忘了，這次逼自己先讀**。因為個人覺得寫作需要閱讀文本來增強靈感，那麼寫**的，就閱讀更多**來增強靈感吧。

redis的實現原理，在《redis設計與實現》一書中講得很詳細了，但是想通過結合**的形式再深入探索，加深自己的理解，現在將自己探索的心得寫在這兒。

#define sds_type_5  0
#define sds_type_8 1
#define sds_type_16 2
#define sds_type_32 3
#define sds_type_64 4
#define sds_type_mask 7
// sds結構體，使用不同的結構體來儲存不同長度大小的字串
typedef char *sds;
struct __attribute__ ((__packed__)) sdshdr5 ;
struct __attribute__ ((__packed__)) sdshdr8 ;
struct __attribute__ ((__packed__)) sdshdr16 ;
struct __attribute__ ((__packed__)) sdshdr32 ;
struct __attribute__ ((__packed__)) sdshdr64 ;

sds結構體從4.0開始就使用了5種header定義，節省記憶體的使用，但是不會用到sdshdr5，我認為是因為sdshdr5能儲存的大小較少，2^5=32，因此就不使用它。

其他的結構體儲存了len、alloc、flags以及buf四個屬性。各自的含義見**的注釋。

上面可以看到有5種結構體的定義，在使用的時候是通過乙個巨集來獲取的：

#define sds_hdr(t,s) ((struct sdshdr##t *)((s)-(sizeof(struct sdshdr##t))))

"##"被稱為連線符，它是一種預處理運算子，用來把兩個語言符號(token)組合成單個語言符號。比如sds_hdr(8, s)，根據巨集定義展開是：

((struct sdshdr8 *)((s)-(sizeof(struct sdshdr8))))

而具體使用哪乙個結構體，sds底層是通過flags屬性與sds_type_mask做與運算得出具體的型別（具體的實現可見下面的sdslen函式），然後再根據型別去獲取具體的結構體。

在redis設計與實現一書中講到，相比c字串而言，sds的特性如下：

那麼，它是怎麼做到的呢？看**。

因為sds將長度屬性儲存在結構體中，所以只需要讀取這個屬性就能獲取到sds的長度，具體呼叫的函式時sdslen，實現如下：

static inline size_t sdslen(const sds s) 
return 0;
}

可以看到，函式是根據型別呼叫sds_hdr巨集來獲取具體的sds結構，然後直接返回結構體的len屬性。

對於c字串的操作函式來說，如果在修改字串的時候忘了為字串分配足夠的空間，就有可能出現緩衝區溢位的情況。而sds中的api就不會出現這種情況，因為它在修改sds之前，都會判斷它是否有足夠的空間完成接下來的操作。

拿書中舉例的sdscat函式來看，如果strcat想在原來的"redis"字串的基礎上進行字串拼接的操作，但是沒有檢查空間是否滿足，就有可能會修改了"redis"字串之後使用到的記憶體，可能是其他結構使用了，也有可能是一段沒有被使用的空間，因此有可能會出現緩衝區溢位。但是sdscat就不會，如下面**所示：

sds sdscatlen(sds s, const void *t, size_t len) 
sds sdscat(sds s, const char *t)

從**中可以看到，在執行memcpy將字串寫入sds之前會呼叫sdsmakeroomfor函式去檢查sds字串s是否有足夠的空間，如果沒有足夠空間，就為其分配足夠的空間，從而杜絕了緩衝區溢位。sdsmakeroomfor函式的實現如下：

sds sdsmakeroomfor(sds s, size_t addlen)  else 
sdssetalloc(s, newlen);
return s;
}

sds字串的很多操作都涉及到修改字串內容，比如sdscat拼接字串、sdscpy拷貝字串等等。這時候就需要記憶體的分配與釋放，如果每次操作都分配剛剛好的大小，那麼對程式的效能必定有影響，因為記憶體分配涉及到系統呼叫以及一些複雜的演算法。

sds使用了空間預分配以及惰性空間釋放的策略來減少記憶體分配操作。

空間預分配

前面提到，每次涉及到字串的修改時，都會呼叫sdsmakeroomfor檢查sds字串，如果大小不夠再進行大小的重新分配。sdsmakeroomfor函式有下面這幾行判斷：

// sds_max_prealloc == 1mb，如果修改後的長度小於1m，則分配的空間是原來的2倍，否則增加1mb的空間
if (newlen < sds_max_prealloc)
newlen *= 2;
else
newlen += sds_max_prealloc;

函式判斷字串修改後的大小，如果修改後的長度小於1m，則分配給sds的空間是原來的2倍，否則增加1mb的空間。

惰性空間釋放

如果操作後減少了字串的大小，比如下面的sdstrim函式，只是在最後修改len屬性，不會馬上釋放多餘的空間，而是繼續保留多餘的空間，這樣在下次需要增加sds字串的大小時，就不需要再為其分配空間了。當然，如果之後檢查到sds的大小實在太大，也會呼叫sdsremovefreespace函式釋放多餘的空間。

sds sdstrim(sds s, const char *cset)

二進位制安全指的是只關心二進位製化的字串，不關心具體格式。只會嚴格的按照二進位制的資料訪問，不會妄圖以某種特殊格式解析資料。比如遇到'0'字元不會停止解析。

對於c字串來說，strlen是判斷遇到'0'之前的字元數量。如果需要儲存二進位制的資料，就不能通過傳統的c字串來儲存，因為獲取不到它真實的長度。而sds字串是通過len屬性儲存字串的大小，所以它是二進位制安全的。

我這兩個函式拉出來做了測試，在專案的redis-4.0/tests目錄下。sdstrim函式的實現原始碼上面有列出，看看sdsll2str的實現：

int sdsll2str(char *s, long long value)  while(v);
if (value < 0) *p++ = '-';
/* compute length and add null term. */
l = p-s;
*p = '\0';
/* 反轉字串 */
p--;
while(s < p) 
return l;
}

函式是通過不斷取餘數，得到原字串的逆轉形式，接著，通過從尾部開始將字元逐個放到字串s中，看起來像是乙個反轉操作，從而實現了將整型轉為字串的操作。

覺得感興趣是因為sdsll2str這個函式在之前學習c語言的時候經常能看到作為問題出現，能看到如此簡潔的實現，表示眼前一亮。而在php開發時經常使用trim函式，所以想看看它們的區別。

通過詳細地閱讀sds的原始碼，不僅學習到sds的實現細節，還學習到了一些常用字串操作函式的實現。如果只是僅僅看看資料結構的定義也可以初步了解，但是要深入了解的話還是需要詳細的閱讀具體函式的實現**。還是那句，寫**的，需要閱讀更多**來增強靈感。

我在github有對redis原始碼更詳細的註解。感興趣的可以圍觀一下，給個star。redis4.0原始碼註解。可以通過commit記錄檢視已新增的註解。

原創文章，文筆有限，才疏學淺，文中若有不正之處，萬望告知。

Redis原始碼閱讀 sds字串實現

redis原始碼分析二 sds實現

SDS字串原始碼分析

redis原始碼閱讀筆記

Redis原始碼閱讀 sds字串實現

redis原始碼分析二 sds實現

SDS字串原始碼分析

redis原始碼閱讀筆記

相關推薦