Redis學習手冊 記憶體優化

2022-04-08 07:02:58 字數 2106 閱讀 9782

一、特殊編碼:

自從redis 2.2之後,很多資料型別都可以通過特殊編碼的方式來進行儲存空間的優化。其中,hash、list和由integer組成的sets都可以通過該方式來優化儲存結構,以便占用更少的空間,在有些情況下,可以省去9/10的空間。  www.2cto.com  

這些特殊編碼對於redis的使用而言是完全透明的,事實上,它只是cpu和記憶體之間的乙個交易而言。如果記憶體使用率方面高一些,那麼在運算元據時消耗的cpu自然要多一些,反之亦然。在redis中提供了一組配置引數用於設定與特殊編碼相關的各種閾值,如:

#如果hash中字段的數量小於引數值,redis將對該key的hash value採用特殊編碼。

hash-max-zipmap-entries 64

#如果hash中各個欄位的最大長度不超過512位元組,redis也將對該key的hash value採用特殊編碼方式。

hash-max-zipmap-value 512

#下面兩個引數的含義基本等同於上面兩個和hash相關的引數,只是作用的物件型別為list。

list-max-ziplist-entries 512

list-max-ziplist-value 64

#如果set中整型元素的數量不超過512時,redis將會採用該特殊編碼。

set-max-intset-entries 512

倘若某個已經被編碼的值再經過修改之後超過了配置資訊中的最大限制,那麼redis會自動將其轉換為正常編碼格式,這一操作是非常快速的,但是如果反過來操作,將乙個正常編碼的較大值轉換為特殊編碼,redis的建議是,在正式做之前最好先簡單測試一下轉換效率,因為這樣的轉換往往是非常低效的。  www.2cto.com  

二、bit和byte級別的操作:

從redis 2.2開始,redis提供了getrange/setrange/getbit/setbit四個用於字串型別key/value的命令。通過這些命令,我們便可以像運算元組那樣來訪問string型別的值資料了。比如唯一標識使用者身份的id,可能僅僅是string值的其中一段子字串。這樣就可以通過getrange/setrange命令來方便的提取。再有就是可以使用bitmap來表示使用者的性別資訊,如1表示male,0表示female。用這種方式來表示100,000,000個使用者的性別資訊時,也僅僅占用12mb的儲存空間,與此同時,在通過setbit/getbit命令進行資料遍歷也是非常高效的。

三、盡可能使用hash:

由於小的hash型別資料占用的空間相對較少,因此我們在實際應用時應該盡可能的考慮使用hash型別,比如使用者的註冊資訊,這其中包括姓名、性別、email、年齡和口令等字段。我們當然可以將這些資訊以key的形式進行儲存,而使用者填寫的資訊則以string value的形式儲存。然而redis則更為推薦以hash的形式儲存,以上資訊則以field/value的形式表示。

現在我們就通過學習redis的儲存機制來進一步證明這一說法。在該篇部落格的開始處已經提到了特殊編碼機制,其中有兩個和hash型別相關的配置引數:hash-max-zipmap-entries和hash-max-zipmap-value。至於它們的作用範圍前面已經給出,這裡就不再過多的贅述了。現在我們先假設儲存在hash value中的字段數量小於hash-max-zipmap-entries,而每個元素的長度又同時小於hash-max-zipmap-value。這樣每當有新的hash型別的key/value儲存時,redis都會為hash value建立定長的空間,最大可預分配的位元組數為:  www.2cto.com  

total_bytes = hash-max-zipmap-entries * hash-max-zipmap-value

這樣一來,hash中所有欄位的位置已經預留,並且可以像訪問陣列那樣隨機的訪問field/value,他們之間的步長間隔為hash-max-zipmap-value。只有當hash value中的字段數量或某一新元素的長度分別超過以上兩個引數值時,redis才會考慮將他們以hash table的方式進行重新儲存,否則將始終保持這種高效的儲存和訪問方式。不僅如此,由於每個key都要儲存一些關聯的系統資訊,如過期時間、lru等,因此和string型別的key/value相比,hash型別極大的減少了key的數量(大部分的key都以hash欄位的形式表示並儲存了),從而進一步優化了儲存空間的使用效率。  

作者 stephen_liu

Redis學習手冊 記憶體優化

一 特殊編碼 自從redis 2.2之後,很多資料型別都可以通過特殊編碼的方式來進行儲存空間的優化。其中,hash list和由integer組成的sets都可以通過該方式來優化儲存結構,以便占用更少的空間,在有些情況下,可以省去9 10的空間。這些特殊編碼對於redis的使用而言是完全透明的,事實...

Redis學習 記憶體優化

一 特殊編碼 自從redis 2.2之後,很多資料型別都可以通過特殊編碼的方式來進行儲存空間的優化。其中,hash list和由integer組成的sets都可以通過該方式來優化儲存結構,以便占用更少的空間,在有些情況下,可以省去9 10的空間。這些特殊編碼對於redis的使用而言是完全透明的,事實...

Redis學習手冊 虛擬記憶體

一 簡介 和大多nosql資料庫一樣,redis同樣遵循了key value資料儲存模型。在有些情況下,redis會將keys values儲存在記憶體中以提高資料查詢和資料修改的效率,然而這樣的做法並非總是很好的選擇。鑑於此,我們可以將之進一步優化,即盡量在記憶體中只保留keys的資料,這樣可以保...