**
【什麼是hash】
hash，一般翻譯做「雜湊」，也有直接音譯為「雜湊」的，就是把任意長度的輸入（又叫做預對映， pre-image），通過雜湊演算法，變換成固定長度的輸出，該輸出就是雜湊值。這種轉換是一種壓縮對映，也就是，雜湊值的空間通常遠小於輸入的空間，不同的輸入可能會雜湊成相同的輸出，而不可能從雜湊值來唯一的確定輸入值。簡單的說就是一種將任意長度的訊息壓縮到某一固定長度的訊息摘要的函式。
hash主要用於資訊保安領域中加密演算法，它把一些不同長度的資訊轉化成雜亂的128位的編碼,這些編碼值叫做hash值. 也可以說，hash就是找到一種資料內容和資料存放位址之間的對映關係。
陣列的特點是：定址容易，插入和刪除困難；而鍊錶的特點是：定址困難，插入和刪除容易。那麼我們能不能綜合兩者的特性，做出一種定址容易，插入刪除也容易的資料結構？答案是肯定的，這就是我們要提起的雜湊表，雜湊表有多種不同的實現方法，我接下來解釋的是最常用的一種方法——拉鍊法，我們可以理解為「鍊錶的陣列」，如圖：
左邊很明顯是個陣列，陣列的每個成員包括乙個指標，指向乙個鍊錶的頭，當然這個鍊錶可能為空，也可能元素很多。我們根據元素的一些特徵把元素分配到不同的鍊錶中去，也是根據這些特徵，找到正確的鍊錶，再從鍊錶中找出這個元素。
元素特徵轉變為陣列下標的方法就是雜湊法。雜湊法當然不止一種，下面列出三種比較常用的。
1，除法雜湊法
最直觀的一種，上圖使用的就是這種雜湊法，公式：
index = value % 16
學過彙編的都知道，求模數其實是通過乙個除法運算得到的，所以叫「除法雜湊法」。
2，平方雜湊法
求index是非常頻繁的操作，而乘法的運算要比除法來得省時（對現在的cpu來說，估計我們感覺不出來），所以我們考慮把除法換成乘法和乙個位移操作。公式：
index = (value * value) >> 28
如果數值分配比較均勻的話這種方法能得到不錯的結果，但我上面畫的那個圖的各個元素的值算出來的index都是0——非常失敗。也許你還有個問題，value如果很大，value * value不會溢位嗎？答案是會的，但我們這個乘法不關心溢位，因為我們根本不是為了獲取相乘結果，而是為了獲取index。
3，斐波那契（fibonacci）雜湊法
平方雜湊法的缺點是顯而易見的，所以我們能不能找出乙個理想的乘數，而不是拿value本身當作乘數呢？答案是肯定的。
1，對於16位整數而言，這個乘數是40503
2，對於32位整數而言，這個乘數是2654435769
3，對於64位整數而言，這個乘數是11400714819323198485
這幾個「理想乘數」是如何得出來的呢？這跟乙個法則有關，叫**分割法則，而描述**分割法則的最經典表示式無疑就是著名的斐波那契數列，如果你還有興趣，就到網上查詢一下「斐波那契數列」等關鍵字，我數學水平有限，不知道怎麼描述清楚為什麼，另外斐波那契數列的值居然和太陽系八大行星的軌道半徑的比例出奇吻合，很神奇，對麼？
對我們常見的32位整數而言，公式：
i ndex = (value * 2654435769) >> 28
如果用這種斐波那契雜湊法的話，那我上面的圖就變成這樣了：
【適用範圍】
快速查詢，刪除的基本資料結構，通常需要總資料量可以放入記憶體。
【基本原理及要點】
hash函式選擇，針對字串，整數，排列，具體相應的hash方法。
碰撞處理，一種是open hashing，也稱為拉鍊法；另一種就是closed hashing，也稱開位址法，opened addressing。
【擴充套件】
d-left hashing中的d是多個的意思，我們先簡化這個問題，看一看2-left hashing。2-left hashing指的是將乙個雜湊表分成長度相等的兩半，分別叫做t1和t2，給t1和t2分別配備乙個雜湊函式，h1和h2。在儲存乙個新的key時，同 時用兩個雜湊函式進行計算，得出兩個位址h1[key]和h2[key]。這時需要檢查t1中的h1[key]位置和t2中的h2[key]位置，哪乙個 位置已經儲存的（有碰撞的）key比較多，然後將新key儲存在負載少的位置。如果兩邊一樣多，比如兩個位置都為空或者都儲存了乙個key，就把新key 儲存在左邊的t1子表中，2-left也由此而來。在查詢乙個key時，必須進行兩次hash，同時查詢兩個位置。
【問題例項】ip的數目還是有限的，最多2^32個，所以可以考慮使用hash將ip直接存入記憶體，然後進行統計。
海量資料處理專題（三） Hash
什麼是hash hash，一般翻譯做 雜湊 也有直接音譯為 雜湊 的，就是把任意長度的輸入 又叫做預對映，pre image 通過雜湊演算法，變換成固定長度的輸出，該輸出就是雜湊值。這種轉換是一種壓縮對映，也就是，雜湊值的空間通常遠小於輸入的空間，不同的輸入可能會雜湊成相同的輸出，而不可能從雜湊值來...
海量資料處理專題（四） Bit map
什麼是bit map 所謂的bit map就是用乙個bit位來標記某個元素對應的value，而key即是該元素。由於採用了bit為單位來儲存資料，因此在儲存空間方面，可以大大節省。如果說了這麼多還沒明白什麼是bit map，那麼我們來看乙個具體的例子，假設我們要對0 7內的5個元素 4,7,2,5,...
海量資料處理專題（四） Bit map
什麼是bit map 所謂的bit map就是用乙個bit位來標記某個元素對應的value，而key即是該元素。由於採用了bit為單位來儲存資料，因此在儲存空間方面，可以大大節省。如果說了這麼多還沒明白什麼是bit map，那麼我們來看乙個具體的例子，假設我們要對0 7內的5個元素 4,7,2,5,...