。
分而治之+hash
1、ip位址最多有2^32=4g種取值情況，所以不能完全載入到記憶體中處理；
2、可以考慮採用「分而治之」的思想，按照ip位址的hash(ip)%1024值，把海量
ip日誌分別儲存到1024個小檔案中。這 樣，每個小檔案最多包含4mb個ip位址
3、對於每個小檔案，可以構建乙個ip為key，出現次數為value的hash_map，同時
記錄當前出現次數最多的那個ip位址。
4、可以得到1024個小檔案中出現次數最多的ip，再依據常規的排序演算法得到總體上出現次數最多的ip;
假設目前有一千萬個記錄（這些查詢串的重複度比較高，雖然總數是1 千萬，但如果
除去重複後，不超過3 百萬個。乙個查詢串的重複度越高，說明查詢它的使用者越多，也就
是越熱門。），請你統計最熱門的10個查詢串，要求使用的記憶體不能超過1g。
1、先對這一批資料進行預處理，再0(n)時間內用hash表進行統計
2、借助堆，找出topk，時間複雜度為nlogk，借助堆可以在log量級的時間內查詢和調整/移動。因此，維護乙個k大小的堆，然後遍歷300萬的query，分別和堆頂元素對比最終時間複雜度0(n)+n『o(logk);（n為1000萬，n』為300萬）。
或者：採用trie 樹，關鍵字域存該查詢串出現的次數，沒有出現為0。最後用10個元
素的最小推來對出現頻率進行排序。
還是典型的top k演算法，解決方案如下：
順序讀取10個檔案，按照hash(query)%10的結果將query寫入到另外10個檔案中。這樣新生成的檔案每個的大小大約也1g（假設hash函式是隨機的）。
找一台內存在2g左右的機器，依次對用hash_map(query, query_count)來統計每個query出現的次數。利用快速/堆/歸併排序按照出現次數進行排序。將排序好的query和對應的query_cout輸出到檔案中。這樣得到了10個排好序的檔案。
對這10個檔案進行歸併排序（內排序與外排序相結合）。
一般query的總量是有限的，只是重複的次數比較多而已，可能對於所有的query，一次性就可以加入到記憶體了。這樣，我們就可以採用trie樹/hash_map 等直接來統計每個query
出現的次數，然後按出現次數做快速/堆/歸併排序就可以了。
與方案1類似，但在做完hash，分成多個檔案後，可以交給多個檔案來處理，採用分
布式的架構來處理（比如mapreduce），最後再進行合併。
方案1：可以估計每個檔案安的大小為5g×64=320g，遠遠大於記憶體限制的4g。所以不可能將其完全載入到記憶體中處理。考慮採取分而治之的方法。
遍歷檔案a，對每個url求取hash(url)%1000，然後根據所取得的值將url分別儲存到1000個小檔案（記為a0,a1,...,a999）中。這樣每個小檔案的大約為300m。
遍歷檔案b，採取和a相同的方式將url分別儲存到1000小檔案（記為b0,b1,...,b999）。
這樣處理後，所有可能相同的url都在對應的小檔案（a0vsb0,a1vsb1,...,a999vsb999）中，
不對應的小檔案不可能有相同的url。然後我們只要求出1000對小檔案中相同的url即可。
求每對小檔案中相同的url時，可以把其中乙個小檔案的url儲存到hash_set中。然後遍歷另乙個小檔案的每個url，看其是否在剛才構建的hash_set中，如果是，那麼就是共同的url，存到檔案裡面就可以了。
方案2：如果允許有一定的錯誤率，可以使用bloom filter，4g記憶體大概可以表示340億bit。將其中乙個檔案中的url使用bloom filter對映為這340億bit，然後挨個讀取另外乙個檔案的url，檢查是否與bloom filter，如果是，那麼該url應該是共同的url（注意會有一定的錯誤率）。
先做hash，然後求模對映為小檔案，求出每個小檔案中重複次數最多的乙個，並記錄重複次數。然後找出上一步求出的資料中重複次數最多的乙個就是所求（具體參考前面的題）。
上千萬或上億的資料，現在的機器的記憶體應該能存下。所以考慮採用hash_map/搜尋二叉樹/紅黑樹等來進行統計次數。然後就是取出前n個出現次數最多的資料了，可以用第2題提到的堆機制完成。
這題是考慮時間效率。用trie 樹統計每個詞出現的次數，時間複雜度是o(n*le)（le 表示單詞的平準長度）。然後是找出出現最頻繁的前10個詞，可以用堆來實現，前面的題中已經講到了，時間複雜度是o(n*lg10)。所以總的時間複雜度，是o(n*le)與o(n*lg10)中較大的哪乙個。
100w個數中找出最大的100個數。
方案1：在前面的題中，我們已經提到了，用乙個含100個元素的最小堆完成。複雜度為o(100w*lg100)。
方案2：採用快速排序的思想，每次分割之後只考慮比軸大的一部分，知道比軸大的一部分在比100多的時候，採用傳統排序演算法排序，取前100個。複雜度為o(100w*100)。
方案3：採用區域性淘汰法。選取前100個元素，並排序，記為序列l。然後一次掃瞄剩餘的元素x，與排好序的100個元素中最小的元素比，如果比這個最小的要大，那麼把這個最小的元素刪除，並把x利用插入排序的思想，插入到序列l中。依次迴圈，知道掃瞄了所有的元素。複雜度為o(100w*100)。
海量資料處理
1 有一千萬條簡訊，有重複，以文字檔案的形式儲存，一行一條，有 重複。請用5分鐘時間，找出重複出現最多的前10條。方法1 可以用雜湊表的方法對1千萬條分成若干組進行邊掃瞄邊建雜湊表。第一次掃瞄，取首位元組，尾位元組，中間隨便兩位元組作為hash code，插入到hash table中。並記錄其位址和...
海量資料處理
給定a b兩個檔案，各存放50億個url，每個url各占用64位元組，記憶體限制是4g，如何找出a b檔案共同的url？答案 可以估計每個檔案的大小為5g 64 300g，遠大於4g。所以不可能將其完全載入到記憶體中處理。考慮採取分而治之的方法。遍歷檔案a，對每個url求取hash url 1000...
海量資料處理
分而治之 hash對映 hash統計 堆 快速 歸併排序 300萬個查詢字串中統計最熱門的10個查詢。針對此類典型的top k問題，採取的對策往往是 hashmap 堆。hash統計 先對這批海量資料預處理。具體方法是 維護乙個key為query字串，value為該query出現次數的hashtab...