海量資料處理

首先求中位數，其實就是求topk，比如此題就是求top 20g/2（1億個int占用512m記憶體，10億個位元組佔1g記憶體，要記住）。

如果記憶體能存下這麼多數，直接用乙個大小為20g/2的堆就可以。另外求topk時，有個竅門：求最大topk，先建乙個最小堆，然後所有大於根節點的值，替換根節點並調平衡；求最小topk，先建乙個最大堆，然後將比根節點小的值插入堆。

此題記憶體存不下這麼多數，可以這麼做：

先建乙個最大堆，大小為1g（記憶體大小），先求出第1g大的數（即堆的根節點），然後再以此值作為堆的根節點建堆，求出第2g大的數，依次類推，直到求出第5g大的數即為所求。每次建堆並求最大值的時間複雜度為nlogk，一共需要建5次堆。

1.分而治之/hash對映 + hashmap/trie統計 + 堆排序 + 歸併

2.bitmap/bloom filter

3.多層劃分

2.尋找熱門查詢，300萬個查詢字串中統計最熱門的10個查詢

3.有乙個1g大小的乙個檔案，裡面每一行是乙個詞，詞的大小不超過16位元組，記憶體限制大小是1m。返回頻數最高的100個詞

4. 海量資料分布在100臺電腦中，想個辦法高效統計出這批資料的top10

5.給定a、b兩個檔案，各存放50億個url，每個url各佔64位元組，記憶體限制是4g，讓你找出a、b檔案共同的url

6.1000萬字串，其中有些是重複的，需要把重複的全部去掉，保留沒有重複的字串。請怎麼設計和實現？

1. 給40億個不重複的unsigned int的整數，沒排過序的，然後再給乙個數，如何快速判斷這個數是否在那40億個數當中？

2.在2.5億個整數中找出不重複的整數，注，記憶體不足以容納這2.5億個整數

3.給定a、b兩個檔案，各存放50億個url，每個url各佔64位元組，記憶體限制是4g，讓你找出a、b檔案共同的url，如果是多個檔案呢？

1. 5億個int找它們的中位數。

參考：