如何在海量資料中找出重複最多乙個。
上億有重資料，統計最多前n個。
記憶體存得下
分1000次在記憶體處理小檔案，得到頻率最大ip（使用map統計）
對這1000個ip建立大根堆
1000w查詢串統計最熱門10個（同2）。
1g的檔案，裡面1行1個不超過16位元組的詞。記憶體限制1m，返回頻數最高前100（同2）。
使用map統計各個詞出現的頻率
對5000詞使用堆排序或歸併排序
分布在100臺電腦的海量資料，統計前十。
再將100臺計算機的top10組合起來堆排序
同一元素可同時出現在不同機器中
有10個1g檔案，每行都是乙個可重複使用者query，按query頻度排序。
a,b兩個檔案各存放50億url，每個為64byte，限制記憶體4g找出公共url。
1000w有重字串，對字串去重。
100w個數字找出最大100個。
快排法
在2.5億數字中找出不重複的整數。
如何在40億數字中快速判斷是否有某個數？
海量資料處理
1 有一千萬條簡訊，有重複，以文字檔案的形式儲存，一行一條，有 重複。請用5分鐘時間，找出重複出現最多的前10條。方法1 可以用雜湊表的方法對1千萬條分成若干組進行邊掃瞄邊建雜湊表。第一次掃瞄，取首位元組，尾位元組，中間隨便兩位元組作為hash code，插入到hash table中。並記錄其位址和...
海量資料處理
給定a b兩個檔案，各存放50億個url，每個url各占用64位元組，記憶體限制是4g，如何找出a b檔案共同的url？答案 可以估計每個檔案的大小為5g 64 300g，遠大於4g。所以不可能將其完全載入到記憶體中處理。考慮採取分而治之的方法。遍歷檔案a，對每個url求取hash url 1000...
海量資料處理
分而治之 hash對映 hash統計 堆 快速 歸併排序 300萬個查詢字串中統計最熱門的10個查詢。針對此類典型的top k問題，採取的對策往往是 hashmap 堆。hash統計 先對這批海量資料預處理。具體方法是 維護乙個key為query字串，value為該query出現次數的hashtab...