1、合理建立索引，可在查詢時優化
2、刪除所有資料 truncate table 【表】 執行該操作時不寫入日誌檔案而且快速
3、如果僅刪除1000萬條資料中符合條件的300萬條
a 使用delete時條件中有索引比沒有索引要快些
b 不能使用 truncate table
c可以一部分資料迴圈刪除再收縮日誌檔案
d採用臨時表的方法
如果有最小序號先找到符合條件的最小序號1102918
select * into ec_test from ec_oa_inmail where xh>1102918
ec_test建立索引，主鍵、預設值
刪除ec_oa_inmail表
更改ec_test表為目標ec_oa_inmail
壓縮資料庫、分離資料庫，去掉日誌檔案等
4、進行資料操作後對資料庫壓縮 可直接設定最小多大，時間可能稍長
5、收縮日誌檔案 可選擇資料庫分離再刪除日誌檔案再附加，這樣可快速
海量資料處理（查重，topk）
求top k 對記憶體有限制的大資料處理 查重 就是在一組海量資料中，查詢重複的資料，一般的解題思路就是雜湊表 名稱特點 unordered set 單重集合，只存放key，不允許key重複 unordered multiset 多重集合，只存放key，允許key重複 unordered map 單...
海量資料處理
1 有一千萬條簡訊，有重複，以文字檔案的形式儲存，一行一條，有 重複。請用5分鐘時間，找出重複出現最多的前10條。方法1 可以用雜湊表的方法對1千萬條分成若干組進行邊掃瞄邊建雜湊表。第一次掃瞄，取首位元組，尾位元組，中間隨便兩位元組作為hash code，插入到hash table中。並記錄其位址和...
海量資料處理
給定a b兩個檔案，各存放50億個url，每個url各占用64位元組，記憶體限制是4g，如何找出a b檔案共同的url？答案 可以估計每個檔案的大小為5g 64 300g，遠大於4g。所以不可能將其完全載入到記憶體中處理。考慮採取分而治之的方法。遍歷檔案a，對每個url求取hash url 1000...