大資料匯出2

2021-07-25 09:58:38 字數 349 閱讀 4322

經過幾天的折騰,終於把這個頑固的工程做完了,現在60萬資料40秒匯出到本地。

嘗試了很多的辦法,現在放上最優秀的做法供參考。

第一,優化資料表,加上相應的索引,分割槽。

第二,讀庫操作。分多執行緒,採用threadpool。

第三,匯出操作,(1)採用aspose.cells(2)採用多檔案方式,要麼以記錄行數分割,要麼以關鍵字分割。(3)友好的使用者等待介面。

**涉及公司利益,先暫時不上**了,思路就是這樣。利用npoi也能實現,只是outofmemory這個異常不好捕獲,我們這個資料量太大,所以改用apose.cells元件,功能的確很強大,單獨執行時,都能在四五十秒內完成匯出動作,這款元件還是值得研究的。

POI 大資料匯出

gradle 匯入 org.apache.poi poi ooxml 3.14 poi對excel的匯出操作,一般只使用hssfworkbook以及sxssfworkbook hssfworkbook用來處理較少的資料量,sxssfworkbook用來處理超大資料量的匯出,20w資料沒什麼問題。注意...

php mysql匯出大資料

開發中經常遇到這樣的場景 產品汪 我要在後台做乙個功能,可以匯出自定義時間範圍的訂單資訊。開發小哥二話不說,半天就把功能做完並上線了。結果,第二天一上班產品汪過來就是拍桌子 md,我想把去年一整年的訂單都匯出來,結果後台直接就掛了!開發小哥一查,原來是記憶體溢位了,一年下來的的訂單量足足有1000w...

PHPEXCEL大資料匯出

今天使用phpexce外掛程式導不出資料,發現是資料量過大的原因,這裡只做簡單的處理。1 匯出超時處理 在執行頁面新增 set time limit 0 2 記憶體溢位 在執行頁面新增 ini set memory limit 1024m 簡單來說就是在執行頁面新增了以下兩行 set time li...