唯快不破 如何快速處理大量資料

2021-09-28 11:49:00 字數 668 閱讀 3954

最大化提公升資料處理速度,將耗時降至10min左右,此時c表的寫入速度約5000/s。

因為t表間沒有業務關聯,所以每張表都可以單獨處理。

將t表按資料量排序,每個程序處理n張表,盡量平衡各程序的負載。

存在的問題:

t表的資料量分布極為不均衡,有幾張表資料量在70萬左右,最終耗時約為(70萬/500)s,瓶頸問題嚴重。

方案一的的基礎上,以表+資料的維度做並行處理,可以解決大表瓶頸問題。

存在的問題:

**實現較複雜,需要考慮

借助 redis 的 pub/sub 機制,實現生產和消費的分離。

方案三的變體,借助 redis 的 list,實現生產和消費的分離。

本方案相比方案三的優勢在於**邏輯比較簡潔,生產端和消費端均不需要做負載均衡。消費端能者多勞,多個消費程序同步完成作業。

最終採用方案四

依次讀取t表資料,將表名+id寫入list。需要注意list支援批量寫入,每次寫入100條資料,寫入速度約50000/s。

單個程序的消費速度約300/s,起10個消費程序,處理速度可以達到約3000/s。如果資料庫的寫入速度允許,可適當增加消費程序數量。

天下武功,唯快不破

昨天v哥的一朋友租了幢樓準備搞小資情調的咖啡旅館,聽到這個訊息v哥著實吃了一驚 這不是上週一才冒出來的想法,怎麼這週三就搞定了,太tm快了。所以我也就想起來星爺 功夫 中的這句話 天下武功,無堅不破,唯快不破。太tm經典了。事情是這樣的,我這朋友 性別女 周一去西湖景區自駕遊逛了一圈,長日浸淫在城市...

天下武功無堅不破,唯快不破 yaf

天下武功無堅不破,唯快不破 yaf 最近對於yaf框架有些興趣,從最初按照鳥哥惠新宸的寫的關於yaf手冊,到自己寫乙個hello world 程式,對於我這個新手來說還 是蠻曲折的,大家都知道yaf框架是用c寫的,所以自身的效率和效能,還是很不錯的,但是缺點的就是關於yaf的文件太少,這讓不少初學者...

天下武功唯快不破 實驗吧

點開看見 然後題目暗示看看響應頭,結果看到flag 感覺就是base64加密,然後解密,這個時候看下頁面 還有這句 所以題目就是想要我們去拿到header的flag,base64解密,然後再在url傳key 同時還發現,傳過來的flag是個隨機值.手動解密是不夠時間的了,只能借助指令碼的力量了 co...