最近在乙個系統功能的優化。這個是乙個把資料校對的部分給優化一下。目前的背景是相當的慘,幾萬資料要通過介面重新整理幾天。
這個實在不能忍了。開始接手優化。一邊理解業務,一邊優化。裡邊多的是可以發揮優化的餘地,優化了幾處的sql。也把業務流程給優化了一下。
主流程中,如果主要部分沒有資料,那麼就不要再查詢詳細資料,這樣可以減少很大部分(經過資料分析,70%的資料都是沒詳細資料的那種)。
今天,用實際的開始測了,一分鐘大概200條。感覺沒有多快,很是鬱悶啊。這樣的話,20w的資料也要20小時,好像還是比較慢。後來,一想這個任務是4台前段的
伺服器呢,這個也是分布式。這樣純數學演算法,1分鐘就800條。這樣20w資料也就5小時。感覺稍微快點了。多點的任務,在這個系統裡是使用佇列還分配任務的,分析了那個任務的sql,裡邊原來還是一致性hash原則,失敗重試,超時任務自動重置分配的處理機,裡邊的東西還是很多的。 每次處理1000條,連任務上上限都有啊。
分布式任務的任務管理的,分配,結果很有很好的實現,執行日誌是寫在檔案裡,可以去任務機器中得log目錄下查吧。這個以後可以考慮改成nosql吧。
以後有時間,在好好看看一致性hash等知識。目前系統感覺還有很多優化點,等這次上線後,在視情況進行下一次優化。這個服務中有乙個根據key來計算實時的資料任務,這個可以考慮改成多工的啊。
特效系統優化
特效系統優化 這幾天在做特效系統的優化,稍有些心得,分享一下。首先要討論的是優化層次,然後再說說優化策略。遊戲這個東西是程式美術策劃共同努力工作的結果,所以優化再更巨集觀的角度來看不只是程式的問題。在具體工作中經常會出現,美術作了乙個特別牛鼻的特 效,效果及其絢麗,但是他卻消耗了大量的資源,導致遊戲...
Linux系統優化
最近很多問我 apache的優化引數 prefork模式的 startservers 100 serverlimit 2000 maxclients 1000 minspareservers 20 maxspareservers 50 maxrequestsperchild 10000 具體看其實系...
系統優化要點
這是常用的系統優化要考慮的點,在系統設計和 評審以及 優化時加以考慮,最大限度提高系統效能 1.優化演算法,選擇合適高效演算法,降低不必要遞迴,迴圈,多層迴圈巢狀,避免迴圈內初始化等。2.避免申請過多不必要的記憶體 3.及時釋放資源,降低資源使用時間,包括記憶體,io,網路,資料庫等。4.使用快取 ...