資料庫 JVM 快取 SQL等效能調優方法和原則

2022-09-03 19:51:13 字數 3456 閱讀 1657

**

效能優化基本是bat等一線網際網路公司程式設計師必備的技能,以下為大家完整揭曉效能完整的優化方案和方法:包含web**調優、資料庫、jvm調優、架構調優等方案。

2、減少dns查詢

3、將css放在頁面最上面,將js放在頁面最下面

4、壓縮js和css

減少檔案體積,去除不必要的空白符、格式符、注釋(即對**進行格式化)

5、把js和css提取出來放在外部檔案中

這一條要靈活運用,把js和css提取出來放在外部檔案的優點是:減少html體積,提高了js和css的復用性,提高日後的可維護性

缺點:增加了http請求,不過這一點可以通過快取來解決。

什麼情況下將js和css寫在頁面內呢,可以分為幾種情況:js和css**比較少;這個頁面不怎麼會訪問

6、避免重定向

重定向就是使用者請求的頁面被轉移到了別的地方,瀏覽器向服務請請求乙個頁面,伺服器告訴瀏覽器請求的頁面已經被轉移到另外乙個頁面,並告知另乙個頁面位址,瀏覽器就再傳送請求到重定向的位址。這樣會增加伺服器和瀏覽器之間的往返次數,影響**效能。

7、移除重複指令碼

9、使用ajax快取

ajax的get和post方法:

只要是瀏覽器的get請求,瀏覽器都會使用快取,對於同一位址的請求,伺服器會傳送304狀態碼到瀏覽器,瀏覽器就會使用快取中的資料

post的請求每次都會被執行,瀏覽器不會快取

10、使用gzip壓縮

11、使用cdn(內容分發網路)

第二:資料庫調優

資料庫的調優,總的來說分為以下三部分:

1.sql調優:主要集中在索引、減少跨表與大資料join查詢等。

2.資料庫端架構設計優化:

通過讀寫分離調整對資料庫的寫操作,通過垂直拆分以及水平拆分(分庫分表)來解決資料庫端連線池瓶頸等問題。

3.連線池調優

可以通過熟悉連線池的原理,以及具體的連線池監控資料,來不斷除錯出最終的連線池引數。

第三:通過快取減少後端壓力

目前分布式快取已經比較成熟,常見的有redis、memcached以及開源的**分布式tair等。

選型考慮

如果資料量小,並且不會頻繁地增長又清空(這會導致頻繁地垃圾**),那麼可以選擇本地快取。具體的話,如果需要一些策略的支援(比如快取滿的逐出策略),可以考慮ehcache;如不需要,可以考慮hashmap;如需要考慮多執行緒併發的場景,可以考慮concurenthashmap。

快取是否會滿,快取滿了怎麼辦?

對於乙個快取服務,理論上來說,隨著快取資料的日益增多,在容量有限的情況下,快取肯定有一天會滿的。如何應對?

給快取服務,選擇合適的快取逐出演算法,比如最常見的lru。

針對當前設定的容量,設定適當的警戒值,比如10g的快取,當快取資料達到8g的時候,就開始發出報警,提前排查問題或者擴容。

給一些沒有必要長期儲存的key,盡量設定過期時間。

第四:資料請求改造為非同步

使用場景

使用者並不關心或者使用者不需要立即拿到這些事情的處理結果,這種情況就比較適合用非同步的方式處理,這裡的原則就是能非同步就非同步。

常見做法

一種做法,是額外開闢執行緒,這裡可以採用額外開闢乙個執行緒或者使用執行緒池的做法,在io執行緒(處理請求響應)之外的執行緒來處理相應的任務,在io執行緒中讓response先返回。

如果非同步執行緒處理的任務設計的資料量非常巨大,那麼可以引入阻塞佇列blockingqueue作進一步的優化。具體做法是讓一批非同步執行緒不斷地往阻塞佇列裡扔資料,然後額外起乙個處理執行緒,迴圈批量從佇列裡拿預設大小的一批資料,來進行批處理(比如發乙個批量的遠端服務請求),這樣進一步提高了效能。

另一種做法,是使用訊息佇列(mq)中介軟體服務,mq天生就是非同步的。

第五:jvm調優

什麼時候調?

通過監控系統對一些機器關鍵指標(gc time、gc count、各個分代的記憶體大小變化、機器的load值與cpu使用率、jvm的執行緒數等)的監控報警,也可以看gc log和jstat等命令的輸出,再結合線上jvm程序服務的一些關鍵介面的效能資料和請求體驗,基本上就能定位出當前的jvm是否有問題,以及是否需要調優。

調優工具:

jconsole,jprofile,visualvm

jconsole :jdk自帶,功能簡單,但是可以在系統有一定負荷的情況下使用。對垃圾**演算法有很詳細的跟蹤。詳細說明參考這裡

如何調優?

觀察記憶體釋放情況、集合類檢查、物件樹

上面這些調優工具都提供了強大的功能,但是總的來說一般分為以下幾類功能

堆資訊檢視

可檢視堆空間大小分配(年輕代、年老代、持久代分配)

提供即時的垃圾**功能

垃圾監控(長時間監控**情況)

檢視堆內類、物件資訊檢視:數量、型別等

物件引用情況檢視

有了堆資訊檢視方面的功能,我們一般可以順利解決以下問題:

--年老代年輕代大小劃分是否合理

--記憶體洩漏

--垃圾**演算法設定是否合理

執行緒監控

執行緒資訊監控:系統執行緒數量。

執行緒狀態監控:各個執行緒都處在什麼樣的狀態下

dump執行緒詳細資訊:檢視執行緒內部運**況

死鎖檢查

熱點分析

cpu熱點:檢查系統哪些方法占用的大量cpu時間

記憶體熱點:檢查哪些物件在系統中數量最大(一定時間內存活物件和銷毀物件一起統計)

這兩個東西對於系統優化很有幫助。我們可以根據找到的熱點,有針對性的進行系統的瓶頸查詢和進行系統優化,而不是漫無目的的進行所有**的優化。

快照快照是系統執行到某一時刻的乙個定格。在我們進行調優的時候,不可能用眼睛去跟蹤所有系統變化,依賴快照功能,我們就可以進行系統兩個不同執行時刻,物件(或類、執行緒等)的不同,以便快速找到問題

舉例說,我要檢查系統進行垃圾**以後,是否還有該收回的物件被遺漏下來的了。那麼,我可以在進行垃圾**前後,分別進行一次堆情況的快照,然後對比兩次快照的物件情況。

記憶體洩漏檢查

記憶體洩漏是比較常見的問題,而且解決方法也比較通用,這裡可以重點說一下,而執行緒、熱點方面的問題則是具體問題具體分析了。

記憶體洩漏一般可以理解為系統資源(各方面的資源,堆、棧、執行緒等)在錯誤使用的情況下,導致使用完畢的資源無法**(或沒有**),從而導致新的資源分配請求無法完成,引起系統錯誤。

記憶體洩漏對系統危害比較大,因為他可以直接導致系統的崩潰。

效能調優總結:

大型**的效能瓶頸大部分瓶頸都在資料庫端,所以效能調優總是沿著如何減少對後端的壓力來操作,資料庫端的瓶頸經常會造成應用端的雪崩(比如:sql查詢過長,長事務)等,所以需要及時解決後端效能。

1.通過讀寫分離、垂直拆分、水平拆分降低對資料庫後端的壓力。

2.通過優化sql語句,索引等,縮短對sql的查詢時間。

2.通過快取以及cdn來解決對、檔案等的讀操作,避免對資料庫產生壓力。

3.通過對web端的優化,js、css等壓縮,提高大檔案讀取時間,盡量依賴cdn。

4.還有乙個重點就是監控:對jvm、執行緒、sql查詢時間等健康指標就行及時監控,通過監控及時發現瓶頸,及時優化。

SQL效能優化 資料庫調優 概覽

簡單的目的 執行更快,響應更快,吞吐量更大 不過目標太泛,不夠具體,所以我們需要根據精細的問題定位去調優。通常是以下幾種 資料庫調優不僅有sql,部署 配置 架構也很重要 1.選擇合適dbms 對事務效能和安全要求比較高,選擇商業資料庫如sqlserver,mysql有很多儲存引擎,innodb善於...

SQL資料庫調優

sql調優的方法 1.1 減少資料的訪問 1 建立並使用正確的索引 2 只通過索引訪問資料 3 優化sql執行計畫 1.2 返回更少的資料 1 資料分頁處理 2 只返回需要的字段 1.3 減少互動的次數 1 batch dml 2 in list 3 設定fetch size 4 使用儲存過程 5 ...

MySQL資料庫效能優化 表 索引 SQL等

一 mysql 資料庫效能優化之sql優化 注 這篇文章是以 mysql 為背景,很多內容同時適用於其他關係型資料庫,需要有一些索引知識為基礎 盡量少 join mysql 的優勢在於簡單,但這在某些方面其實也是其劣勢。mysql 優化器效率高,但是由於其統計資訊的量有限,優化器工作過程出現偏差的可...