mysql查詢占用記憶體,優化的技巧

2021-07-05 02:39:40 字數 3247 閱讀 9085



在apache, php, mysql的體系架構中,mysql對於效能的影響最大,也是關鍵的核心部分。對於discuz!論壇程式也是如此,mysql的設定是否合理優化,直接影響到論壇的速度和承載量!同時,mysql也是優化難度最大的乙個部分。

在apache, php, mysql的體系架構中,mysql對於效能的影響最大,也是關鍵的核心部分。對於discuz!論壇程式也是如此,mysql的設定是否合理優化,直接影響到論壇的速度和承載量!同時,mysql也是優化難度最大的乙個部分,不但需要理解一些mysql專業知識,同時還需要長時間的觀察統計並且根據經驗進行判斷,然後設定合理的引數。

下面我們了解一下mysql優化的一些基礎,mysql的優化我分為兩個部分,一是伺服器物理硬體的優化;二是mysql自身(my.cnf)的優化。

(1) 伺服器硬體對mysql效能的影響

a) 磁碟尋道能力(磁碟i/o),以目前高轉速scsi硬碟(7200轉/秒)為例,這種硬碟理論上每秒尋道7200次,這是物理特性決定的,沒有辦法改變。 mysql每秒鐘都在進行大量、複雜的查詢操作,對磁碟的讀寫量可想而知。所以,通常認為磁碟i/o是制約mysql效能的最大因素之一,對於日均訪問量在100萬pv以上的discuz!論壇,由於磁碟i/o的制約,mysql的效能會非常低下!解決這一制約因素可以考慮以下幾種解決方案:

使用raid-0+1磁碟陣列,注意不要嘗試使用raid-5,mysql在raid-5磁碟陣列上的效率不會像你期待的那樣快; 拋棄傳統的硬碟,使用速度更快的快閃儲存器式儲存裝置。經過discuz!公司技術工程的測試,使用快閃儲存器式儲存裝置可比傳統硬碟速度高出6-10倍左右。

c) 物理記憶體對於一台使用mysql的database server來說,伺服器記憶體建議不要小於2gb,推薦使用4gb以上的物理記憶體。

(2) mysql自身因素當解決了上述伺服器硬體制約因素後,讓我們看看mysql自身的優化是如何操作的。對mysql自身的優化主要是對其配置檔案my.cnf中的各項引數進行優化調整。下面我們介紹一些對效能影響較大的引數。

cpu: 2顆intel xeon 2.4ghz

記憶體: 4gb ddr

硬碟: scsi 73gb

下面,我們根據以上硬體配置結合乙份已經優化好的my.cnf進行說明:

# vi /etc/my.cnf

以下只列出my.cnf檔案中[mysqld]段落中的內容,其他段落內容對mysql執行效能影響甚微,因而姑且忽略。

[mysqld]

port = 3306

serverid = 1

socket = /tmp/mysql.sock

skip-locking

# 避免mysql的外部鎖定,減少出錯機率增強穩定性。

skip-name-resolve

禁止mysql對外部連線進行dns解析,使用這一選項可以消除mysql進行dns解析的時間。但需要注意,如果開啟該選項,則所有遠端主機連線授權都要使用ip位址方式,否則mysql將無法正常處理連線請求!

back_log = 384

指定mysql可能的連線數量。當mysql主線程在很短的時間內接收到非常多的連線請求,該引數生效,主線程花費很短的時間檢查連線並且啟動乙個新執行緒。

back_log引數的值指出在mysql暫時停止響應新請求之前的短時間內多少個請求可以被存在堆疊中。 如果系統在乙個短時間內有很多連線,則需要增大該引數的值,該引數值指定到來的tcp/ip連線的偵聽佇列的大小。不同的作業系統在這個佇列大小上有它自己的限制。

試圖設定back_log高於你的作業系統的限制將是無效的。預設值為50。對於linux系統推薦設定為小於512的整數。

key_buffer_size = 256m

# key_buffer_size指定用於索引的緩衝區大小,增加它可得到更好的索引處理效能。    對於內存在4gb左右的伺服器該引數可設定為256m或384m。  注意:該引數值設定的過大反而會是伺服器整體效率降低!

max_allowed_packet = 4m

thread_stack = 256k

table_cache = 128k

sort_buffer_size = 6m

查詢排序時所能使用的緩衝區大小。注意:該引數對應的分配記憶體是每連線獨佔!如果有100個連線,那麼實際分配的總共排序緩衝區大小為100 × 6 = 600mb。所以,對於內存在4gb左右的伺服器推薦設定為6-8m。

read_buffer_size = 4m

讀查詢操作所能使用的緩衝區大小。和sort_buffer_size一樣,該引數對應的分配記憶體也是每連線獨享!

join_buffer_size = 8m

聯合查詢操作所能使用的緩衝區大小,和sort_buffer_size一樣,該引數對應的分配記憶體也是每連線獨享!

myisam_sort_buffer_size = 64m

table_cache = 512

thread_cache_size = 64

query_cache_size = 64m

指定mysql查詢緩衝區的大小。可以通過在mysql控制台執行以下命令觀察:

# > show variables like '%query_cache%';

# > show status like 'qcache%';

# 如果qcache_lowmem_prunes的值非常大,則表明經常出現緩衝不夠的情況;

如果qcache_hits的值非常大,則表明查詢緩衝使用非常頻繁,如果該值較小反而會影響效率,那麼可以考慮不用查詢緩衝;qcache_free_blocks,如果該值非常大,則表明緩衝區中碎片很多。

tmp_table_size = 256m

max_connections = 768

指定mysql允許的最大連線程序數。如果在訪問論壇時經常出現too many connections的錯誤提 示,則需要增大該引數值。

max_connect_errors = 10000000

wait_timeout = 10

指定乙個請求的最大連線時間,對於4gb左右記憶體的伺服器可以設定為5-10。

thread_concurrency = 8

該引數取值為伺服器邏輯cpu數量×2,在本例中,伺服器有2顆物理cpu,而每顆物理cpu又支援h.t超執行緒,所以實際取值為4 × 2 = 8

skip-networking

開啟該選項可以徹底關閉mysql的tcp/ip連線方式,如果web伺服器是以遠端連線的方式訪問mysql資料庫伺服器則不要開啟該選項!否則將無法正常連線

PHP查詢MySQL大量資料的記憶體占用分析

from 這篇文章主要是從原理,手冊和原始碼分析在php中查詢mysql返回大量結果時,記憶體占用的問題,同時對使用mysql c api也有涉及.昨天,有同事在php討論群裡提到,他做的乙個專案由於mysql查詢返回的結果太多 達10萬條 從而導致php記憶體不夠用.所以,他問,在執行下面的 遍歷...

PHP查詢MySQL大量資料的記憶體占用分析

這篇文章主要是從原理,手冊和原始碼分析在php中查詢mysql返回大量結果時,記憶體占用的問題,同時對使用mysql c api也有涉及.昨天,有同事在php討論群裡提到,他做的乙個專案由於mysql查詢返回的結果太多 達10萬條 從而導致php記憶體不夠用.所以,他問,在執行下面的 遍歷返回的my...

PHP查詢MySQL大量資料的記憶體占用分析

這篇文章主要是從原理,手冊和原始碼分析在php中查詢mysql返回大量結果時,記憶體占用的問題,同時對使用mysql c api也有涉及.昨天,有同事在php討論群裡提到,他做的乙個專案由於mysql查詢返回的結果太多 達10萬條 從而導致php記憶體不夠用.所以,他問,在執行下面的 遍歷返回的my...