「驚群」,看看nginx是怎麼解決它的

2021-06-21 23:29:10 字數 4293 閱讀 2465

在說nginx前,先來看看什麼是「驚群」?簡單說來,多執行緒/多程序(linux下執行緒程序也沒多大區別)等待同乙個socket事件,當這個事件發生時,這些執行緒/程序被同時喚醒,就是驚群。可以想見,效率很低下,許多程序被核心重新排程喚醒,同時去響應這乙個事件,當然只有乙個程序能處理事件成功,其他的程序在處理該事件失敗後重新休眠(也有其他選擇)。這種效能浪費現象就是驚群。

驚群通常發生在server 上,當父程序繫結乙個埠監聽socket,然後fork出多個子程序,子程序們開始迴圈處理(比如accept)這個socket。每當使用者發起乙個tcp連線時,多個子程序同時被喚醒,然後其中乙個子程序accept新連線成功,餘者皆失敗,重新休眠。

那麼,我們不能只用乙個程序去accept新連線麼?然後通過訊息佇列等同步方式使其他子程序處理這些新建的連線,這樣驚群不就避免了?沒錯,驚群是避免了,但是效率低下,因為這個程序只能用來accept連線。對多核機器來說,僅有乙個程序去accept,這也是程式設計師在自己創造accept瓶頸。所以,我仍然堅持需要多程序處理accept事件。

其實,在linux2.6核心上,accept系統呼叫已經不存在驚群了(至少我在2.6.18核心版本上已經不存在)。大家可以寫個簡單的程式試下,在父程序中bind,listen,然後fork出子程序,所有的子程序都accept這個監聽控制代碼。這樣,當新連線過來時,大家會發現,僅有乙個子程序返回新建的連線,其他子程序繼續休眠在accept呼叫上,沒有被喚醒。

但是很不幸,通常我們的程式沒那麼簡單,不會願意阻塞在accept呼叫上,我們還有許多其他網路讀寫事件要處理,linux下我們愛用epoll解決非阻塞socket。所以,即使accept呼叫沒有驚群了,我們也還得處理驚群這事,因為epoll有這問題。上面說的測試程式,如果我們在子程序內不是阻塞呼叫accept,而是用epoll_wait,就會發現,新連線過來時,多個子程序都會在epoll_wait後被喚醒!

nginx就是這樣,master程序監聽埠號(例如80),所有的nginx worker程序開始用epoll_wait來處理新事件(linux下),如果不加任何保護,乙個新連線來臨時,會有多個worker程序在epoll_wait後被喚醒,然後發現自己accept失敗。現在,我們可以看看nginx是怎麼處理這個驚群問題了。

nginx的每個worker程序在函式ngx_process_events_and_timers中處理事件,(void) ngx_process_events(cycle, timer, flags);封裝了不同的事件處理機制,在linux上預設就封裝了epoll_wait呼叫。我們來看看ngx_process_events_and_timers為解決驚群做了什麼:

[cpp]view plain

copy

void

ngx_process_events_and_timers(ngx_cycle_t *cycle)  

else

//拿到鎖的話,置flag為ngx_post_events,這意味著ngx_process_events函式中,任何事件都將延後處理,會把accept事件都放到ngx_posted_accept_events鍊錶中,epollin|epollout事件都放到ngx_posted_events鍊錶中

if(ngx_accept_mutex_held)  else

}  }  }  

。。。 。。。  

//linux下,呼叫ngx_epoll_process_events函式開始處理

(void

) ngx_process_events(cycle, timer, flags);  

。。。 。。。  

//如果ngx_posted_accept_events鍊錶有資料,就開始accept建立新連線

if(ngx_posted_accept_events)   

//釋放鎖後再處理下面的epollin epollout請求

if(ngx_accept_mutex_held)   

if(delta)   

ngx_log_debug1(ngx_log_debug_event, cycle->log, 0,  

"posted events %p"

, ngx_posted_events);  

//然後再處理正常的資料讀寫請求。因為這些請求耗時久,所以在ngx_process_events裡ngx_post_events標誌將事件都放入ngx_posted_events鍊錶中,延遲到鎖釋放了再處理。

if(ngx_posted_events)  else

}  }  

從上面的注釋可以看到,無論有多少個nginx worker程序,同一時刻只能有乙個worker程序在自己的epoll中加入監聽的控制代碼。這個處理accept的nginx worker程序置flag為ngx_post_events,這樣它在接下來的ngx_process_events函式(在linux中就是ngx_epoll_process_events函式)中不會立刻處理事件,延後,先處理完所有的accept事件後,釋放鎖,然後再處理正常的讀寫socket事件。我們來看下ngx_epoll_process_events是怎麼做的:

[cpp]view plain

copy

static

ngx_int_t  

ngx_epoll_process_events(ngx_cycle_t *cycle, ngx_msec_t timer, ngx_uint_t flags)  

else

}  wev = c->write;  

if((revents & epollout) && wev->active)  else

}  }  ngx_mutex_unlock(ngx_posted_events_mutex);  

return

ngx_ok;  

}  

看看ngx_use_accept_mutex在何種情況下會被開啟:

[cpp]view plain

copy

if(ccf->master && ccf->worker_processes > 1 && ecf->accept_mutex)  else  

當nginx worker數量大於1時,也就是多個程序可能accept同乙個監聽的控制代碼,這時如果配置檔案中accept_mutex開關開啟了,就將ngx_use_accept_mutex置為1。

再看看有些負載均衡作用的ngx_accept_disabled是怎麼維護的,在ngx_event_accept函式中:

[cpp]view plain

copy

ngx_accept_disabled = ngx_cycle->connection_n / 8  

- ngx_cycle->free_connection_n;  

表明,當已使用的連線數佔到在nginx.conf裡配置的worker_connections總數的7/8以上時,ngx_accept_disabled為正,這時本worker將ngx_accept_disabled減1,而且本次不再處理新連線。

最後,我們看下ngx_trylock_accept_mutex函式是怎麼玩的:

[cpp]view plain

copy

ngx_int_t  

ngx_trylock_accept_mutex(ngx_cycle_t *cycle)  

//ngx_accept_mutex_held置為1,表示拿到鎖了,返回

ngx_accept_events = 0;  

ngx_accept_mutex_held = 1;  

return

ngx_ok;  

}  //處理沒有拿到鎖的邏輯,ngx_disable_accept_events會把監聽控制代碼從epoll中取出

if(ngx_accept_mutex_held)   

ngx_accept_mutex_held = 0;  

}  return

ngx_ok;  

}                                

ok,關於鎖的細節是如何實現的,這篇限於篇幅就不說了,下篇帖子再來講。現在大家清楚nginx是怎麼處理驚群了吧?簡單了說,就是同一時刻只允許乙個nginx worker在自己的epoll中處理監聽控制代碼。它的負載均衡也很簡單,當達到最大connection的7/8時,本worker不會去試圖拿accept鎖,也不會去處理新連線,這樣其他nginx worker程序就更有機會去處理監聽控制代碼,建立新連線了。而且,由於timeout的設定,使得沒有拿到鎖的worker程序,去拿鎖的頻繁更高。

「驚群」,看看nginx是怎麼解決它的

在說nginx前,先來看看什麼是 驚群 簡單說來,多執行緒 多程序 linux下執行緒程序也沒多大區別 等待同乙個socket事件,當這個事件發生時,這些執行緒 程序被同時喚醒,就是驚群。可以想見,效率很低下,許多程序被核心重新排程喚醒,同時去響應這乙個事件,當然只有乙個程序能處理事件成功,其他的程...

「驚群」,看看nginx是怎麼解決它的

在說nginx前,先來看看什麼是 驚群 簡單說來,多執行緒 多程序 linux下執行緒程序也沒多大區別 等待同乙個socket事件,當這個事件發生時,這些執行緒 程序被同時喚醒,就是驚群。可以想見,效率很低下,許多程序被核心重新排程喚醒,同時去響應這乙個事件,當然只有乙個程序能處理事件成功,其他的程...

詳解nginx驚群問題的解決方式

對於nginx的驚群問題,我們首先需要理解的是,在nginx啟動過程中,master程序會監聽配置檔案中指定的各個埠,然後master程序就會呼叫fork 方法建立各個子程序,根據程序的工作原理,子程序是會繼承父程序的全部記憶體資料以及監聽的埠的,也就是說worker程序在啟動之後也是會監聽各個埠的...