常見負載均衡演算法

2021-08-24 18:00:24 字數 4189 閱讀 8399

隨著系統日益龐大、邏輯業務越來越複雜,系統架構由原來的單一系統到垂直系統,發展到現在的分布式系統。分布式系統中,可以做到公共業務模組的高可用,高容錯性,高擴充套件性,然而,當系統越來越複雜時,需要考慮的東西自然也越來越多,要求也越來越高,比如服務路由、負載均衡等。此文將針對負載均衡演算法進行講解,不涉及具體的實現。

在分布式系統中,多台伺服器同時提供乙個服務,並統一到服務配置中心進行管理,如圖1-1。消費者通過查詢服務配置中心,獲取到服務到位址列表,需要選取其中一台來發起rpc遠端呼叫。如何選擇,則取決於具體的負載均衡演算法,對應於不同的場景,選擇的負載均衡演算法也不盡相同。負載均衡演算法的種類有很多種,常見的負載均衡演算法包括輪詢法、隨機法、源位址雜湊法、加權輪詢法、加權隨機法、最小連線法等,應根據具體的使用場景選取對應的演算法。

圖1-1

1、輪詢(round robin)法

輪詢很容易實現,將請求按順序輪流分配到後台伺服器上,均衡的對待每一台伺服器,而不關心伺服器實際的連線數和當前的系統負載。

這裡通過例項化乙個serviceweightmap的map變數來伺服器位址和權重的對映,以此來模擬輪詢演算法的實現,其中設定的權重值在以後的加權演算法中會使用到,這裡先不做過多介紹,該變數初始化如下:

privatestaticmapserviceweightmap =newhashmap();

static

通過該位址列表,實現的輪詢演算法的部分關鍵**如下

privatestaticinteger pos =0;

publicstaticstring testroundrobin()

server = keylist.get(pos);

pos++;

}

returnserver;

}

由於serviceweightmap中的位址列表是動態的,隨時可能由機器上線、下線或者宕機,因此,為了避免可能出現的併發問題,比如陣列越界,通過在方法內新建區域性變數servermap,先將域變數拷貝到執行緒本地,避免被其他執行緒修改。這樣可能會引入新的問題,當被拷貝之後,serviceweightmap的修改將無法被servermap感知,也就是說,在這一輪的選擇伺服器中,新增伺服器或者下線伺服器,負載均衡演算法中將無法獲知。新增比較好處理,而當伺服器下線或者宕機時,服務消費者將有可能訪問不到不存在的位址。因此,在服務消費者服務端需要考慮該問題,並且進行相應的容錯處理,比如重新發起一次呼叫。 

對於當前輪詢的位置變數pos,為了保證伺服器選擇的順序性,需要對其在操作時加上synchronized鎖,使得同一時刻只有乙個執行緒能夠修改pos的值,否則當pos變數被併發修改,將無法保證伺服器選擇的順序性,甚至有可能導致keylist陣列越界。

使用輪詢策略的目的是,希望做到請求轉移的絕對均衡,但付出的代價效能也是相當大的。為了保證pos變數的併發互斥,引入了重量級悲觀鎖synchronized,將會導致該輪詢**的併發吞吐量明顯下降。

2、隨機法

通過系統隨機函式,根據後台伺服器列表的大小值來隨機選取其中一台進行訪問。由概率概率統計理論可以得知,隨著呼叫量的增大,其實際效果越來越接近於平均分配流量到後台的每一台伺服器,也就是輪詢法的效果。

隨機演算法的部分關鍵**如下:

publicstaticstring testrandom()

跟前面類似,為了避免併發的問題,需要將serviceweightmap拷貝到servermap中。通過random的nextint函式,取到0~keylist.size之間的隨機值, 從而從伺服器列表中隨機取到一台伺服器的位址,進行返回。根據概率統計理論,吞吐量越大,隨機演算法的效果越接近於輪詢演算法的效果。

3、源位址雜湊法 

源位址雜湊法的思想是根據服務消費者請求客戶端的ip位址,通過雜湊函式計算得到乙個雜湊值,將此雜湊值和伺服器列表的大小進行取模運算,得到的結果便是要訪問的伺服器位址的序號。採用源位址雜湊法進行負載均衡,相同的ip客戶端,如果伺服器列表不變,將對映到同乙個後台伺服器進行訪問。

publicstaticstring testconsumerhash(string remoteip)

4、加權輪詢(weight round robin)法

不同的後台伺服器可能機器的配置和當前系統的負載並不相同,因此它們的抗壓能力也不一樣。跟配置高、負載低的機器分配更高的權重,使其能處理更多的請求,而配置低、負載高的機器,則給其分配較低的權重,降低其系統負載,加權輪詢很好的處理了這一問題,並將請求按照順序且根據權重分配給後端。

加權輪詢法部分關鍵**如下:

publicstaticstring testweightroundrobin()

}

string server =null;

synchronized (pos)

server = serverlist.get(pos);

pos++;

}

returnserver;

}

與輪詢演算法類似,只是在獲取伺服器位址之前增加了一段權重計算**,根據權重的大小,將位址重複增加到伺服器位址列表中,權重越大,該伺服器每輪所獲得的請求數量越多。

5、加權隨機(weight random)法

加權隨機法跟加權輪詢法類似,根據後台伺服器不同的配置和負載情況,配置不同的權重。不同的是,它是按照權重來隨機選取伺服器的,而非順序。

部分關鍵**如下:

publicstaticstring testweightrandom()

}

random random =newrandom();

intrandompos = random.nextint(serverlist.size());

string server = serverlist.get(randompos);

returnserver;

}

6、最小連線數法

前面我們費盡心思來實現服務消費者請求次數分配的均衡,我們知道這樣做是沒錯的,可以為後端的多台伺服器平均分配工作量,最大程度地提高伺服器的利用率,但是,實際上,請求次數的均衡並不代表負載的均衡。因此我們需要介紹最小連線數法,最小連線數法比較靈活和智慧型,由於後台伺服器的配置不盡相同,對請求的處理有快有慢,它正是根據後端伺服器當前的連線情況,動態的選取其中當前積壓連線數最少的一台伺服器來處理當前請求,盡可能的提高後台伺服器利用率,將負載合理的分流到每一台伺服器。

常見負載均衡演算法

輪詢很容易實現,將請求按順序輪流分配到後台伺服器上,均衡的對待每一台伺服器,而不關心伺服器實際的連線數和當前的系統負載。這裡通過例項化乙個serviceweightmap的map變數來伺服器位址和權重的對映,以此來模擬輪詢演算法的實現,其中設定的權重值在以後的加權演算法中會使用到,這裡先不做過多介紹...

常見負載均衡演算法

輪詢法是負載均衡中最常用的演算法,它容易理解也容易實現。輪詢法是指負載均衡伺服器 load balancer 將客戶端請求按順序輪流分配到後端伺服器上,以達到負載均衡的目的。假設現在有6個客戶端請求,2台後端伺服器。當第乙個請求到達負載均衡伺服器時,負載均衡伺服器會將這個請求分派到後端伺服器1 當第...

常見負載均衡演算法

思路 獲取隨機數,隨機數不大於服務集合的容量,將該隨機數當作下標,獲取ip 服務ip集合 private static list serverips arrays.aslist a b c d e public static string random 思路 建立乙個新的list,將含有權重值得ip...