摘要：本文將針對gaussdb(dws)內排程器的底層運作原理進行簡單說明，並針對排程模式擴容重分布進行介紹。隨著gaussdb(dws)的快速發展，gaussdb(dws)目前整合了眾多運維操作，其中大部分運維操作均需占用使用者資源，如io、mem、cpu、網路、磁碟空間等，且無法依據使用者業務負載，自動調整運維負載，因此，如何協調不同運維操作與使用者業務之間的資源分配，成為了關鍵問題。
為解決這個問題，gaussdb(dws)內設計並實現了運維任務排程器，下圖描述了運維任務排程器的基本工作原理。
排程器分為客戶端和服務端，通過grpc實現通訊，排程器客戶端的功能在此不做詳細說明，可參考另一篇博文
排程器服務端是整個排程器的核心，主要包括幾個核心模組，排程模組、業務模組、動態排程模組、靜態排程模組、資料持久化模組和負載資訊採集模組，其中業務模組包括業務分析模組和業務執行模組。
隨著gaussdb(dws)使用者資料的不斷增長，使用者原有的集群規模，無論從儲存容量還是算力，均已經無法滿足使用者日益增長的業務需求，為提公升使用者體驗，gaussdb(dws)對外提供了集群擴容方案，該方案中包括以下幾個步驟：
集群下發：使用者購買新機器，此時下發後的新節點處於裸機狀態，還無法使用；
構建新節點：對下發後的裸機進行初始化，加入到集群中，此時新節點已經加入到集群中，但是使用者資料還未搬遷到新節點中，資料處於不均衡狀態，新集群的算力還未達標；
資料重分布：進行資料搬遷，將資料從老集群重分布到新集群中，算力提公升。
在上述三個步驟中，可能會對使用者業務產生影響：
集群下發不會對使用者業務產生影響
構建新節點包含兩種模式，一種模式為read-only模式，該模式下使用者業務必須離線，阻塞使用者業務，另外一種模式為insert模式，該模式下使用者業務受阻程度較小，阻塞時間為分鐘級。通常情況下，構建新節點的時間與使用者資料量、使用者新增節點數量和cn數量相關，通常為小時級。
資料重分布也包含兩種模式，read-only模式和insert模式，與構建新節點不同的是，資料重分布時間較長，通常為小時級至天級，具體需要依據使用者表資料規模、磁碟型別進行估計。
綜上，構建新節點和資料重分布可能會對使用者業務造成一定影響，為減少對使用者業務的影響，通常使用者會選擇業務低峰期進行擴容，然而，使用者業務低峰期有可能是不連續的，例如說，使用者業務低峰期為每天的00:00:00至05:00:00，而資料重分布時長總長為12小時，也就是說使用者擴容可能會持續三天，每天只有5小時的擴容時間。為實現該目標，gaussdb(dws)提供了分段擴容方案，雖然目前分段擴容方案已經逐步成熟，在多個局點取得了良好的效果，獲得了使用者的好評，但現階段分段擴容方案依然面臨著人力成本投入過高的問題。在分段擴容方案實施過程中，運維人員需要在使用者業務低峰期，手動在後台通過命令列執行資料重分布，在使用者低峰期時間窗結束時，再手動暫停重分布。
為了解決人力成本投入過高的問題，gaussdb(dws)利用排程器（功能，實現了智慧型擴容方案。相比於已有的擴容方案，排程模式擴容具備以下特點：
排程模式重分布在已有擴容方案的基礎上，依據現網擴容實時方案的反饋結果進行改進，主要針對人力成本、易用性進行改善，未來會成為gaussdb(dws)主流擴容實施方案。
點選關注，第一時間了解華為雲新鮮技術~
一文帶你了解可重入鎖
可重入鎖就是乙個執行緒給某個資源上了鎖之後，在不釋放鎖的情況下，繼續對該資源進行上鎖。那麼可重入鎖有什麼好處呢？可重入鎖降低了程式設計的複雜性 減少了死鎖的發生 舉個栗子 public class myreentrant if index 10 start 可重入鎖有兩種實現，分別是synchron...
一文帶你了解兩種Transformer文字識別方法
由 堅強是說給別人聽的謊言 提交於 2020 11 27 12 47 35 摘要 受transformer模型的啟發，目前一些學者將該結構應用到文字行識別中，以替代rnn，取得了良好的效果，如在hga str和 srn。當前的文字行識別器為擁有更強的序列語義能力，模型多採用cnn rnn的結構，如目...
一文帶你了解億級流量外賣平台 數倉分層架構
二.分層架構 在閱讀本文之前，我們先來了解幾個基本的概念。資料倉儲 data warehouse 簡稱dw或dwh，是資料庫的一種概念上的公升級，可以說是為滿足新需求設計的一種新資料庫，而這個資料庫是需容納更多的資料，更加龐大的資料集。資料倉儲主要是用於資料探勘和資料分析，讓不同 的資料能夠聯絡在一...