Spark2 1 0 深入淺出度量系統

2021-08-28 19:20:18 字數 958 閱讀 8324

對於乙個系統而言,首先考慮要滿足一些業務場景,並實現功能。隨著系統功能越來越多,**量級越來越高,系統的可維護性、可測試性、效能都會成為新的挑戰,這時監控功能就變得越來越重要了。在國內,絕大多數it公司的專案都以業務為導向,以完成功能為目標,這些專案在立項、設計、開發、上線的各個階段,很少有人會考慮到監控的問題。在國內,開發人員能夠認真的在**段落中列印日誌,就已經屬於最優秀的程式設計師了。然而,在國外的很多專案則不會這樣,看看久負盛名的hadoop的監控系統就可見一斑,尤其是在facebook,更是把功能、日誌以及監控列為同等重要,作為乙個合格工程師的三駕馬車。

spark作為優秀的開源系統,在監控方面也有自己的一整套體系。乙個系統有了監控功能後將收穫諸多益處,如可測試性、效能優化、運維評估、資料統計等。spark的度量系統使用codahale提供的第三方度量倉庫metrics,本節將著重介紹spark基於metrics構建度量系統的原理與實現。對於metrics感興趣的讀者,可以參考閱讀《附錄d metrics簡介》中的內容。

spark的度量系統中有三個概念:

sink:指定了往**輸出度量資料,即度量資料的輸出。spark中使用metricsservlet作為預設的sink,此外還提供了consolesink、csvsink、jmxsink、metricsservlet、graphitesink等實現。

為了更加直觀的表現上述概念,我們以圖1來表示spark中度量系統的工作流程。

今後將繼續提供博文對以下內容進行詳細介紹:

source繼承體系

sink繼承體系

經過近一年的準備,《spark核心設計的藝術 架構設計與實現》一書現已出版發行,圖書如圖:

京東:

深入淺出sizeof

int佔 位元組,short佔 位元組 1.0 回答下列問題 答案在文章末尾 1.sizeof char 2.sizeof a 3.sizeof a 4.strlen a 如果你答對了全部四道題,那麼你可以不用細看下面關於sizeof的論述。如果你答錯了部分題目,那麼就跟著我來一起 關於sizeof...

深入淺出ShellExecute

ipconfig c log.txt應如何處理?二樓的朋友,開啟拔號網路這樣 shellexecute null,open c windows rundll32.exe shell32.dll,control rundll c windows system telephon.cpl null,sw ...

深入淺出ShellExecute

深入淺出shellexecute譯者 徐景周 原作 nishant s q 如何開啟乙個應用程式?shellexecute this m hwnd,open calc.exe sw show 或shellexecute this m hwnd,open notepad.exe c mylog.log...