Hadoop概念學習系列之談談RPC(三十三)

2022-04-11 09:38:08 字數 985 閱讀 6814

不多說,直接上乾貨!

rpc-------->遠端過程呼叫協議,它是一種通過網路從遠端電腦程式上請求服務,而不需要了解底層網路技術的協議。rpc協議假定某些傳輸協議的存在,如tcp或udp,為通訊程式之間攜帶資訊資料。在osi網路通訊模型中,rpc跨越了傳輸層和應用層。rpc使得開發包括網路分布式多程式在內的應用程式更加容易。

rcp採用客戶機/伺服器模式。請求程式就是乙個客戶機,而服務提供程式就是乙個伺服器。首先,客戶機呼叫程序傳送乙個有程序引數的呼叫資訊到服務程序,然後等待應答資訊。在伺服器端,程序保持睡眠狀態直到呼叫資訊的到達為止。當乙個呼叫資訊到達,伺服器獲得程序引數,計算結果,傳送答覆資訊,然後等待下乙個呼叫資訊,最後,客戶端呼叫程序接收答覆資訊,獲得程序結果,然後呼叫執行繼續進行。

hadoop的整個體系結構就是構建在rpc之上的。見org.apache.hadoop.ipc。

現在呢,在基於hadoop來實現。hadoop對rpc提供了支援,肯定是有工具類。

namenode與datanode、client與datanode、client與namenode都是走的rpc來進行通訊。

詳情請見:p/7473861.html

對應本平台的討論和答疑qq群:大資料和人工智慧躺過的坑(總群)(161156071)

Hadoop概念學習系列之URI深入(三十二)

不多說,直接上乾貨!ls 這是查本地linux上的根 hadoop fs ls 這是查hdfs上的根 或者,hadoop fs ls hdfs localhost 9000 這是查hdfs上的根 即。hdfs localhost 9000是可以省略的。通過瀏覽器,可以看到hdfs檔案系統。hadoo...

Beam概念學習系列之PTransform資料處理

不多說,直接上乾貨!ptransform資料處理 ptransform對pcollection進行並行處理,每次處理1條,例如filter過濾 groupby分組 combine統計 join關聯等等,還允許根據業務邏輯編寫pardo。apache beam借鑑了函式式程式設計的不可變性,ptran...

Hadoop概念學習系列之分布式檔案系統(三十)

不多說,直接上乾貨!常見的分布式檔案系統有,gfs hdfs lustre ceph gridfs mogilefs tfs fastdfs等。各自適用於不同的領域。它們都不是系統級的分布式檔案系統,而是應用級的分布式檔案儲存服務。google學術 這是眾多分布式檔案系統的起源 google fil...