Hadoop概念學習系列之URI深入(三十二)

2022-04-11 09:38:08 字數 722 閱讀 2039

不多說,直接上乾貨!

ls  /   ------------------------  這是查本地linux上的根

hadoop fs -ls /   ------------- 這是查hdfs上的根

或者,   hadoop fs -ls hdfs://localhost:9000/  ------------------  這是查hdfs上的根

即。hdfs://localhost:9000是可以省略的。

通過瀏覽器,可以看到hdfs檔案系統。

hadoop dfs是舊版本的。

hadoop fs這是hadoop2.2.*新出的。

詳情請見:p/7473861.html

對應本平台的討論和答疑qq群:大資料和人工智慧躺過的坑(總群)(161156071)

Hadoop概念學習系列之談談RPC(三十三)

不多說,直接上乾貨!rpc 遠端過程呼叫協議,它是一種通過網路從遠端電腦程式上請求服務,而不需要了解底層網路技術的協議。rpc協議假定某些傳輸協議的存在,如tcp或udp,為通訊程式之間攜帶資訊資料。在osi網路通訊模型中,rpc跨越了傳輸層和應用層。rpc使得開發包括網路分布式多程式在內的應用程式...

Beam概念學習系列之PTransform資料處理

不多說,直接上乾貨!ptransform資料處理 ptransform對pcollection進行並行處理,每次處理1條,例如filter過濾 groupby分組 combine統計 join關聯等等,還允許根據業務邏輯編寫pardo。apache beam借鑑了函式式程式設計的不可變性,ptran...

Storm概念學習系列之storm的功能和三大應用

不多說,直接上乾貨!storm的功能 下面介紹storm 的三大主要應用 1 流處理 stream processing storm 可用來實時處理新資料和更新資料庫,兼具容錯性和可擴充套件性,即 storm 可以用來處理源源不斷流進來的訊息,處理之後將結果寫入某個儲存中。2 持續計算 contin...