hadoop 上執行java程式

2021-06-11 09:05:19 字數 608 閱讀 8927

1、借助eclipse

在eclipse下面搭建hadoop開發環境的相關問題及其解決詳見

有乙個問題是:好像通過eclipse提交的程式並沒有在集群上執行,而是在本機上執行了。

2、在命令下執行

首先需要將程式打成jar包,我用的eclipse寫程式,也就用eclipse打包了,如果工程中包含第三方的jar包,可以用乙個外掛程式

fat jar eclipse plug-in

手動打入第三方jar包參考:

用scp命令將打好的jar包以及輸入檔案上傳到主節點。

用hadoop的dfs命令將輸入檔案上傳到hdfs:

$ hadoop dfs -copyfromlocal localfilepath hdfspath

用hadoop的jar命令執行任務:

$ hadoop jar ***.jar ***.***.***.mainclassname inputpath outputpath

其中指定主類時,需要把其包路徑也指出來

注意:./hadoop  jar  /路徑/***x.jar   mainclassname inputpath outputpath

不要忘了制定main函式所在類名。

Java程式執行順序

1 靜態塊 父類靜態塊 子類靜態塊 2 父類塊 父類構造器 3 子類塊 子類構造器 也就是 靜態塊優於其他 塊和構造器,然後是父類中的 塊和者構造器 最後才是子類中的 塊和者構造器。public class mastiff extends dog 方法塊 構造器 public mastiff pub...

雲上執行 Hadoop 會面臨哪些挑戰

在雲上執行hadoop,很多人擔心效能。因為一提到虛擬化就會有人想到有成本,往往得出有偏見的結論 在雲上執行肯定比物理機器上執行效能差。如果單獨把10臺物理機虛擬化跑hadoop,這肯定是有部分效能的開銷的。但是如果在公共雲上,情況就不是這樣了。因為公共雲虛擬化的開銷最終是由平台方來承擔的,其一是平...

Java程式的執行過程

what will be printed when you execute the following code?classc classa a string s classtestextendsa publicstaticvoidmain string args 以上是乙個案列。開始的時候,我以為...