分布式程式設計初體驗

2021-07-02 01:40:02 字數 794 閱讀 1382

單機環境下偽分布式集群環境搭建請參考:

本文將介紹第乙個hadoop程式具體怎麼執行。

執行環境為ubuntu14.04+eclipse+hadoop2.2.0。

2.hadoop2.2.0自帶的worldcount在$hadoop_home/share/hadoop/mapreduce/sourceshadoop-mapreduce-examples-2.2.0-sources.jar包中。

3.兩個版本的例子具體**略有不同,將當前版本的**拷貝到eclipse中之後,直接執行會報錯,找不到輸入檔案。此時需要新增兩行**,也是參考文章中特意說明過的地方。不過此處修改如下(標紅的部分):

configuration conf = new configuration();

conf.set("fs.default.name","hdfs://localhost:9000");

string ars=new string;

string otherargs = new genericoptionsparser(conf, ars).getremainingargs();

if (otherargs.length != 2)

此處conf是讀的是hadoop配置檔案,其中fs的位置需要重新顯示指明(參考資料2)。

修改之後即可執行,輸出結果可以通過瀏覽器檢視,位址如下http://localhost:50070/dfshealth.jsp;也可通過eclipse中hdfs檔案系統檢視。

參考資料

[1][2]

socket c s分布式程式設計

socket socket 介面介於應用程式與硬體之間。對 socket 的理解可以簡化為 它是封裝了資料流 stream 的從機器到機器的一條軟接線,通過這條軟接線,並借助於線兩端的收發程式,網路上的機器間實現了資訊的交流與互通。分離在軟線兩端的應用程式 伺服器端程式和客戶端程式 可以通過呼叫 s...

分布式 分布式鎖

本質是利用redis的setnx 方法的特性來加鎖,setnx 即key不存在則設定key,否則直接返回false,要求在分布式系統中使用同乙個redis服務,以下提供兩種解決方案 1 直接使用redistemplate 這其實並不能完全保證高併發下的安全問題,因為可能在鎖過期之後該執行緒尚未執行完...

分布式 分布式事務

是資料庫執行過程中的乙個邏輯單位,由乙個有限的資料庫操作序列構成。事務的acid四大特性 原子性 atomicity 事務作為乙個整體被執行。一致性 consistency 從乙個一致的狀態轉換到另乙個一致的狀態。隔離性 isolation 多個事務併發執行時,併發事務之間互相影響的程度。永續性 d...