hadoop基本用法回顧(api訪問)

2021-09-11 06:18:11 字數 1235 閱讀 6306

今天一開始建立eclipse與虛擬機器訪問時,出現諸多問題,解決後,複習了基本的hadoop檔案操作

/**

* 測試hdfs,開始讀取配置檔案@before

* 關閉,@after

* */

public class testhdfs

@after

public void close() throws exception

/*** 建立目錄

* * */

@test

public void mkdir() throws exception

fs.mkdirs(path);

} /**

* 建立檔案

* * */

@test

public void create() throws exception

/*** 上傳本地檔案到虛擬機器中

* */

@test

public void puttest() throws exception

/*** */

@test

public void gettest()throws exception

public static void main(string args) throws ioexception

/*** 遍歷某個資料夾下所有的檔案

* */

@test

public void listfile() throws exception

} /**

* 獲取到分割塊所在的主機名稱

* */

@test

public void getfileblocklocation() throws exception

} }/**

* 讀取檔案

* 第一步,fsdatainputstream 讀取檔案,讀取到緩衝區

* 第二步,使用outputstream輸出流,把檔案重新整理到檔案裡

* */

@test

public void getfilecontent() throws exception

}/**

* 刪除檔案

* */

@test

public void deletefile() throws exception

}

明天繼續更新hadoop的序列化和檔案結構相關操作

hadoop基本用法回顧

研一時,跟著老師寫完了乙個大資料專案,現在不怎麼寫了,發現很多東西都忘了,還要從網上找資料,從今天起,開始多寫部落格,每天更新一篇作為記錄 今天覆習hadoop的基本用法 配置ubuntu啟動環境說明,本人的hadoop ubuntu虛擬機器已經配置好了 hdfs site.xml,core sit...

hadoop基本用法回顧(MapFile)

mapfile的實現 mapfile是排序後的sequencefile mapfile訪問檔案時,會首先把index載入到記憶體中,然後在根據index快速定位到檔案所在位置,比起sequencefile要快得多。mapfile寫過程 建立configure物件 獲取到filesystem物件 設定...

委託的基本用法(回顧)

using system using system.collections.generic using system.linq using system.text namespace aaa food4 delegate string food food4 delegate string food ...