Hadoop 之 實驗一(過濾 合併檔案)

2021-08-05 20:48:13 字數 1873 閱讀 2551

① 從該目錄中過濾出所有字尾名不為」.abc」的檔案

② 對過濾之後的檔案進行讀取

③ 將這些檔案的內容合併到檔案」hdfs://localhost:9000/user/hadoop/merge.txt」

重要:配置1 ,配置2

因為凡凡使用virtualbox虛擬機器,本地想訪問虛擬機器中ubuntu。

(1)配置

(2)在ubuntu中啟動shell,輸入:ifconfig

(3)最後訪問

org.apache.hadoop.fs.pathfilter accept(path path)對path指代的檔案進行過濾

filesystem.liststatus(path path, pathfilter filer)方法獲得目錄path中所有檔案經過過濾器後的狀態物件陣列。

filesystem.open(path path)獲得與路徑path相關的fsdatainputstream物件,並利用該物件讀取檔案的內容。

filesystem.create(path path)方法獲得與路徑path相關的fsdataoutputstream物件,並利用該物件將位元組陣列輸出到位元組。

filesystem.get(uri uri, configuration conf)根據資源表示符uri和檔案系統配置資訊conf獲得對應的檔案系統。

首先:提醒

(1) fssource.open( sta.getpath() ), 如果不是檔案,而是資料夾,則會報錯

(2)可以物件導向,面向介面開發

更改①,只過濾 .abc 字尾的
class mypathfilter implements pathfilter 

public boolean accept(path path)

return

false;

}}public

class merge

public

void

domerge() throws ioexception

system.out.println("next ");

fsdatainputstream fsdis = fssource.open(sta.getpath());

byte data = new

byte[1024];

int read = -1;

printstream ps = new printstream(system.out);

while ((read = fsdis.read(data)) > 0)

fsdis.close();

ps.close();

}fsdos.close();

}public

static

void

main(string args) throws ioexception

}

這裡寫**片

Java Web高階特性之(一)過濾器

過濾器是乙個伺服器端的元件,它可以擷取使用者端的請求與響應資訊,並對這些資訊過濾。request 使用者直接訪問頁面時,web容器將會呼叫過濾器 error 目標資源是通過宣告式異常處理機制呼叫時,過濾器將被呼叫 forward 目標資源是通過requestdispatcher的forward方法呼...

管道一過濾器架構個人經驗

在管道 過濾器架構模式中,每個構件都有一組輸入,輸出,構件讀取輸入的資料流,經過內部處理後,產生輸出資料流,該過程主要完成輸入流的變換及增量計算。這裡的構件就是過濾器,而連線過濾器的就是管道,這個管道將上乙個過濾器處理的結果資料流傳送到下乙個過濾器,在進行其他的計算。簡單來說,管道 過濾器模式結構就...

C語言系列之實驗樓筆記(一)

建立c程式的幾個過程 2 編譯 編譯器可以將源 轉成機器語言。linux 這些副檔名.o 4 執行 執行程式 開啟xfce終端 cd desktop cd命令是切換。cd desktop 切換至目錄桌面 touch 1 1.c 建立乙個1 1.c檔案 gedit 1 1.c 使用gedit編輯器將1...