Flume之 File型別的Channel

2021-10-05 17:47:17 字數 1090 閱讀 1100

允許所有的資料儲存在硬碟中。

好處:資料永遠不丟失。

壞處:因為使用磁碟的儲存方式會頻繁的發生磁碟i/o,所以會極大的降低flume的吞吐量。

配置項說明

type

file

datadirs

資料存放的目錄,可以使用多個,多目錄之間使用逗號分割即可。

1.在job 檔案下建立新檔案file.template.conf並且配置如下資訊:

a1.sources=r1

a1.channels=c1

a1.channels=c1

a1.sinks=s1

# 配置a1的source

a1.sources.r1.type=netcat

a1.sources.r1.bind=0.0.0.0

a1.sources.r1.port=5555

# 配置a1的sink

a1.sinks.s1.type=logger

# 配置a1的channel

a1.channels.c1.type=file

a1.channels.c1.datadirs=/home/data/filechannel

# 繫結

a1.sources.r1.channels=c1

a1.sinks.s1.channel=c1

/home/data/filechannel此目錄不必優先建立,會自動建立

2. 啟動flume:

測試結果

Flume之Source的Exec型別

編寫配置檔案 配置agent a1的元件 a1.sources source1 a1.channels channel1 a1.sinks sink1 描述 配置a1的source1 a1.sources.source1.type exec 具體執行的命令 描述 配置a1的channel1 a1.c...

file 探測給定檔案的型別

file命令用來探測給定檔案的型別。file命令對檔案的檢查分為檔案系統 魔法幻數檢查和語言檢查3個過程。file 選項 引數 b 列出辨識結果時,不顯示檔名稱 c 詳細顯示指令執行過程,便於排錯或分析程式執行的情形 f 名稱檔案 指定名稱檔案,其內容有乙個或多個檔名稱時,讓file依序辨識這些檔案...

Java之File類的學習

file類 表示檔案或者目錄的路徑的抽象表現形式.public file string pathname 表示pathname的抽象路徑表現的形式 開發中使用這種方式 public file string parent,string child 根據 parent 路徑名字串和 child 路徑名字...