大資料學習之路53 flume使用示例

2021-08-26 05:15:19 字數 829 閱讀 4672

因為flume是面對各種場景的,所以當我們面對具體場景的時候,我們需要提供一套配置檔案。

告訴他source用哪一種,channel用哪一種,sink用哪一種。我們知道source用哪一種之後還要告訴他檔案在**。

sink也是,比如我們要往hdfs中存,我們要告訴他實現類用hdfs,接著hdfs的實現類需要引數。

配置檔案解析:

1.我們首先需要給flume起乙個名字,我們這裡為agent1.

2.定義三大元件的名稱:

agent1.sources = source1

agent1.sinks = sink1

agent1.channels = channel1

3.配置source元件用來讀乙個目錄下的東西,

spooldir是一種實現類,這是flume內建的一種實現類,只要目錄下有新的東西就會被讀走。

而這種實現類它自己也需要引數,不然它不知道去哪讀,所以spooldir就是需要讀的目錄。

fileheader為是否要加檔案頭,我們暫時用不到。

agent1.sources.source1.type = spooldir

agent1.sources.source1.spooldir = /root/logs/

agent1.sources.source1.fileheader = false

4.配置***,這個source可以帶***,sink也可以帶***,***可以不配,我們先別管這個

agent1.sources.source1.interceptors =

大資料學習之路

大資料的學習之路,一直在到處學習零零閃閃的東西,但是從來麼有對自己學習的東西進行整理,以及後續做過的東西,一直找不到對應的東西,接下來會對自己的學習記錄下來,以及同類問題遇見的得以解決 4v特徵 volume 資料量大,pb級別 velocity 輸入和處理速度快 流式資料 value 價值密度低 ...

大資料學習之路 1

大資料的特點 1.資料 廣 資料格式多樣化 結構化資料 非結構化資料 excel檔案 文字檔案 資料量大 最少是tb級別的,甚至可能是pb級別的 資料增長速度快等 針對以上特點,要考慮的問題 1.資料 廣,如何採集彙總?sqoop,cammel,datax等工具 2.資料採集後,如何儲存?對應出現了...

我的大資料學習之路

2020年是艱難的一年,公司效益不好,每個月到手的工資變少了,從那一刻開始有了危機意識,我的這份工作是傳統行業,在畢業選職業的時候沒有認真對待,一步錯步步錯,現在我開始是從新規劃自己的職業路線,這樣付出了時間和金錢的代價。2021年我的願望是跳到網際網路公司,做大資料相關的工作 同時自己的生活也開始...