flume 參考文件 四

2021-06-20 02:12:02 字數 1882 閱讀 4415

flume sinks

1、flume』s collector tier event sinks

collectorsink( "fsdir","fsfileprefix",rollmillis)

collectorsink,資料通過collector匯聚之後傳送到hdfs, fsdir 是hdfs目錄,fsfileprefix為檔案字首碼

2、flume』s agent tier event sinks

agentsink[("machine"[,port])]

defaults to agente2esink,如果省略,machine引數,預設使用flume.collector.event.host與flume.collector.event.port作為預設collecotr(以下同此)

agente2esink[("machine"[,port])]

執著的agent,如果agent傳送event沒有收到collector成功寫入的狀態碼,該event將被agent重**送,直到接到成功寫入的狀態碼

agentdfosink[("machine" [,port])]

本地熱備agent,agent發現collector節點故障後,不斷檢查collector的存活狀態以便重新傳送event,在此間產生的資料將快取到本地磁碟中

agentbesink[("machine"[,port])]

不負責的agent,如果collector故障,將不做任何處理,它傳送的資料也將被直接丟棄

agente2echain("m1[:_p1_]" [,"m2[:_p2_]"[,…]])

指定多個collector提高可用性。 當向主collector傳送event失效後,轉向第二個collector傳送,當所有的collector失敗後,它會非常執著的再來一遍...

agentdfochain("m1[:_p1_]"[, "m2[:_p2_]"[,…]])

同上,當向所有的collector傳送事件失效後,他會將event快取到本地磁碟,並檢查collector狀態,嘗試重新傳送

agentbechain("m1[:_p1_]"[, "m2[:_p2_]"[,…]])

同上,當向所有的collector傳送事件失效後,他會將event丟棄

autoe2echain

無需指定collector, 由master協調管理event的流向

autodfochain

同上autobechain同上

3、flume』s logical sinks

logicalsink("logicalnode")

4、flume』s basic sinks

在不使用collector收集event的情況下,可將source直接發向basic sinks

null

null

console[("formatter")]

**到控制台

text("txtfile" [,"formatter"])

**到文字檔案

seqfile("filename")

**到seqfile

dfs("hdfspath")

**到hdfs

customdfs("hdfspath"[, "format"])

自定義格式dfs

+escapedcustomdfs("hdfspath", "file", "format")

rpcsink("host"[, port])

rpc框架

syslogtcp("host"[,port])

發向網路位址

irc("host",port, "nick", "chan")

Debug參考文件

本來想自己整理一下linux除錯過程中常用的有哪一些的除錯工具,無意中發現了乙個 類似於開源書籍。中已經對於常用的一些除錯命令,做了很好的總結。這些命令主要包括 ps,top,vmstat,iostat,strace,free等,還包含了一些其它的常規命令 gdb,ldd,nm,lsof,reade...

ALV GRID參考文件 III

建立field catalog下面的步驟便是如何填充field catalog內錶。上面介紹了field catalog的行型別的各個字段。為了正確的填充每一列的field catalog 的字段,下面的這幾個字段必須被填充。output table fields with ddic referen...

ASP UrlRewrite 使用參考文件

注意 使用urlrewrite 不能開啟 自定義 404錯誤,否則 urlrewrite將無法正常工作 isapi rewrite利用正規表示式進行替換規則的表示。您需要在您 根目錄 建立乙個 httpd.ini 的配置檔案,裡面有urlrewrite配置資訊.以下是httpd.ini 的內容 ht...