監視資料夾
啟動命令：
bin/flume-ng agent -c ./conf -f ./conf/spool-hdfs.conf -n a1 -dflume.root.logger=info,console
測試： 往/home/hadoop/flumespool放檔案（mv ././***file /home/hadoop/flumespool），但是不要在裡面生成檔案
a1.sources = r1
a1.sinks = k1
a1.channels = c1
##注意：不能往監控目中重複丟同名檔案
a1.sources.r1.type = spooldir (cdh) /exec(cdh) /taildir(apache1.7版本之後,監控檔案和目錄,斷點續查)
a1.sources.r1.spooldir = /root/logs2 //監控的資料夾
a1.sources.r1.fileheader = true
a1.sinks.k1.type = hdfs
a1.sinks.k1.channel = c1
a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%h%m/ //上傳hdfs的路徑
a1.sinks.k1.hdfs.fileprefix = events- //加個字首
a1.sinks.k1.hdfs.round = true //是符開啟時間上的捨棄
a1.sinks.k1.hdfs.roundvalue = 10 //10分鐘資料滾動,10分鐘建立乙個資料夾
a1.sinks.k1.hdfs.roundunit = minute
a1.sinks.k1.hdfs.rollinterval = 0 //以間隔時間滾動
a1.sinks.k1.hdfs.rollsize = 134217728 //以檔案大小滾動 byte
a1.sinks.k1.hdfs.rollcount = 0 //以event的個數滾動
a1.sinks.k1.hdfs.idletimeout= 0 //超時時間設定
a1.sinks.k1.hdfs.batchsize = 1 //1批次寫幾個
a1.sinks.k1.hdfs.uselocaltimestamp = true //開啟本地時間戳功能
#生成的檔案型別，預設是sequencefile，可用datastream，則為普通文字
Nginx中conf相關配置的簡要說明
設定執行使用者 user nobody worker processes 1 error log logs error.log error log logs error.log notice error log logs error.log info epoll是多路復用io i o multipl...
nginx 初級conf配置詳解
詳解 配置檔案 主配置檔案 etc nginx nginx.conf yum安裝為例 主要三個模組 全域性塊 events塊 http塊 log format log format格式變數 remote user 遠端客戶端使用者名稱 time local 記錄訪問時間與時區 request 使用者...
logstash 配置多個conf和配置增量更新
參考 logstash可以配置多個pipeline，每乙個pipeline設定不同的引數，包括讀取的conf 也可以配置乙個pipeline,讀取多個conf，其讀取多個conf，實際上是把它們合併一起，所以，conf裡面需要寫上type，通過type來判斷寫入那個索引。logstash.yml的配...