配置日誌收集到HDFS和ES

配置日誌收集到hdfs或es

可以用flume或logstash將日誌收集到相應檔案分析系統，如hdfs或elasticsearch

1.採用logstash路由收集的配置

配置檔案 logstash.conf，包含input，output, filter

input

##      stdin {}  #可以從標準輸入讀資料

}output -\d-\d/

}#輸出到stdout

# stdout

#定義訪問資料的使用者名稱和密碼

# user => webservice

# password => 1q2w3e4r

}1.採用logstash,需要安裝hdfs外掛程式:

../bin/logstash-plugin install logstash-output-webhdfs

input

}output」

}webhdfs -%-%.log」 # 按天建立log

codec => 「json」}}

2.採用flume 收集

1）先在flume的conf目錄下建配置檔案

# 定義這個agent中各元件的名字

a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 描述和配置source元件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

agent1.sources.source1.command = tail -f /home/flume/nginx.log

# 描述和配置sink元件：k1

a1.sinks.k1.type = logger
# 描述和配置channel元件，此處使用是記憶體快取的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactioncapacity = 100
# 描述和配置source channel sink之間的連線關係
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

收集到的九種設計模式詳解

常用設計模式收集 1 簡單工廠模式 factory pattern 2 建造者模式 builder pattern 3 策略 strategy 模式 4 工廠方法模式 factory method pattern 5 抽象工廠模式 abstract factory 6 命令模式 command pa...

HBase監控點過濾收集到OpenTSDB

一般而言，常常採取的方法是配置hbase的監控輸出到ganglia，通過其自帶的圖表展示相應監控點。但是存在幾個問題 1 region很多過期的監控資料不會消失，導致很多無用監控點 2 圖表系統渲染太慢，監控點多以後不可接受 3 監控資料儲存無法水平擴充套件，因為是存在本地磁碟檔案 通過調研open...

這樣設計問卷才能收集到高質量的資料

金蝶雲之家使用者研究員 鄭少娜 在使用者研究中，問卷調查是最重要的工作之一。因此，問卷設計就顯得重要。問卷的質量會直接影響到收集的資料質量。在面對問卷設計的時候，我們往往過於輕敵，自以為已經做得很好，其實一些基本原則和注意事項很容易被忽視。問卷調查的好處在於，我們能夠通過來自大樣本的結構化資料，對事...