簡介：logstash是一款輕量級的日誌蒐集處理框架，它支援動態的從各種資料來源蒐集資料，並對資料進行過濾、分析、豐富、統一格式等操作，並按照開發者制定的規範傳輸到指定的位置。官網介紹，**並茂
小貼士：logstash 依賴 jdk1.8 ，因此在安裝之前請確保機器已經安裝和配置好 jdk1.8。logstash 通過管道進行運作，管道有兩個必需的元素，輸入和輸出，還有可選的元素，過濾器、編解碼器。架構圖如下：
小貼士：batcher負責批量的從queue中取資料下面通過導圖，對logstash的組成結構進行全域性了解。
通過命令列，進入到logstash/bin目錄，執行下面的命令：
bin/logstash -e 'input}output}'小貼士：每個 logstash 過濾外掛程式，都會有四個方法叫 add_tag, remove_tag, add_field 和 remove_field。它們在外掛程式過濾匹配成功時生效。logstash 後可以加：
-f：指定配置檔案或目錄，根據配置檔案配置logstash。
-e：字串，配置，預設「」stdin輸入、stdout輸出（在控制台輸入、輸出），可通過命令列接受設定。
-l：輸出位址，預設控制台輸出。
-t：測試 logstash 讀取到的配置檔案語法是否能正常解析。
# 輸入
input
# 過濾器
filter
# 輸出
output
結合著大佬的部落格，總結了乙個配置檔案出來
input # 增加乙個字段
type => "apache-log" # type欄位，可表明匯入的日誌型別
# 使用 multiline 外掛程式，傳說中的多行合併
codec => multiline
}file
} #可配置多種處理規則，他是有順序，所以通用的配置寫下面
filter % % % %" }
}date
}output "
document_id=>"ignore"
template=>"/opt/logstash-conf/es-template.json" # 模板檔案的路徑
template_name=>"es-template.json" # 在es內部模板的名字
template_overwrite=>true #
protocol => "http" #目前支援三種協議 node、http 和tranaport }}
bin/logstash -f /path_to_config_directory 即-f後面加上配置檔案目錄字段引用(field reference)
如果你想在 logstash 配置中使用欄位的值，只需要把字段的名字寫在中括號 裡就行了，這就叫字段引用。
小貼士：logstash 的陣列也支援倒序下標，即 [geoip][location][-1] 可以獲取陣列最後乙個元素的值。logstash 還支援變數內插，在字串裡使用字段引用的方法是這樣：
"the longitude is %"資料收集引擎 Logstash 簡介
cd usr local src wget 解壓到指定安裝目錄 tar zxvf logstash 7.5.0.tar.gz c usr local logstash 按需修改配置檔案 vim usr local logstash config logstash.yml 設定名稱 node.name...
資料處理 流資料處理利器
流處理 stream processing 是一種計算機程式設計正規化，其允許給定乙個資料序列 流處理資料來源 一系列資料操作 函式 被應用到流中的每個元素。同時流處理工具可以顯著提高程式設計師的開發效率，允許他們編寫有效 乾淨和簡潔的 流資料處理在我們的日常工作中非常常見，舉個例子，我們在業務開發...
爬蟲 資料處理 pandas資料處理
使用duplicated 函式檢測重複的行，返回元素為布林型別的series物件，每個元素對應一行，如果該行不是第一次出現，則元素為true keep引數 指定保留哪一重複的行資料 dataframe替換操作 使用df.std 函式可以求得dataframe物件每一列的標準差 資料清洗清洗重複值 清...