使用packetbeat 採集mysql資料

2021-09-20 23:17:26 字數 2531 閱讀 7846

實驗環境:

centos 6.7 x86_64

elk版本:5.6.0

實驗機器

ip: 10.0.20.25

大部分操作及

elk語法這裡我都省略掉了。

這裡實驗方便起見,我只用一台主機演示,因此是單節點的es。

rpm包然後傳到伺服器上,

yum安裝即可

yum install elasticsearch-5.6.0.rpm kibana-5.6.0-x86_64.rpm logstash-5.6.0.rpm

vim /etc/elasticsearch/elasticsearch.yml

修改後的如下(未修改的地方沒有列出來):

## 在centos6

系列上安裝

elk5.6

需要加上下面

2行**,不然

es啟動會失敗

bootstrap.system_call_filter: false

bootstrap.memory_lock: false

vim /etc/logstash/logstash.yml   

這裡實驗環境,我沒有做任何改動,使用的預設配置引數。

path.data: /var/lib/logstash

path.config: /etc/logstash/conf.d

path.logs: /var/log/logstash

vim/etc/kibana/kibana.yml

修改後的如下(未修改的地方沒有列出來):

server.port: 5601

server.host: "10.0.20.25"

elasticsearch.url: ""

另外,實際生產環境的eslogstash最好修改下jvm的引數配置。

rpm -ivh packetbeat-5.6.0-x86_64.rpm

vim /etc/packetbeat/packetbeat.yml

packetbeat.inte***ces.device:eth0

# 注意: 我原先採集網絡卡寫的是any,後來部署了prometheus通過127.0.0.1採集資料,經常採集到大量的業務無關的監控資料,因此這裡建議只採集需要的網絡卡。

packetbeat.protocols.mysql:

ports: [3306]

send_request: true

transaction_timeout: 30s

output.elasticsearch:

hosts: ["10.0.20.25:9200"]

work: 1

bulk_max_size: 50

timeout: 90

flush_interval: 1s

template.enabled: true

template.name: "packetbeat.template"

template.overwrite: false

index: test-mysql-%

然後執行:

curl -xput'/_template/packetbeat'  d@/etc/packetbeat/packetbeat.template.json 

將模板上傳到

es裡面。

!!如果忘記這一步,先到

es裡把當天的

index

刪除(curl -xdelete'/test-mysql-2017.09.23'?pretty)

,再重啟啟動

beat

!!!!如果自定義了

index

名稱,需要修改

/etc/packetbeat/packetbeat.template.json

中最後一行的對應的名稱再

post

啟動:

然後可以使用命令

curl -xget'/_template/packetbeat'?pretty  

檢查目前

es裡存在哪些模板

/etc/init.d/packetbeat start  

啟動packetbeat

抓包工具

稍等片刻,可以使用

curl -xget'/test-mysql-2017.09.23/_search?pretty' 

檢視es

裡面是否有採集到資料。

到裡面,新增索引,名稱為

test-mysql-* 

可以看到已經採集到資料了,如下圖:

使用AudioRecord實現聲音採集

前言 在android開發中,實現錄音的功能一般有三種方式 1.呼叫系統的錄音器 2.使用mediarecord類實現錄音功能 3.使用audiorecord類。在這裡我就不講前兩種方式的實現了,大家可以在網上查詢相關的內容。這篇文章主要講的是使用audiorecord實現聲音採集。如果你不需要對採...

使用RE進行日誌採集

對於日誌的採集,給出乙個常規的思路 執行採集日誌應用 非web程式 使用檔案流讀取文字檔案,當讀取到檔案末尾時,可以讓當前執行緒睡眠一段時間,從而達到對日誌採集的目的。這樣就會出現幾個問題 1 當應用異常終止時,重新啟動,那樣問題就來了 出現對日誌的重複採集。想了下,也沒什麼更好的辦法,於是採集到的...

採集專案之使用資料

1 如何用easyui動態載入 標題 2 easyui 官方文件 3.easy ui 左側樹形選單 3.2 easyui tab的一些用法 4.tab的一些用法 5 easyui 利用iframe開啟tab以及在iframe開啟父tab 5.2 5.3 5.4 1 使用easyui,一般需要匯入如下...