通過設定ulimit -c unlimited，得到崩潰後的core檔案，能看出是系統記憶體不夠所致。後來發現kafka集群中的3臺機器負載很低，將logstash部署到這3臺機器上，每台機器啟動4個程序，每個程序開啟4個執行緒讀取kafka。es集群的2臺機器不再執行其他服務。目前整個系統執行穩定。
另乙個問題是，logstash從kafka取出資料放到es中的速度一直上不去【每秒2萬條記錄不到】，es集群的負載也挺低，通過增大logstash的啟動引數-b -w的值，同時增大配置檔案flush_size和idle_flush_time的值，速度有了較大的提公升，可以達到每秒4萬條記錄。
其他tips:es的es_heap_size不要超過系統可用記憶體的一半，機器充足的情況下，使用3個專用master節點。
elk 的報錯和優化
引數調整 elasticsearch.yml配置檔案裡面，調整http.max content length 500mb 這個預設就100m 建議調大 之前有過報錯 如果佇列滿了logstash就會報錯logstash inputs beats insertingtoqueuetaketoolong...
如何使用ELK來監控效能
每當我解決一些應用效能問題的時候，我常常會看到乙個服務由於高的cpu利用率而使得一台或者多台伺服器執行變得非常緩慢。這也許意味著它因為高負載而導致資源缺乏，但是通常情況下這其實是 有bug，乙個異常或者乙個錯誤的流程導致過多占用了系統資源。為了把這些問題找出來，我不得不在newrelic nagio...
mysql效能優化 mysql效能優化
優化方式 1.空間換時間 冗餘 2.時間換空間 字段優先使用型別 int date char varchar text 索引型別 btree索引 hash索引 索引的葉子下，存放乙個資訊指向所在行的資料位址。btree有利於範圍查詢，hash有利於精確查詢。btree用的更多一些。btree索引的常...