基於Docker的日誌分析平台 二 環境搭建

2021-09-11 13:30:55 字數 2090 閱讀 7820

基於docker的好處還有乙個就是不用去考慮環境的搭建，直接乙個dockerfile就可以直接搞定了，而且現在的熱門開源軟體，都有官方維護的映象。這裡基於docker-elk和docker-kafka這兩個基礎映象製作。前者是在對x-pack的支援上有問題，配置檔案不足而且錯誤，這裡進行了一些修改和調整。

x-pack是乙個對elk的補充，可以進行監控與報警功能

docker的安裝網上資源非常多，這裡簡單介紹一些，並且把踩過的坑填補了。docker的安裝方式有很多種，這裡建議使用官方的一鍵安裝指令碼來，避免一系列繁瑣的操作。

curl -fssl get.docker.com -o get-docker.sh


複製**
sudo sh get-docker.sh --mirror aliyun


複製**
其實安裝後基本上就可以使用了，主要是配置一些映象源和使用者組。配置映象源的目的不多說，使用者組主要是為了再使用的時候不用使用超級管理員許可權即可執行。

sudo usermod -ag docker $user


複製**
ps. 配置使用者組後，可能還是會出現還是提示沒有許可權的情況，這時重啟機器即可

sudo mkdir -p /etc/docker


sudo tee /etc/docker/daemon.json <<-'eof'


eof複製**
ps. 這裡的映象源是我自己阿里雲的，同學們可以自行去阿里雲獲取專有映象源位址

sudo systemctl daemon-reload


sudo systemctl restart docker


複製**
docker-compose類似乙個包管理工具，方便我們管理映象。

curl -l  > /usr/local/bin/docker-compose


chmod +x /usr/local/bin/docker-compose


複製**
直接從docker-elk轉殖下來之後，切換到目錄下，需要修改下kafka的乙個配置kafka_advertised_host_name改為你的機器ip，然後執行以下命令，漫長等待即可。

docker-compose up -d


複製**
等待提示啟動完成後，訪問http://localhost:5601，如果能夠進入kibana的登入介面就表示沒問題了。輸入帳號密碼登入即可。預設帳號是elastic密碼是changeme。

ps： 如果到了登入介面發現無法輸入帳號密碼(表單處於disabled狀態)，那麼開啟瀏覽器的開發者工具，手動把表單和提交按鈕的disable狀態去掉再輸入密碼即可。官方給的解決辦法是在kibana的配置檔案中寫入elasticsearch的帳號密碼，這樣第一次可以登入，第二次又會不行。這是個神坑，在elk6.0.0版本非常多人遇見，目前無解。

貼一些 docker 的常用操作，方便各位同學學習。

docker-compose  stop            停止所有容器


docker-compose stop kafka 停止指定容器


docker-compose up -d 啟動容器後台執行


docker-compose ps 檢視當前容器


docker-compose logs kafka 檢視指定容器日誌


複製**

使用Docker部署日誌分析平台 ELK

日誌分析平台elk由3個服務組成，分別是elasticsearch logstash和kibana，其中 elasticsearch是乙個分布式搜尋分析引擎，負責日誌儲存並提供 搜尋功能。logstash能提供資料收集 加工和傳輸管道的服務，負責日誌收 集。kibana是乙個資料視覺化平台，並可以將...

ELK Stack 日誌分析監控平台

最近因工作需要部署乙個日誌分析監控平台,最後選型elk stack 說明 過程 logserver中的logstash收集broker redis 中的日誌傳送給elasticsearch.kibana將elasticsearch處理的結果進行展示.download logstash2.1.1.ta...

搭建ELK日誌分析平台

上 elk介紹及搭建 elasticsearch 分布式集群 下 搭建kibana和logstash伺服器 elk 日誌相關 logstash輸出到elasticsearch多索引 elasticsearch索引自動清理 logstash處理json格式日誌檔案的三種方法 logstash的filt...