記一次生產故障,nginx503

2021-10-01 01:47:14 字數 586 閱讀 1362

問題概述: web頁面進行login操作,控制台報503

系統版本: centos 6.8

服務架構:前端兩個nginx**伺服器,可外網,中間兩台業務伺服器,使用docker起兩組服務 後端3臺redis(哨兵),和三颱mongo

問題分析:由控制台報503可知是伺服器內部原因,可能是網路或者服務方面。

解決步驟:

首先先從網路方面開始查,看外網區兩台nginx是否接收到頁面請求。結果:收到請求

判定nginx伺服器到兩台應用伺服器是否連通可通過檢視容器內部nginx是否有請求。結果:沒有

基本可以斷定是前端nginx到後端容器nginx不通。以為是防火牆問題,通過iptables -l 檢視並沒有限制,使用22可以過去,判斷不是防火牆問題,那就只能是docker服務的問題了。

解決辦法:備份容器內所有檔案到本地,重啟docker服務後,重啟容器內服務,測試正常

docker低版本可能存在這個問題,更換網路或者調整裝置時,產生與外部服務不通的情況。

記一次生產報too man open files

有一天私有雲無法訪問,馬上聯絡廠商,最後廠商發現好多容器不停重啟,經過日誌檢視發現平台開啟檔案控制代碼太多,很奇怪,就開始排查,最後發現乙個埠,定位到應用spring actuator.這個應用是我為了監控微服務而發布的乙個監控應用,馬上看日誌,發現應用報錯,too many open files,...

記一次生產Slor分組的bug

solr的facet有多種形式,它們的引數不盡相同。可以用於text或者string型別的字段。引數說明 facet.field 需要做facet查詢的字段,必須指定,否則其他引數無效 facet.sort 排序規則,可以是count 預設值,由大到小 或index 字典順序 facet.limit...

記一次生產請求耗時的問題

最近發現lb上記錄的request time比upstream response time大的比較多,例如upstream response time記錄是0.062,request time記錄的就是5.064等等。整個耗時很反常。而且出現這個問題基本上都是乙個返回值比較大的介面,基本上返回值是1...