背景介紹：
一 背景介紹
二 排查過程
服務列表：
服務名稱
介紹ms-crf
主應用ms-base-org
使用者服務
ms-hrpaccoint
賬號服務
主應用ms-crf專案新增使用者報錯，經過查詢服務日誌是呼叫ms-base-org使用者服務時候報「系統錯誤「，查詢ms-base-org服務日誌，」//hrpaccount/add 404"。
查詢rancher的deploment，ms-hrpaccoint這個服務活得好好的，按理說這個鬼玩意不應該報這個錯的，其他平台上面也有這個應用的。初步懷疑是服務版本問題，spring boot 1.4 公升級到2.0的時候防火牆要求url位址強校驗，不能出現」//「，將賬號服務公升級成和測試環境一樣的映象後，沒有解決。
版本沒有問題，spring config查詢服務網管gateway的配置檔案，沒有配置只能路由zuul,呼叫路徑hrpaccount/** ,服務發現中名稱ms-hrpaccount，gos將自能路由規則配置後。好高興，問題還是沒有解決，但是報錯資訊變了，變成了datasource url no url。
查詢配置中心，果然沒有配置資料庫 相關資訊。運維同學還是不靠譜，自己把測試環境的相關配置拷貝到gogs，將使用者名稱密碼修改後，問題解決。
這僅僅是一次問題的記錄，小公司運維負責搭建k8s集群和部署基礎服務，業務人員在上面部署自己應用，自己的應用自己完全負責。
一次線上tomcat OOM故障排查
公司的一組tomcat集群最近隔段時間出現oom故障的問題，間隔時間以及發生故障的tomcat也是隨機的，一時定位不到問題 發生oom時 使用 jmap dump file 檔名.dump pid 一直無法dump出堆記憶體，於是給所有tomcat啟動指令碼配置引數，發生oom時匯出堆記憶體快照。x...
線上故障排查之應用系統反應變慢
目錄 top命令 vmstat命令 free命令 df命令 iostat命令 ifstat命令 應用系統變慢，可能有多個原因，一般我們用以下幾個命令來排查原因 整體情況 top cpu vmstat 記憶體 free 硬碟 df 磁碟io iostat 網路io ifstat 通常我們會先用top命...
線上問題排查
問題排查方 長期改進建議 由於業務應用 bug 本身或引入第三方庫 環境原因 硬體問題等原因，線上服務出現故障 問題幾乎不可避免。例如，常見的現象包括請求超時 使用者明顯感受到系統發生卡頓等等。作為乙個合格的研發人員 技術人員 不僅要能寫得一手好 掌握如何排查問題技巧也是研發人高階必須掌握的實戰技能...