網管日誌 06 08 18

2021-09-03 07:30:54 字數 2300 閱讀 1470

網路改造的問題還沒有忙完,技術支援工程師在前沿給客戶解決網路故障時遇到了些麻煩,需要我的支援,並且非常著急,我只好放下手中的工作全力支援他們,以客戶為中心,這可是公司的技術人員做事的中心原則。   大體了解了該客戶的網路環境以及出現的故障,詳細內容如下:

網路環境:vdsl接入,2m獨享頻寬,一台華為1820路由器,三颱華為3com交換機,大約50多台客戶端計算機,加上兩台伺服器。

網路故障:網路斷斷續續,經常中斷,只能通過重啟路由器及vdslmodem裝置才會有所改善,但時間不長,仍然出現中斷故障。

分析解決:

(1)首先排查客戶裝置上端接入裝置(我公司的裝置)—vdsl交換機,通過進入vdsl交換機ios,查詢客戶的接入埠資訊:crc錯誤包及丟棄包非常多,流量非常大。這個資訊告訴我下一步測試埠、線路、頻寬、裝置處理能力及客戶端資料報的分析等工作。

(2)從客戶處進行測試,首先在加網路負載(即客戶網路正常運轉)的情況下測試的,使用icmp(ping命令)測試,結果很明顯,到閘道器延時達到了100多ms(正常情況下應該是在3ms左右),並且丟包現象嚴重。然後再去掉任何負載的情況下進行測試,效果當然要好了許多,沒有丟包,但仍有幾十ms的延時,這個現象也不正常。

我想應該是中間節點或者中間線路接觸不良,也有可能是上端節點埠故障造成的。第乙個反映就是檢查埠速率及工作模式並作了相應調整,都無濟於事,最後也更換了埠,還是不行,看來問題不是出在上端埠。

(3)我開始進行單機測試線路,從離上端裝置最近的節點進行了測試,測試結果都正常,然後乙個乙個節點進行測試,最終確定線路也沒有問題。問題究竟出在**?難道是客戶端區域網問題,客戶端區域網是有問題,流量過大造成的,可以擴頻寬來解決,但為什麼進行不加負載情況下,也有較大延時?

(4)客戶頻寬的問題,我已經解決了,為該客戶擴容到了4m獨享專線。但仍有問題,由於客戶的華為3com不支援span(埠映象和監控)又沒有hub等共享式裝置,無法進行sniffer資料分析,很難判斷區域網內部狀況。還有乙個非常重要的資訊就是華為的這款1820路由器cpu負載到了92%以上,這個是非常不正常的,因為作為路由交換裝置,cpu負載一般維持在60%以下,對網路的影響還是可以接受的,但如果超過了這個值,網路狀況將會很糟糕,甚至down掉的。從這裡還可以分析出乙個問題,這款路由器本身處理能力有限。

(6)考慮到這些情況,我認為應該做以下幾項工作:一是要更換處理能力更好的路由及交換裝置;二是要進行資料報的分析與監測;三是以上如果還不能解決,就需要更換其他上網方式比如直接光纖接入,不走vdsl交換機。

(7)想到就要做到,我先把我測試使用的cisco3620路由器替換了客戶的華為路由器,進行測試,效果要好得多,延時減少了,丟包也很少發生,但根本問題仍沒有徹底解決,通過觀測,流量在急劇**,頻寬將超越4m頻寬,crc錯誤包減少了,但仍有相當數量的錯誤包。並且cisco3620的路由器處理能力還是相對比較強大的,但cpu佔用率也達到了30%-40%左右,對於思科裝置在這個網路環境下能達到這個值,說明內網的確存在重大問題。

(8)之後,我又從公司取了兩款交換機,其中一款是cisco2924系列的,支援span,可以進行埠映象和監控,另一台是cisco2950,現在要做的是替換下客戶的華為低端非網管交換機,看看是不是交換機處理能力在作怪,接上了cisco裝置,也開啟了sniffer,首先開始對其內網進行分析,的確有大量機器進行p2p及其他大資料量的傳輸,並且更令人可怕的事情發生了,cisco兩台交換機ios全部宕機,無法進入,而交換機埠之間資料交換仍在進行,只是無法進入到交換機中,即使把所有負載去掉,交換機ios仍然無法進入,我意識到交換機ios徹底損壞了,可能需要重新灌入ios了。但客戶的網路問題還沒有解決,我也試過其他方法,比如使用相應軟體如p2p終結者將其網內的p2p傳輸進行限制,只是網路流量降下來了,延時小了些,但網路故障依舊。

(9)這些方法只能緩解了部分網路惡劣狀況,看來最根本的問題還是沒有解決,另外,我通過sniffer抓包分析發現,網路內的超過1400byte的資料報佔的比例最大,有的相當數量的資料接近mtu值,甚至超過了乙太網的mtu值。根據這些,我想到剛才裝置宕機及cpu佔用率過高的問題,在資料分析的時候,已經排除了病毒的問題,應該是資料巨幀過多,導致裝置埠進行**時無法及時處理,導致埠堵塞造成的,並且這個不僅僅是內網的裝置埠,同樣在上端裝置埠(vdsl交換機)也受到影響,可能是上端vdsl交換機埠不能及時處理巨幀所致?也可是傳輸介質不能滿足資料傳輸要求(因為vdsl是通過2芯雙絞線跳轉到客戶端的)?

(10)那我就實施最後一種辦法,通過光纖直接入戶,並且跳過vdsl交換裝置,直接接入邊界路由器接入網際網路。但由於客戶著急下班,又正值周五,明天就是週末,所以最後這項工作還沒有做,只好安排到了周一繼續。

在期間,這些工作都是由幾位工程師來配合我的思路完成的,要是乙個人來做,頭腦都會炸個稀巴爛的。我也想好好休息個週末。

(未完待續)

網管日誌 06 09 06

今天一客戶遇到乙個比較棘手的問題,讓我幫他解決,該客戶大約有400臺計算機,拓撲如圖,有一條線路通過我們公司網路與internet互聯,三條ddn透明線路分別與上海 廣州 香港相連。cisco3620邊界路由器,主要起路由作用,而在netscreen50防火牆上作了nat和包過濾。整個網路處於同一區...

網管日誌 06 07 27

與06.07.26網管日誌一樣,27號的日誌也是在28號零晨開始寫的,由於28號上午我要回山東老家休假,所以27號這天的工作已經沒有往常的激情了,歸心似箭啊,半年多沒回家了,想家是真的。但工作還是要做的,根據安排,今天的工作除了突發性事故處理外,主要是配線間裝置檢測與資訊統計,由於裝置比較多,今天我...

網管日誌 06 08 15

公司近期需要新接入100m獨享頻寬,現已從電信接入了50m專線,正在測試中,但效果不是很理想 這兩周還需要從網通再接入50m專線 另外,公司還向cnnic申請了4000多個公網ip位址,看來這次公司的網路又要進行大整改了,但我需要提前出整改方案的,但還有很多問題需要再次進行討論。因為是在公司原有網路...