上個星期五同事說阿里雲發簡訊說吉林乙個ip登陸了我們公司的乙個伺服器，讓我上去看看，然後在/var/log/secure日誌中兩行登入日誌
mar 9 20:35:30 localhost sshd[30379]: accepted password for root
from 221.203.142.131 port 56906 ssh2
mar 9 20:35:30 localhost sshd[30379]: pam_unix(sshd:session):
session opened for user oracle by (uid=0)
起來開啟電腦並通過瀏覽器開啟阿里雲的管理介面，看到當天的伺服器出網流量被打滿，原本就5g的出網和入網，出網被弄的1k都沒有。然後趕快通過跳板機登入伺服器後，通過top命令檢視那些不正常的程序，找到乙個隨機10位字母的程序。然後複製後直接kill掉。並通過find 找到了兩個檔案，乙個在/bin/dfsasdiew，乙個在/etc/rc.d/init.d/,rm刪除後，繼續觀察程序，又出現了木馬有自我保護自我恢復。
剛開始想linux自我啟動如果沒有程式那只能通過定時器去監聽，所以通過 crontab -e 檢視當前的定時器，找到乙個每三分鐘呼叫乙個遠端服務，當前伺服器沒有配置這種定時器，然後直接刪掉。觀察流量有下降，但是陌生程序還在。
檢視程序的指令碼，如下所示
[root@xd9bdoakg ~]# cat /etc/rc.d/init.d/fregonnzkq
#!/bin/sh
# chkconfig: 12345 90 90
# description: fregonnzkq
### begin init info
# provides: fregonnzkq
# required-start:
# required-stop:
# default-start: 1 2 3 4 5
# default-stop:
# short-description: fregonnzkq
### end init info
case $1 in
start)
/usr/bin/fregonnzkq
;;stop)
;;*)
/usr/bin/fregonnzkq
;;esac
看到這我真是佩服這幫人單使用者啟動模式都不放過啊，尼瑪，你這是趕盡殺絕啊。。。。。。。
到了這裡我天真的刪除了幾個這樣的啟動指令碼，然後重啟伺服器，問題依舊。。。。。。。。。你妹啊。。。不帶這樣玩的。。。。
不知道為什麼我瞬間想到了我遺漏了乙個地方，cron，對。。。我是crontab -l 來檢視的，還有個地方的cron任務不會在這個命令下出現/etc/cron.*
shell=/bin/bash
path=/sbin:/bin:/usr/sbin:/usr/bin
mailto=root
home=/
# for details see man 4 crontabs
# example of job definition:
# .---------------- minute (0 - 59)
# | .------------- hour (0 - 23)
# | | .---------- day of month (1 - 31)
# | | | .------- month (1 - 12) or jan,feb,mar,apr ...
# | | | | .---- day of week (0 - 6) (sunday=0 or 7) or sun,mon,tue,wed,thu,fri,sat
# | | | | |
# * * * * * user-name command to be executed
*/3 * * * * root /etc/cron.hourly/gcc.sh
[root@xd9bdoakg ~]# cat /etc/cron.hourly/gcc.sh
#!/bin/sh
path=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:/usr/x11r6/bin
for i in `cat /proc/net/dev|grep :|awk -f: `; do ifconfig $i up& done
cp /lib/libudev.so /lib/libudev.so.6
/lib/libudev.so.6
[root@xd9bdoakg ~]# cat /proc/net/dev|grep :|awk -f:
loem1
em2em3
em4
我擦，看到這，再次****，你還知道主動啟動網路和外面聯絡啊。。。。
通過排查可以肯定/lib/libudev.so是主體。其他是協助執行和自我保護自我複製的實現。
既然你是個程式還在系統上，我有root，還搞不定麼。為了不再多拖時間，直接查殺了。。
chmod 0000 /lib/libudev.so && rm -rf /lib/libudev.so && chattr +i /lib/
##貌似主體被控制住了，不能再次自我恢復了。。。
然後刪除掉啟動命令的所有剛建立的陌生命令。所有東西都穩定下來了。
從星期天早上六點搞到快12點。看來還是能吃上中午飯的。。。
伺服器變肉雞了
12月8號晚上，電腦被入侵，原因為被掃瞄到3389並且系統預設賬號密碼被暴力破解 入侵後被植入掃瞄軟體以及其他病毒工具，以掃瞄和破解更多的肉雞，幸好沒有更改密碼。所以還能登陸，但不能修改密碼了 360案例衛士被破壞！再次安裝也安裝不成。大多exe檔案被感染。查殺完後 重啟 之後網路連線不上，估計是防...
伺服器電源故障解決過程
伺服器 dell 執行環境 較差 工作強度 低 一日，伺服器宕機，嘗試開機，風扇轉動，五到十秒後停止，顯示器上無顯示。重複了多次，故障依舊。原來沒有開過機箱，沒敢動手。先找到說明書，英文的，慢慢檢視其結構說明和常見故障。考慮到電源問題，斷電，開啟機箱。從電源線介面卸下螺絲，想拉出 電源 發現有線纜接...
伺服器硬碟掉線解決過程分析
伺服器內有兩塊硬碟掉線，現在伺服器內的lun丟失了，資料恢復工程師開始對故障伺服器進行檢測發現掉線的硬碟並沒有存在物理故障 也沒有壞道等其他故障。於是開始對客戶的故障伺服器進行映象備份。本次需要進行資料恢復的伺服器沒有硬碟故障，所以硬碟掉線的原因可能是因為硬碟讀寫不穩定導致的，硬碟讀寫不穩定將被控制...