這是去年12月份的一個(gè)問題,今天想起來就隨手記一下。
接到老大電話,說某網(wǎng)站的3000G流量用完了,超過的流量很貴的,周一上班,一大堆人就在rtx上問我這怎么回事。
當(dāng)時(shí)這臺(tái)服務(wù)器出現(xiàn)的問題有:
外網(wǎng)ssh無法連接
通過vpn連接,登錄很慢
web服務(wù)無法正常提供
IDC監(jiān)控顯示,不停去嘗試連接別人的25端口
主機(jī)不停被嘗試登錄
無法下載軟件,sftp也無法使用(可能是由于vps限制)
問題出現(xiàn)前一周,服務(wù)器root密碼被篡改過
排查思路:
使用iftop查看流量(每秒60M下載)
使用pstree查看異常進(jìn)程(靠常識(shí))
查看對(duì)外開放的端口
last|less查看最新系統(tǒng)登錄信息
由于當(dāng)時(shí)使用iftop,發(fā)現(xiàn)每秒60M下載,服務(wù)器在國(guó)外,下載比較快,經(jīng)百度下載ip疑似國(guó)內(nèi)某傳奇私服,并且ip不斷變換,當(dāng)時(shí)使用iptables封ip,但是效果不明顯,最坑的是被封的ip還能下載,查看iptables處于關(guān)閉狀態(tài),于是開啟,由于是兩個(gè)運(yùn)維同時(shí)操作,懷疑他誤操作清空了iptables,于是手動(dòng)啟動(dòng),三分鐘后再次查看,防火墻又被關(guān)閉了,于是懷疑防火墻有問題,就隨手查看了下crontab,發(fā)現(xiàn)添加了一條計(jì)劃任務(wù),service ipatbles stop,每分鐘執(zhí)行一次。恍然明白為啥防火墻不生效了,刪除,流量下載問題才得到緩解。
反思:服務(wù)器root密碼被篡改,修改之后因工作忙,無查詢操作,仍然線上跑,也沒有細(xì)粒度的監(jiān)控,無法得知流量情況等到臨界3000G才發(fā)現(xiàn)問題,另外crontab也沒有第一時(shí)間查看。以此謹(jǐn)記。