在安全牛之前發(fā)布的文章《 Prolexic發(fā)布2014年第一季度全球DDoS攻擊報告》中,我們了解到采用“反射放大”技術(shù)發(fā)起的攻擊流量比上一季度增加了39%,同時攻擊者也在不斷發(fā)掘利用其他一些互聯(lián)網(wǎng)基礎(chǔ)服務(wù)來發(fā)動DDoS攻擊,例如今年3月安全公司Sucuri發(fā)現(xiàn) 黑客利用超過16.2萬WordPress網(wǎng)站的Pingback功能進(jìn)行大規(guī)模DDoS放大攻擊。
近日,新的研究表明,假冒谷歌爬蟲已經(jīng)成為第三大DDoS攻擊工具,詳情如下:
Incapsula研究人員在調(diào)查了搜索引擎在1萬家網(wǎng)站上的4億次搜索訪問后,發(fā)現(xiàn)超過23%的假冒谷歌爬蟲被用于DDoS攻擊,10.8%被用于竊取數(shù)據(jù)的惡意軟件、垃圾郵件和掃描器。
分析結(jié)果中的一些亮點(diǎn)對于很多對于SEO專業(yè)人士和網(wǎng)站運(yùn)營者來說非常有趣:
谷歌的web爬蟲比其競爭對手(如MSN/Bing、百度和Yandex bots)的要活躍深入得多。
被谷歌爬蟲訪問次數(shù)多的網(wǎng)站,其自然流量份額并不會隨之增長,這意味著谷歌對網(wǎng)站并沒有特殊關(guān)照。
平均每個網(wǎng)站每天會被谷歌爬蟲訪問187次,每次訪問平均抓取深度是4頁。內(nèi)容密集型以及頻繁更新的網(wǎng)站,例如論壇、新聞?wù)军c(diǎn)、大型電商網(wǎng)站被爬蟲光顧的次數(shù)較多。
由于谷歌依然是全球第一搜索引擎,因此絕大多數(shù)網(wǎng)站運(yùn)營者都不會屏蔽谷歌爬蟲,但遺憾的是,這也導(dǎo)致假冒谷歌爬蟲得以大行其道,發(fā)起DDoS攻擊、剽竊內(nèi)容、發(fā)送垃圾信息甚至入侵系統(tǒng)。
假冒的谷歌爬蟲能以谷歌的身份獲取網(wǎng)站信息,它們利用了谷歌爬蟲的HTTP(S)用戶代理——功能相當(dāng)于一個訪客的ID。根據(jù)Incapsula收集的數(shù)據(jù),超過4%的使用用戶代理的爬蟲都不是真正的谷歌爬蟲。
通過分析5000萬個假冒谷歌爬蟲會話數(shù)據(jù),Incapsula發(fā)現(xiàn)高達(dá)34.3%的假冒爬蟲都是惡意的,其中23.5%被用于7層DDoS攻擊。
假冒谷歌爬蟲發(fā)起的DDoS攻擊讓網(wǎng)站經(jīng)營者非常難辦:要么屏蔽所有谷歌爬蟲,從搜索引擎中消失,要么購買更多帶寬來防范DDoS。
假冒谷歌爬蟲的訪問通常來自僵尸網(wǎng)絡(luò),排名靠前的流量大國依次是美國(25.2%)、中國(15.6%,編者按:多么諷刺),土耳其(14.7%),巴西(13.49%)和印度(8.4%),而正牌的谷歌爬蟲則98%都來自美國。
好消息是,人們?nèi)缃窨梢酝ㄟ^一系列安全手段精確識別假冒谷歌爬蟲,包括IP和ASN核對——一種通過來源地識別爬蟲的技術(shù)流程,但遺憾的是,中小網(wǎng)站通常不掌握這些手段。