前言
從互聯(lián)網(wǎng)的誕生,到如今人工智能技術(shù)的炙手可熱,每一次技術(shù)革命都給人來(lái)帶來(lái)極大的便捷。同時(shí),存在這樣一群人,他們掌握先進(jìn)的摶術(shù),并利用技術(shù)對(duì)企業(yè)與個(gè)人資產(chǎn)實(shí)施入侵與破壞,牟取利益,給社會(huì)帶來(lái)極大的安全隱患。
技術(shù)不是惡的本身,我們唯有接近黑產(chǎn),了解黑產(chǎn),才能更有針對(duì)性的與之抗衡。
《2018交互安全行業(yè)研究報(bào)告》報(bào)告主要聚焦于 OSI 第七層的業(yè)務(wù)層,極驗(yàn)交互安全實(shí)驗(yàn)室通過(guò)2018年全年對(duì)全國(guó)近萬(wàn)個(gè)域名、數(shù)千億次的交互數(shù)據(jù)展開(kāi)分析,盡可能真實(shí)還原2018年國(guó)內(nèi)互聯(lián)網(wǎng)機(jī)器流量狀況。
機(jī)器流量的定義
Good Bot:通過(guò)編程人員的設(shè)計(jì)腳本自動(dòng)執(zhí)行簡(jiǎn)單且重復(fù)的任務(wù),提升工作效率。
包括:
搜索引擎爬蟲(chóng): Googlebot、 Bingbot、 Baidubot在線爬蟲(chóng)服務(wù)自動(dòng)發(fā)現(xiàn)和索引互聯(lián)網(wǎng)網(wǎng)站的內(nèi)容,收錄到搜索引擎,方便互聯(lián)網(wǎng)用戶更容易找到他們需要的內(nèi)容。
自動(dòng)交易程序:股票/數(shù)字貨幣/貴金屬等交易平臺(tái)可以設(shè)置自動(dòng)止損止盈、加倉(cāng)減倉(cāng)、定 時(shí)委托等業(yè)務(wù),完成自動(dòng)交易。
網(wǎng)站監(jiān)控軟件:實(shí)時(shí)檢測(cè)網(wǎng)站、App的可用性、報(bào)告頁(yè)面加載時(shí)間和停留時(shí)間、改善應(yīng)用的用戶體驗(yàn)、提升業(yè)務(wù)轉(zhuǎn)化、減少用戶流失,很多的應(yīng)用性能管理(APM)解決方案和大數(shù)據(jù)分析軟件都是如此。
自動(dòng)訂閱機(jī)器人:包括訂閱的電子期刊、郵件推送、實(shí)時(shí)新聞、天氣信息等。
自動(dòng)聊天機(jī)器人:以主流電商平臺(tái)為例,提供的機(jī)器客服,可以根據(jù)實(shí)時(shí)客戶情況完成大量訂單、售前售后問(wèn)題的處理解答。
Bad Bot:壞機(jī)器人會(huì)為您的網(wǎng)站帶來(lái)虛假流量,其惡意可能涉及爬取有價(jià)值的數(shù)據(jù)(文章內(nèi)容、商品價(jià)格、評(píng)論信息等)、發(fā)布垃圾評(píng)論和網(wǎng)絡(luò)釣魚(yú)鏈接,影響網(wǎng)絡(luò)分析和搜索引擎優(yōu)化,導(dǎo)致DDoS攻擊等。
惡意機(jī)器流量的特點(diǎn)
持續(xù)性:
不同于數(shù)據(jù)泄漏、拖庫(kù)、勒索病毒這樣的偶發(fā)性安全事件,惡意的機(jī)器流量更多呈現(xiàn)的是持續(xù)破壞性。體現(xiàn)在兩個(gè)方面:
1、利益驅(qū)動(dòng) 以航空公司機(jī)票查詢接口為例,超過(guò)60%的流量都是機(jī)器流量,由于行業(yè)特殊的價(jià)格浮動(dòng)體系,需要不斷的爬取最新價(jià)格與航班信息。
2、無(wú)人管理 很多爬蟲(chóng)早已處于無(wú)人管理的狀態(tài),甚至存在近十年之久,早已失去當(dāng)時(shí)爬蟲(chóng)的價(jià)值,但是由于無(wú)人管理導(dǎo)致對(duì)整個(gè)互聯(lián)網(wǎng)的持續(xù)資源消耗。
普遍性:
隨著越來(lái)越多的資產(chǎn)從線下遷移到線上,近幾年大數(shù)據(jù)與人工智能的飛速發(fā)展,硬件性能的不斷提高,專(zhuān)門(mén)做大數(shù)據(jù)的公司或者公司的大數(shù)據(jù)部門(mén)對(duì)輸入樣本/數(shù)據(jù)的需求量達(dá)到頂峰,只要你的網(wǎng)站存在可以利用資源,幾乎都會(huì)成為爬取的樣本。
行業(yè)性:
由于行業(yè)性質(zhì)的不同,其利益產(chǎn)生點(diǎn)也相應(yīng)不同,所以機(jī)器流量的攻擊行為也呈現(xiàn)差異化,具體差異性表現(xiàn)為間歇性與持續(xù)性的差異;不同場(chǎng)景攻擊目的的差異;登錄與非登錄狀態(tài)下的差異。
機(jī)器流量的分布
行業(yè)分布排名Top10:
票務(wù)(23.6%)、政府公共服務(wù)(15.8%)、電商(12.6%)、內(nèi)容平臺(tái)(9.4%)、視頻/直播(7.6%)、社交(5.9%)、游戲(5.2%)、OTA(3.8%)、新聞(3.5%)、數(shù)字貨幣(1.8%)、其他(10.8%)
2018 國(guó)內(nèi)機(jī)器流量占比 — 票務(wù)行業(yè)機(jī)器
解讀:
惡意機(jī)器流量在票務(wù)中近3/4都在火車(chē)票領(lǐng)域,而在火車(chē)票中幾乎所有的流量都指向了某售票網(wǎng)站及APP,由于特殊的市場(chǎng)性質(zhì)以及運(yùn)力不足,導(dǎo)致惡意機(jī)器流量呈現(xiàn)罕見(jiàn)的大規(guī)模性聚集。
而這一問(wèn)題,在節(jié)假日出行高峰期格外凸顯,一票難求冋題依然嚴(yán)峻,由此產(chǎn)生的巨大利益空間,催生惡意機(jī)器流量的瘋漲。惡意機(jī)器流量的逐年增加,將原本就不平等的機(jī)器與人“搶票”矛盾進(jìn)一步激化,導(dǎo)致目前搶票軟件的肆虐,普通用戶需要支付更高額的成本來(lái)?yè)Q取車(chē)票。
航空領(lǐng)域,由于機(jī)票其特殊的價(jià)格浮動(dòng)體系,讓各大航空公司不得不面對(duì)惡意機(jī)器爬蟲(chóng)問(wèn)題,迫使航司需每年向中航信支付大量額外接口查詢費(fèi)用航空公司的惡意占座問(wèn)題依然嚴(yán)峻,近年來(lái)所采用的“超售”、“熔斷”、“對(duì)于支付訂單回倉(cāng)”等解決方案并未根本解決占座問(wèn)題。
2018 國(guó)內(nèi)機(jī)器流量占比 — 政務(wù)公共服務(wù)
解讀:
近年來(lái)越來(lái)越多的公司,利用國(guó)家公共平臺(tái)的信息作為其商業(yè)化產(chǎn)品的重要數(shù)據(jù)來(lái)源(大數(shù)據(jù)征信產(chǎn)品,精準(zhǔn)營(yíng)銷(xiāo)服務(wù)產(chǎn)品,車(chē)輛信息查詢產(chǎn)品等),輔助以良好的交互體驗(yàn)、產(chǎn) 品包裝實(shí)現(xiàn)商業(yè)化的目的。這樣大規(guī)模的數(shù)據(jù)來(lái)源需要大量的機(jī)器爬蟲(chóng)來(lái)提升入庫(kù)的效率。
目前網(wǎng)絡(luò)安全法并沒(méi)有對(duì)國(guó)家公共信息爬取相關(guān)行為做明確的解釋或者界定,但是巨大惡意機(jī)器流量確實(shí)對(duì)公共平臺(tái)的帶寬資源造成了極大的消耗,近90%的帶寬資源都被惡 意機(jī)器流量所占用。
2018 國(guó)內(nèi)機(jī)器流量占比 — 電商行業(yè)
解讀:
非登錄態(tài)下的爬蟲(chóng)占了整個(gè)電商行業(yè)近一半的流量,包括動(dòng)態(tài)數(shù)據(jù)(銷(xiāo)量、庫(kù)存、原價(jià)、 現(xiàn)價(jià)等)和靜態(tài)數(shù)據(jù)(商品信息、評(píng)論、點(diǎn)評(píng)等),機(jī)器流量來(lái)源更多的是同類(lèi)電商平臺(tái)或者比價(jià)平臺(tái)。
近1/4的惡意機(jī)器流量在撞庫(kù)場(chǎng)景,一旦撞庫(kù)成功,這些賬號(hào)則會(huì)被分銷(xiāo)至洗號(hào)產(chǎn)業(yè)鏈 , 根據(jù)不同平臺(tái)的賬號(hào)細(xì)分完成進(jìn)一步積分消耗,個(gè)人信息售賣(mài),電信詐騙,持續(xù)其他平臺(tái)撞庫(kù)等行為。
其他場(chǎng)景的機(jī)器流量則體現(xiàn)為利用優(yōu)惠券商品代下單,養(yǎng)號(hào),刷單等業(yè)務(wù)問(wèn)題。
2018 國(guó)內(nèi)機(jī)器流量占比 — 內(nèi)容平臺(tái)
解讀:
關(guān)于內(nèi)容平臺(tái)的惡意機(jī)器流量主要分為兩部分,一是惡意爬蟲(chóng)對(duì)優(yōu)質(zhì)內(nèi)容的爬取,二是廣 告性質(zhì)的發(fā)帖與評(píng)論,作為內(nèi)容平臺(tái),不論是UGC還是PGC產(chǎn)出的優(yōu)質(zhì)內(nèi)容,都是對(duì)平臺(tái)本身用戶砧性最基礎(chǔ)保障。
2018 國(guó)內(nèi)機(jī)器流量占比 — 游戲行業(yè)
解讀:
2017年上半年,中國(guó)以275億美元的游戲市場(chǎng)收入超過(guò)美國(guó)和日本,成為全球榜首。高額的攻擊利潤(rùn),讓游戲行業(yè)成為黑產(chǎn)圈的“風(fēng)口”。游戲公司因DDoS攻擊,而造成經(jīng)濟(jì) 損失高達(dá)數(shù)百萬(wàn)元/天。其中,棋牌類(lèi)游戲成為DDoS攻擊“重災(zāi)區(qū)”,不少游戲公司因遭到DDoS攻擊打擊,被迫停止業(yè)務(wù)運(yùn)營(yíng),頻臨倒閉。
欺詐作弊主要表現(xiàn)為:批量注冊(cè)、流量造假、撞庫(kù)盜號(hào)。欺詐作弊問(wèn)題覆蓋超過(guò)95%的游戲公司,一方面,游戲公司大量資源被黑產(chǎn)搶占,造成高成本、低轉(zhuǎn)化的運(yùn)營(yíng)難題;另一方面,面對(duì)競(jìng)爭(zhēng),僅刷單欺詐一項(xiàng),游戲商年損失超412億。
根據(jù)2017年手游質(zhì)量白皮書(shū)顯示,近30%外掛手游都存在致命安全問(wèn)題,即使這樣,也未能阻擋外掛市場(chǎng)的空前繁榮,根據(jù)《絕地求生》反作弊系統(tǒng)BattlEye的官方數(shù)據(jù)報(bào)告顯示,一條由成熟、龐大團(tuán)隊(duì)運(yùn)作,規(guī)模達(dá)到數(shù)千億美金的龐大游戲外掛黑色產(chǎn)業(yè)鏈已經(jīng)形成。
2018 國(guó)內(nèi)機(jī)器流量占比 — 其他
視頻/直播行業(yè)
視頻網(wǎng)站的惡意機(jī)器流量主要存在于刷量與刷榜中。一部網(wǎng)劇動(dòng)輒幾百億的播放次數(shù)讓人 畔目結(jié)舌的同時(shí),其背后包括了視頻制作方、視頻出版方、廣告主、投資方、平臺(tái)本身等 復(fù)雜的利益關(guān)系;至于刷榜就是針對(duì)于某些節(jié)目或者藝人的變相投票業(yè)務(wù),不論是經(jīng)紀(jì)公 司還是粉絲都會(huì)與一些第三方刷量團(tuán)隊(duì)存在合作。這些惡意的機(jī)器流量通常會(huì)對(duì)視頻平臺(tái) 的用戶薦權(quán)機(jī)制產(chǎn)生影響,因?yàn)椴シ帕渴瞧渲幸粋€(gè)重要的衡量因素。
直播平臺(tái)惡意機(jī)器流量主要體現(xiàn)在虛假觀看人數(shù)、主播訂閱關(guān)注量、虛擬道具領(lǐng)取的場(chǎng)景。達(dá)到一定知名度的主播的工資體系由固定工資與浮動(dòng)工資兩部分構(gòu)成,而浮動(dòng)工資則 是與主播的人氣、房間訂閱量、禮物桂鉤,所以衍生出了許多專(zhuān)門(mén)為主榴刷人氣的第三方 團(tuán)伙,也就是惡意流量的來(lái)源。這些惡意的機(jī)器流量對(duì)直播平臺(tái)造成的危害不僅僅是高出 正常數(shù)倍的工資,還有其帶來(lái)的巨大網(wǎng)絡(luò)帶寬的消耗所產(chǎn)生的CDN費(fèi)用。
社交
社交領(lǐng)域的惡意機(jī)器流量主要集中在惡意注冊(cè)、垃圾信息以及樟庫(kù)攻擊。
一方面,刷榜刷量的需求下,黑產(chǎn)利用程序,批量注冊(cè)社交網(wǎng)站及APP馬甲賬號(hào)。并持續(xù)養(yǎng)號(hào),用于謀取利益;
另一方面,通過(guò)撞庫(kù)攻擊,導(dǎo)致社交平臺(tái)大量用戶信息泄露,危及平臺(tái)以及用戶資產(chǎn)隱私信息安全。
OTA
OTA領(lǐng)域的惡意機(jī)器流量主要集中在數(shù)據(jù)造假與惡意爬蟲(chóng)上。隨著互聯(lián)網(wǎng)流量紅利時(shí)代的消失,流量的成本也在劇增。而面臨個(gè)性化市場(chǎng)需求,流量越來(lái)越分散,越來(lái)越貴。另 外,OTA領(lǐng)域同樣也是爬蟲(chóng)重災(zāi)區(qū),為維護(hù)平臺(tái)活躍度的需要,針對(duì)UGC市場(chǎng)的爭(zhēng)奪也早已進(jìn)入白熱化。
數(shù)字貨幣
從2016年開(kāi)始,以幾個(gè)主流貨幣為主的數(shù)字貨幣逐漸步入大眾視野,據(jù)不完全統(tǒng)計(jì),國(guó)內(nèi)目前有近千家數(shù)字貨幣交易所,上萬(wàn)種數(shù)字貨幣。作為新興的數(shù)字貨幣市場(chǎng),大多企業(yè)正處在前期依靠大量補(bǔ)貼,簡(jiǎn)單粗暴的獲客階段。其所面對(duì)的主要惡意機(jī)器流量,主要為羊毛黨。
業(yè)務(wù)場(chǎng)景分布占比
解讀:
業(yè)務(wù)安全必須立足與業(yè)務(wù),場(chǎng)景則是業(yè)務(wù)最直接的體現(xiàn)。
查詢場(chǎng)景占31.4%的惡意機(jī)器流量正面說(shuō)明了目前整個(gè)互聯(lián)網(wǎng)爬蟲(chóng)肆虐的現(xiàn)狀,包括國(guó)家公共政務(wù)平臺(tái)、醫(yī)院掛號(hào)系統(tǒng)、火車(chē)票務(wù)網(wǎng)站、演唱會(huì)票務(wù)網(wǎng)站、機(jī)票/酒店價(jià)格查詢 等眾多行業(yè)都飽受惡意爬蟲(chóng)的危害,給企業(yè)帶來(lái)巨大不必要的帶寬成本;
下單場(chǎng)景則主要集中于電商行業(yè),隨著電商行業(yè)的GMV不斷刷新,以搶購(gòu)、刷單為目的 黑色產(chǎn)業(yè)漣也逐漸走向成熟,在每年“雙十一”、”618″、“年貨節(jié)”等大促時(shí)間段內(nèi),下單場(chǎng)景的惡意流量都會(huì)出現(xiàn)激增;
登錄、注冊(cè)場(chǎng)景是重中之重的賬戶安全環(huán)節(jié),也是所有黑產(chǎn)攻擊的入口,隨著近幾年整個(gè) 行業(yè)對(duì)于賬戶安全的認(rèn)知不斷提高,大多數(shù)企業(yè)都在入口做了一定程度安全措施,近兩年 占比相對(duì)穩(wěn)中有降。
風(fēng)險(xiǎn)IP追蹤分析
黑產(chǎn)團(tuán)伙的定義
在業(yè)務(wù)安全的范疇內(nèi),黑產(chǎn)團(tuán)伙特指通過(guò)復(fù)用相同的資源(IP池、UA池、手機(jī)卡、身份信息等)或使用相似的攻擊手法在時(shí)間維度呈現(xiàn)一定的聚集性對(duì)業(yè)務(wù)方有目的的攻擊行為發(fā)起方。
當(dāng)前黑產(chǎn)團(tuán)伙基礎(chǔ)工具:VPS混合撥號(hào)、貓池+卡池、群控+云控。以標(biāo)準(zhǔn)版本來(lái)說(shuō):一套 100臺(tái)手機(jī)的群控系統(tǒng)大概整體需要10w(整體包含服務(wù)器、日UB、手機(jī)支架、操作系 統(tǒng)、100臺(tái)2G+16G的三網(wǎng)通手機(jī))一套100臺(tái)手機(jī)云控系統(tǒng)大概整體需要5w(包含8 核16G安卓版本4.4物理機(jī)100臺(tái)以及必要的’P代理、一鍵新機(jī)、日志調(diào)試、應(yīng)用下載 功能)
黑產(chǎn)團(tuán)伙五大特點(diǎn)
專(zhuān)業(yè)化:
黑產(chǎn)團(tuán)伙技術(shù)升級(jí)迭代非常快,甚至在相關(guān)業(yè)務(wù)場(chǎng)景已實(shí)現(xiàn)Al技術(shù)的應(yīng)用
產(chǎn)業(yè)化:
網(wǎng)絡(luò)黑產(chǎn)已經(jīng)形成規(guī)模巨大、上下供應(yīng)鏈成熟的龐大的產(chǎn)業(yè)鏈條,極大降低了犯罪的各環(huán)節(jié)成本
規(guī)模化:
目前我國(guó)網(wǎng)絡(luò)黑產(chǎn)專(zhuān)職從業(yè)人員已經(jīng)超過(guò)150萬(wàn)人,年產(chǎn)值達(dá)千億級(jí)別
集團(tuán)化:
黑產(chǎn)團(tuán)伙具備較高的隱蔽性,從業(yè)者會(huì)專(zhuān)門(mén)注冊(cè)合法公司,披著科技外衣來(lái)獲取灰色收入
國(guó)際化:
黑產(chǎn)團(tuán)伙往往跨境作案,并和國(guó)內(nèi)多地維持隱蔽的聯(lián)絡(luò),以此逃避警方打擊。近年來(lái),黑 產(chǎn)團(tuán)伙活躍于泰國(guó)、菲律賓、柬埔寨、越南等東南亞國(guó)家
極驗(yàn)交互安全實(shí)驗(yàn)室對(duì)國(guó)內(nèi)黑產(chǎn)主要工具進(jìn)行長(zhǎng)期持續(xù)的監(jiān)控,以一款主流黑產(chǎn)工具“火 牛”為例:在12.11-12.21十天的時(shí)間內(nèi)就監(jiān)測(cè)到7個(gè)版本的更新,一個(gè)月更新了23個(gè) 版本,除了修復(fù)Bug之外,更多的是攻擊策略的不斷變化更新。從側(cè)面直接體現(xiàn)出,黑 產(chǎn)團(tuán)伙與業(yè)務(wù)方安全團(tuán)隊(duì)對(duì)抗的不斷升級(jí)。
整個(gè)安全行業(yè)攻守雙方的不平等性一直存在,而且隨著黑灰產(chǎn)業(yè)鏈的不斷分工細(xì)化、人工 智能技術(shù)的普及與應(yīng)用,對(duì)抗的形式在2018年更是愈加激烈。
極驗(yàn)交互安全實(shí)驗(yàn)室通過(guò)對(duì)2018年全年top2O黑產(chǎn)工具全年的跟蹤分析、數(shù)+家一線互 聯(lián)網(wǎng)公司風(fēng)控部門(mén)交流,涉及電商、金融、航空、區(qū)塊鏈等多個(gè)核心行業(yè),2018業(yè)務(wù)安 全領(lǐng)域“業(yè)務(wù)規(guī)則”平均有效壽命不到100個(gè)小時(shí),其中1月、6月、10月、11月、12 月幾個(gè)業(yè)務(wù)高發(fā)期壽命甚至低于48小時(shí)。
多企業(yè)遭遇同一團(tuán)伙攻擊
專(zhuān)業(yè)的黑產(chǎn)團(tuán)伙由于其前期軟硬件投入成本、對(duì)甲方業(yè)務(wù)規(guī)則分析成本、賬號(hào)可能被封禁的時(shí)間成本存在,往往都會(huì)同時(shí)在相同行業(yè)或者相同業(yè)務(wù)類(lèi)型的多家業(yè)務(wù)方作案,有些團(tuán)伙甚至有跨行業(yè)跨業(yè)務(wù)的作案行為。極驗(yàn)交互安全實(shí)驗(yàn)室通過(guò)近半年對(duì)數(shù)萬(wàn)家企業(yè)用戶的 持續(xù)監(jiān)控和對(duì)長(zhǎng)鏈條時(shí)間跨度的聚類(lèi)分析,抽取典型的10個(gè)的團(tuán)伙覆蓋企業(yè)數(shù)統(tǒng)計(jì)如下:
總結(jié)
隨著互聯(lián)網(wǎng)的快速發(fā)展,企業(yè)資產(chǎn)不斷向網(wǎng)絡(luò)傾斜。在暴利驅(qū)動(dòng)下,網(wǎng)絡(luò)黑產(chǎn)的市場(chǎng)規(guī) 模、技術(shù)創(chuàng)新以及破壞性,已到達(dá)互聯(lián)網(wǎng)有史以來(lái)的巔峰。在我們享受科學(xué)技術(shù)帶來(lái)的便利的同時(shí),黑產(chǎn)已從往曰混跡于暗網(wǎng)黑市的小團(tuán)伙,發(fā)展成如今登堂入室的新勢(shì)力。
作為黑產(chǎn)攻擊的主力軍,惡意機(jī)器流量已經(jīng)滲透至各行業(yè)的核心場(chǎng)景,并將隨著人工智能技術(shù)的發(fā)展,對(duì)企業(yè)相對(duì)傳統(tǒng)的業(yè)務(wù)安全防御體系造成近乎碾壓之勢(shì)。
同時(shí)黑產(chǎn)團(tuán)伙由互聯(lián)網(wǎng)初期的工作室、個(gè)體發(fā)展成為當(dāng)前組織龐大的黑產(chǎn)集團(tuán)。他們?cè)谪?cái)力、人力、技術(shù)等核心資源上,已經(jīng)得到空前發(fā)展。從互聯(lián)網(wǎng)初期小規(guī)模的礴羊毛行為, 到如今高頻次、大規(guī)模的企業(yè)攻擊行為,黑產(chǎn)團(tuán)伙對(duì)抗已經(jīng)成為全球企業(yè)發(fā)展無(wú)法回避的課題。
與之對(duì)應(yīng),越來(lái)越多的企業(yè)以及個(gè)人逐漸意識(shí)到黑產(chǎn)團(tuán)伙對(duì)于資產(chǎn)與敏感信息的巨大破壞性。未來(lái)的業(yè)務(wù)安全,一定是交互場(chǎng)景與安全的緊密結(jié)合。隨著人工智能技術(shù)在安全領(lǐng)域的應(yīng)用與創(chuàng)新,企業(yè)與黑產(chǎn)之間的博弈將更加復(fù)雜多變。未來(lái)企業(yè)網(wǎng)絡(luò)安全攻防,也將更具挑戰(zhàn)。