黑客使用開源情報(bào)查找可幫助他們?nèi)肭窒到y(tǒng)的信息。使用這些工具可看清此類信息到底暴露了多少。
上世紀(jì) 80 年代,軍方和情報(bào)機(jī)構(gòu)開始將某些信息收集活動從讀取對手信件或竊聽器電話等秘密行動,轉(zhuǎn)變?yōu)榘l(fā)現(xiàn)隱藏的秘密。大量工作被放到了查找公開可用甚或官方發(fā)布的有用情報(bào)上。
當(dāng)時(shí)的世界正在經(jīng)歷巨變,即便還沒出現(xiàn)社交媒體,也有各種各樣的信息源,比如報(bào)紙和公開可用的數(shù)據(jù)庫,包含有趣甚至有用的信息,尤其是在知曉如何連點(diǎn)成面縱覽全局的人眼里。此類間諜秘笈得名開源情報(bào) (OSINT)。
OSINT 如何應(yīng)用于安全領(lǐng)域
間諜用的 OSINT 技術(shù)如今也可應(yīng)用到網(wǎng)絡(luò)安全領(lǐng)域上。多數(shù)公司企業(yè)都有面向公眾的龐大基礎(chǔ)設(shè)施,橫跨多個(gè)網(wǎng)絡(luò)、技術(shù)、托管服務(wù)和名字空間。信息可存儲于員工桌面電腦、遺留現(xiàn)場服務(wù)器、員工自己的 BYOD 設(shè)備、云端,可嵌入到網(wǎng)絡(luò)攝像機(jī)之類設(shè)備內(nèi)部,甚至隱藏在活躍應(yīng)用及程序的源代碼中。
事實(shí)上,大公司的 IT 員工基本上無法確知自家企業(yè)的所有資產(chǎn),無論該資產(chǎn)是否公開。除此之外,很多企業(yè)間接擁有或控制著多個(gè)額外的資產(chǎn),比如其社交媒體賬戶。如此一來,可能存在很多信息如果落入壞人之手就會帶來很大風(fēng)險(xiǎn)。
由此,新型 OSINT 工具應(yīng)運(yùn)而生。盡管各有偏重,此類工具基本具備三項(xiàng)功能。
1. 發(fā)現(xiàn)公開資產(chǎn)
此類工具最常見的功能就是幫助 IT 團(tuán)隊(duì)發(fā)現(xiàn)公開資產(chǎn),映射這些資產(chǎn)各自持有哪些可形成潛在攻擊界面的信息。基本上,這些工具不會去查找程序漏洞或執(zhí)行滲透測試。其主要工作是記錄無需黑客攻擊便可找到或了解公司資產(chǎn)的那些信息。
2. 發(fā)現(xiàn)公司外部的相關(guān)信息
OSINT 工具執(zhí)行的第二項(xiàng)功能是查找公司外部的相關(guān)信息,比如在社交媒體發(fā)布或嚴(yán)格定義網(wǎng)絡(luò)之外的域或位置查找。歷經(jīng)多次并購重組,不斷融合兼并公司 IT 資產(chǎn)的公司企業(yè)會發(fā)現(xiàn)該功能十分有用。鑒于社交媒體的飛速增長和普及,在公司邊界之外查找敏感信息可能對任何組織都有用。
3. 將所發(fā)現(xiàn)信息整理成可行表格
最后,有些 OSINT 工具有助于將所發(fā)現(xiàn)信息分門別類整理成有用的可行性情報(bào)。大企業(yè)執(zhí)行 OSINT 掃描可能產(chǎn)生幾百萬條結(jié)果,尤其是掃描選項(xiàng)中既包含內(nèi)部資產(chǎn)也包含外部資產(chǎn)的時(shí)候。若能拼合所有數(shù)據(jù),能夠優(yōu)先處理最緊急的問題,無疑是相當(dāng)有幫助的。
頂級 OSINT 工具
選對 OSINT 工具有助于發(fā)現(xiàn)有關(guān)公司、員工、IT 資產(chǎn)和其他憑證或敏感數(shù)據(jù)等可被攻擊者利用的信息,可改善公司網(wǎng)絡(luò)安全狀態(tài)。發(fā)現(xiàn)此類信息后再隱藏或移除之,可以減少從網(wǎng)絡(luò)釣魚到拒絕服務(wù)等各種各樣的攻擊。
下面列出用于 OSINT 的幾個(gè)頂級工具(排名不分先后),描述各自專精領(lǐng)域,闡述其區(qū)別于其他工具的特性,講述各自可為公司網(wǎng)絡(luò)安全工作帶來的具體價(jià)值。
1. Maltego
Maltego 擅長發(fā)現(xiàn)人員、公司、域和互聯(lián)網(wǎng)上公開訪問信息之間的關(guān)系。該工具也以可攝入大量已發(fā)現(xiàn)信息并以直觀易懂的圖表呈現(xiàn)而聞名。這些圖表在將原始情報(bào)轉(zhuǎn)化為可行情報(bào)上表現(xiàn)良好,每幅圖可擁有多達(dá) 1 萬個(gè)數(shù)據(jù)點(diǎn)。
Maltego 自動化搜索不同公開數(shù)據(jù)源,所以用戶可以一鍵執(zhí)行多個(gè)查詢。該程序?qū)⑺阉饔?jì)劃稱為“轉(zhuǎn)換操作”,并默認(rèn)設(shè)置了不少包含常見公開信息源的計(jì)劃,比如 DNS 記錄、Whois 記錄、搜索引擎和社交網(wǎng)絡(luò)。因?yàn)椴捎霉步涌趫?zhí)行搜索,該程序兼容具備公共接口的任意信息源,所以向轉(zhuǎn)換操作添加更多搜索或構(gòu)建全新轉(zhuǎn)換操作都十分方便。
信息收集完畢后,Maltego 會關(guān)聯(lián)信息以揭示姓名、電子郵件地址、別名、公司、網(wǎng)站、文檔擁有者、子公司和其他信息間的隱藏關(guān)系,輔助調(diào)查,或查找潛在問題。Maltego 是 Java 程序,兼容 Windows、Mac 和 Linux 平臺。
名為 Maltego CE 的精簡版是免費(fèi)的。桌面版 Maltego XL 每實(shí)例 1,999 美元。大規(guī)模商業(yè)用途的服務(wù)器安裝版 4 萬美元起,附有全套培訓(xùn)項(xiàng)目。
2. Recon-ng
Recon-ng 是 Python 程序,界面與著名的 Metasploit Framework 非常相似,用過 Metasploit 的人應(yīng)該很快就能上手。該程序還具備很多 Python 模塊缺乏的互動幫助功能,開發(fā)人員的學(xué)習(xí)時(shí)間應(yīng)該不會太久。
Recon-ng 自動化很多耗時(shí)的 OSINT 操作,比如剪切和粘貼。雖沒宣稱可執(zhí)行所有 OSINT 收集操作,但 Recon-ng 可用于自動化大部分主流信息收集,為仍需人工處理的事件留出更多時(shí)間。
Recon-ng 采用內(nèi)置大量功能的模塊化框架,使最初級的 Python 開發(fā)人員都可以創(chuàng)建公開可用數(shù)據(jù)搜索并返回優(yōu)質(zhì)結(jié)果。標(biāo)準(zhǔn)化輸出、數(shù)據(jù)庫互操作、發(fā)送 Web 請求和管理 API 密鑰等常見任務(wù)均可在界面中找到。開發(fā)人員不用編程執(zhí)行搜索,只需選擇想要執(zhí)行的功能,幾分鐘之內(nèi)就能構(gòu)建出自動化模塊。
Recon-ng 是免費(fèi)開源軟件。維基上有此工具的使用指南,還有其最佳實(shí)踐的詳盡介紹。
3. theHarvester
theHarvester 是本列表中最簡單的工具,旨在捕獲公司自有網(wǎng)絡(luò)之外存在的公開信息。此工具也可查找內(nèi)部網(wǎng)絡(luò)上的意外事件,但其主要用途還是面向外部的。用于滲透測試或類似演習(xí)前的偵察步驟也很有效。
theHarvester 采用的信息源包含 Bing 和 Google 等常用搜索引擎,還有不那么為人所知的 dogpile、DNSdumpster 和 Exalead 元數(shù)據(jù)引擎。Netcraft Data Mining 和 AlienVault Open Threat Exchange 也為其所用。theHarvester 甚至能利用 Shodan 搜索引擎來查找已發(fā)現(xiàn)主機(jī)上的開放端口。總體上,theHarvester 工具收集電子郵件、名稱、子域、IP 和 URL。
theHarvester 無需特別準(zhǔn)備就可訪問大多數(shù)開放源。但有些源需要 API 密鑰。另外,其最低環(huán)境要求是 Python 3.6。
任何人都可在 GitHub 上獲取 theHarvester。建議在克隆時(shí)使用 virtualenv 命令創(chuàng)建單獨(dú)的 Python 環(huán)境。
4. Shodan
Shodan 是查找數(shù)十億物聯(lián)網(wǎng)設(shè)備相關(guān)情報(bào)的專用搜索引擎,這些設(shè)備通常不可搜索,但如今已遍布生活的方方面面。Shodan 搜索引擎也可用于查找目標(biāo)系統(tǒng)上的開放端口和漏洞。theHarvester 等一些其他 OSINT 工具會將 Shodan 用作數(shù)據(jù)源,盡管與 Shodan 的深度互動需要付費(fèi)賬戶。
Shodan 可監(jiān)視和搜索的位置之多令人驚訝,是能夠檢查運(yùn)營技術(shù) (OT) 的少數(shù)搜索引擎之一,可用于檢測電站和制造工廠之類地方的工業(yè)控制系統(tǒng)。如果沒有 Shodan 這樣的工具,對部署了 IT 和 OT 兩種技術(shù)的產(chǎn)業(yè)執(zhí)行 OSINT 收集工作,就會缺失很大一塊。
除了攝像頭、建筑傳感器和安全裝置等 IoT 設(shè)備,Shodan 還可檢查數(shù)據(jù)庫一類的東西,查看除主要接口之外還有沒有別的公開可用的渠道從中獲取信息。Shodan 甚至可用于視頻游戲,發(fā)現(xiàn)隱于企業(yè)網(wǎng)絡(luò)上的《我的世界》和《反恐精英:全球攻勢》服務(wù)器,查看產(chǎn)生了哪些漏洞。
任何人都可購買自由職業(yè)者許可,每月可掃描至多 5,120 個(gè) IP 地址,返回最多 100 萬條結(jié)果。售價(jià) 59 美元每月。企業(yè)許可每月掃描 IP 地址上限為 30 萬個(gè),返回結(jié)果數(shù)不限。企業(yè)版每月花費(fèi) 899 美元,包含漏洞搜索過濾器和高級支持。
5. Metagoofil
又一款 GitHub 上免費(fèi)可用的工具,對公開文檔元數(shù)據(jù)抽取做了優(yōu)化。Metagoofil 幾乎可調(diào)查公開渠道可達(dá)的任意文檔類型,包括 .pdf、.doc、.ppt、.xls 等。
Metagoofil 所能收集的有趣數(shù)據(jù)量大到驚人。搜索返回的東西包括與已發(fā)現(xiàn)文檔相關(guān)聯(lián)的用戶名,如果可用的話,有時(shí)候還有真實(shí)姓名。該工具還可繪制出訪問這些文檔的路線圖,提供文檔宿主企業(yè)的服務(wù)器名稱、共享資源和目錄樹信息等。
Metagoofil 找到的所有東西都對黑客有用,黑客可以之發(fā)起密碼暴力破解攻擊或者電子郵件網(wǎng)絡(luò)釣魚攻擊。想要保護(hù)自身的公司也可以利用同樣的 OSINT 信息,在惡意黑客采取行動前加以防護(hù)或隱藏。
6. searchcode
若需真正深入探索 OSINT 收集復(fù)雜矩陣,searchcode 是查找源代碼中有用情報(bào)的高度專業(yè)化搜索引擎。令人驚訝的是,這么強(qiáng)大的引擎竟然僅是一名開發(fā)人員的杰作。
因?yàn)橐忍砑哟a庫才可以搜索程序,searchcode 其實(shí)跨越了 OSINT 工具和非公開信息搜索工具之間的界線。但因?yàn)殚_發(fā)人員可以發(fā)現(xiàn)在用應(yīng)用或開發(fā)中應(yīng)用的代碼內(nèi)含敏感信息問題,searchcode 仍可被視為一款 OSINT 工具。若是針對開發(fā)中的應(yīng)用,這些問題就能在應(yīng)用從開發(fā)階段進(jìn)入生產(chǎn)環(huán)境之前修復(fù)。
盡管涉及代碼的任何問題都要求比谷歌搜索更高深一點(diǎn)的知識,但 searchcode 在將界面做到盡可能簡單易用方面成效不錯(cuò)。用戶只需輸入其檢索字段,searchcode 就會返回相關(guān)結(jié)果,代碼行中高亮顯示要搜索關(guān)鍵詞。推薦搜索包含用戶名、eval $_GET 調(diào)用類安全漏洞、re.compile 這種多此一舉的函數(shù),以及可被用于觸發(fā)代碼注入攻擊的特殊字符。
大多數(shù)時(shí)候,searchcode 返回的結(jié)果是不言自明的。不過,如果有需要的話,也可以仔細(xì)篩查以找出更深層次的信息或匹配問題。
堵住開源情報(bào)漏洞
不是每起黑客事件或入侵都涉及高級持續(xù)性威脅或復(fù)雜深度滲透。與大部分一樣,黑客也喜歡走最簡單的路徑達(dá)成自己的目標(biāo)。如果想要的信息通過公開渠道就能入手,何苦花費(fèi)幾個(gè)月的辛苦勞作突破嚴(yán)密網(wǎng)絡(luò)安全防線?至少,敏感信息可用作獲取有效憑證的捷徑,或者幫助以更小的工作量或風(fēng)險(xiǎn)策劃有效入侵。
OSINT 工具可幫助公司企業(yè)了解有關(guān)自身、自身網(wǎng)絡(luò)、數(shù)據(jù)和用戶的信息有哪些是公開可用的。快速找出這些信息可以搶在黑客利用之前加以刪除,保障公司網(wǎng)絡(luò)安全。這些工具可視為攻防競賽中的強(qiáng)力推進(jìn)器。
Maltego:
Recon-gn:
https://github.com/lanmaster53/recon-ng
theHarvester:
https://github.com/laramies/theHarvester
Shodan:
Metagoofil:
https://github.com/laramies/metagoofil
searchcode: