頂級 OSINT 工具：搶在黑客之前找出敏感公開信息
責編：gltian ｜2019-10-21 14:01:33黑客使用開源情報查找可幫助他們入侵系統的信息。使用這些工具可看清此類信息到底暴露了多少。
上世紀 80 年代，軍方和情報機構開始將某些信息收集活動從讀取對手信件或竊聽器電話等秘密行動，轉變為發現隱藏的秘密。大量工作被放到了查找公開可用甚或官方發布的有用情報上。
當時的世界正在經歷巨變，即便還沒出現社交媒體，也有各種各樣的信息源，比如報紙和公開可用的數據庫，包含有趣甚至有用的信息，尤其是在知曉如何連點成面縱覽全局的人眼里。此類間諜秘笈得名開源情報 (OSINT)。
OSINT 如何應用于安全領域
間諜用的 OSINT 技術如今也可應用到網絡安全領域上。多數公司企業都有面向公眾的龐大基礎設施，橫跨多個網絡、技術、托管服務和名字空間。信息可存儲于員工桌面電腦、遺留現場服務器、員工自己的 BYOD 設備、云端，可嵌入到網絡攝像機之類設備內部，甚至隱藏在活躍應用及程序的源代碼中。
事實上，大公司的 IT 員工基本上無法確知自家企業的所有資產，無論該資產是否公開。除此之外，很多企業間接擁有或控制著多個額外的資產，比如其社交媒體賬戶。如此一來，可能存在很多信息如果落入壞人之手就會帶來很大風險。
由此，新型 OSINT 工具應運而生。盡管各有偏重，此類工具基本具備三項功能。
1. 發現公開資產
此類工具最常見的功能就是幫助 IT 團隊發現公開資產，映射這些資產各自持有哪些可形成潛在攻擊界面的信息。基本上，這些工具不會去查找程序漏洞或執行滲透測試。其主要工作是記錄無需黑客攻擊便可找到或了解公司資產的那些信息。
2. 發現公司外部的相關信息
OSINT 工具執行的第二項功能是查找公司外部的相關信息，比如在社交媒體發布或嚴格定義網絡之外的域或位置查找。歷經多次并購重組，不斷融合兼并公司 IT 資產的公司企業會發現該功能十分有用。鑒于社交媒體的飛速增長和普及，在公司邊界之外查找敏感信息可能對任何組織都有用。
3. 將所發現信息整理成可行表格
最后，有些 OSINT 工具有助于將所發現信息分門別類整理成有用的可行性情報。大企業執行 OSINT 掃描可能產生幾百萬條結果，尤其是掃描選項中既包含內部資產也包含外部資產的時候。若能拼合所有數據，能夠優先處理最緊急的問題，無疑是相當有幫助的。
頂級 OSINT 工具
選對 OSINT 工具有助于發現有關公司、員工、IT 資產和其他憑證或敏感數據等可被攻擊者利用的信息，可改善公司網絡安全狀態。發現此類信息后再隱藏或移除之，可以減少從網絡釣魚到拒絕服務等各種各樣的攻擊。
下面列出用于 OSINT 的幾個頂級工具（排名不分先后），描述各自專精領域，闡述其區別于其他工具的特性，講述各自可為公司網絡安全工作帶來的具體價值。
1. Maltego
Maltego 擅長發現人員、公司、域和互聯網上公開訪問信息之間的關系。該工具也以可攝入大量已發現信息并以直觀易懂的圖表呈現而聞名。這些圖表在將原始情報轉化為可行情報上表現良好，每幅圖可擁有多達 1 萬個數據點。
Maltego 自動化搜索不同公開數據源，所以用戶可以一鍵執行多個查詢。該程序將搜索計劃稱為“轉換操作”，并默認設置了不少包含常見公開信息源的計劃，比如 DNS 記錄、Whois 記錄、搜索引擎和社交網絡。因為采用公共接口執行搜索，該程序兼容具備公共接口的任意信息源，所以向轉換操作添加更多搜索或構建全新轉換操作都十分方便。
信息收集完畢后，Maltego 會關聯信息以揭示姓名、電子郵件地址、別名、公司、網站、文檔擁有者、子公司和其他信息間的隱藏關系，輔助調查，或查找潛在問題。Maltego 是 Java 程序，兼容 Windows、Mac 和 Linux 平臺。
名為 Maltego CE 的精簡版是免費的。桌面版 Maltego XL 每實例 1,999 美元。大規模商業用途的服務器安裝版 4 萬美元起，附有全套培訓項目。
2. Recon-ng
Recon-ng 是 Python 程序，界面與著名的 Metasploit Framework 非常相似，用過 Metasploit 的人應該很快就能上手。該程序還具備很多 Python 模塊缺乏的互動幫助功能，開發人員的學習時間應該不會太久。
Recon-ng 自動化很多耗時的 OSINT 操作，比如剪切和粘貼。雖沒宣稱可執行所有 OSINT 收集操作，但 Recon-ng 可用于自動化大部分主流信息收集，為仍需人工處理的事件留出更多時間。
Recon-ng 采用內置大量功能的模塊化框架，使最初級的 Python 開發人員都可以創建公開可用數據搜索并返回優質結果。標準化輸出、數據庫互操作、發送 Web 請求和管理 API 密鑰等常見任務均可在界面中找到。開發人員不用編程執行搜索，只需選擇想要執行的功能，幾分鐘之內就能構建出自動化模塊。
Recon-ng 是免費開源軟件。維基上有此工具的使用指南，還有其最佳實踐的詳盡介紹。
3. theHarvester
theHarvester 是本列表中最簡單的工具，旨在捕獲公司自有網絡之外存在的公開信息。此工具也可查找內部網絡上的意外事件，但其主要用途還是面向外部的。用于滲透測試或類似演習前的偵察步驟也很有效。
theHarvester 采用的信息源包含 Bing 和 Google 等常用搜索引擎，還有不那么為人所知的 dogpile、DNSdumpster 和 Exalead 元數據引擎。Netcraft Data Mining 和 AlienVault Open Threat Exchange 也為其所用。theHarvester 甚至能利用 Shodan 搜索引擎來查找已發現主機上的開放端口。總體上，theHarvester 工具收集電子郵件、名稱、子域、IP 和 URL。
theHarvester 無需特別準備就可訪問大多數開放源。但有些源需要 API 密鑰。另外，其最低環境要求是 Python 3.6。
任何人都可在 GitHub 上獲取 theHarvester。建議在克隆時使用 virtualenv 命令創建單獨的 Python 環境。
4. Shodan
Shodan 是查找數十億物聯網設備相關情報的專用搜索引擎，這些設備通常不可搜索，但如今已遍布生活的方方面面。Shodan 搜索引擎也可用于查找目標系統上的開放端口和漏洞。theHarvester 等一些其他 OSINT 工具會將 Shodan 用作數據源，盡管與 Shodan 的深度互動需要付費賬戶。
Shodan 可監視和搜索的位置之多令人驚訝，是能夠檢查運營技術 (OT) 的少數搜索引擎之一，可用于檢測電站和制造工廠之類地方的工業控制系統。如果沒有 Shodan 這樣的工具，對部署了 IT 和 OT 兩種技術的產業執行 OSINT 收集工作，就會缺失很大一塊。
除了攝像頭、建筑傳感器和安全裝置等 IoT 設備，Shodan 還可檢查數據庫一類的東西，查看除主要接口之外還有沒有別的公開可用的渠道從中獲取信息。Shodan 甚至可用于視頻游戲，發現隱于企業網絡上的《我的世界》和《反恐精英：全球攻勢》服務器，查看產生了哪些漏洞。
任何人都可購買自由職業者許可，每月可掃描至多 5,120 個 IP 地址，返回最多 100 萬條結果。售價 59 美元每月。企業許可每月掃描 IP 地址上限為 30 萬個，返回結果數不限。企業版每月花費 899 美元，包含漏洞搜索過濾器和高級支持。
5. Metagoofil
又一款 GitHub 上免費可用的工具，對公開文檔元數據抽取做了優化。Metagoofil 幾乎可調查公開渠道可達的任意文檔類型，包括 .pdf、.doc、.ppt、.xls 等。
Metagoofil 所能收集的有趣數據量大到驚人。搜索返回的東西包括與已發現文檔相關聯的用戶名，如果可用的話，有時候還有真實姓名。該工具還可繪制出訪問這些文檔的路線圖，提供文檔宿主企業的服務器名稱、共享資源和目錄樹信息等。
Metagoofil 找到的所有東西都對黑客有用，黑客可以之發起密碼暴力破解攻擊或者電子郵件網絡釣魚攻擊。想要保護自身的公司也可以利用同樣的 OSINT 信息，在惡意黑客采取行動前加以防護或隱藏。
6. searchcode
若需真正深入探索 OSINT 收集復雜矩陣，searchcode 是查找源代碼中有用情報的高度專業化搜索引擎。令人驚訝的是，這么強大的引擎竟然僅是一名開發人員的杰作。
因為要先添加代碼庫才可以搜索程序，searchcode 其實跨越了 OSINT 工具和非公開信息搜索工具之間的界線。但因為開發人員可以發現在用應用或開發中應用的代碼內含敏感信息問題，searchcode 仍可被視為一款 OSINT 工具。若是針對開發中的應用，這些問題就能在應用從開發階段進入生產環境之前修復。
盡管涉及代碼的任何問題都要求比谷歌搜索更高深一點的知識，但 searchcode 在將界面做到盡可能簡單易用方面成效不錯。用戶只需輸入其檢索字段，searchcode 就會返回相關結果，代碼行中高亮顯示要搜索關鍵詞。推薦搜索包含用戶名、eval $_GET 調用類安全漏洞、re.compile 這種多此一舉的函數，以及可被用于觸發代碼注入攻擊的特殊字符。
大多數時候，searchcode 返回的結果是不言自明的。不過，如果有需要的話，也可以仔細篩查以找出更深層次的信息或匹配問題。
堵住開源情報漏洞
不是每起黑客事件或入侵都涉及高級持續性威脅或復雜深度滲透。與大部分一樣，黑客也喜歡走最簡單的路徑達成自己的目標。如果想要的信息通過公開渠道就能入手，何苦花費幾個月的辛苦勞作突破嚴密網絡安全防線？至少，敏感信息可用作獲取有效憑證的捷徑，或者幫助以更小的工作量或風險策劃有效入侵。
OSINT 工具可幫助公司企業了解有關自身、自身網絡、數據和用戶的信息有哪些是公開可用的。快速找出這些信息可以搶在黑客利用之前加以刪除，保障公司網絡安全。這些工具可視為攻防競賽中的強力推進器。
Maltego：
Recon-gn：
https://github.com/lanmaster53/recon-ng
theHarvester：
https://github.com/laramies/theHarvester
Shodan：
Metagoofil：
https://github.com/laramies/metagoofil
searchcode：