對ChatGPT帶來網絡安全利弊的分析
責編：gltian ｜2023-10-24 14:27:56文 | 騰訊政策發展中心主任 翟尤
美國公司 OpenAI 開發的人工智能聊天機器人程序 ChatGPT，以高度擬人化的交流方式，成為自然語言為交互方式的通用語言處理平臺。一方面，ChatGPT 可以輔助人們提高工作效率、推動社會進步，并為提供相應的網絡安全保護。另一方面，如果不受控制和規范，ChatGPT 可能會導致未來的網絡環境受到攻擊并充滿威脅。
一、ChatGPT 提升網絡安全智能化水平
從 ChatGPT 發布開始，網絡安全領域的研究人員一直探索如何將 ChatGPT 融入網絡防護、數據安全保護等工作。網絡安全廠商也在加快應用人工智能技術應用的步伐。根據市場調研機構 Meticulous Research 2020 年的報告數據，未來五年網絡安全人工智能市場的復合年增長率為23.6%，到 2027 年的市值將達到 463 億美元。雖然 ChatGPT 是一款人工智能聊天機器人，但是它已經在安全控制和防護機制方面對網絡安全產生了影響。總體看，ChatGPT 在提升網絡安全智能化水平方面，主要表現在以下三個領域。
1. 檢測易受攻擊代碼
ChatGPT 可以幫助安全人員檢測代碼的安全性，并給出如何修復的意見和建議。對于希望快速檢查代碼是否存在漏洞的研究人員而言，雖然 ChatGPT 還存在一定的不足，但是 ChatGPT 確實是一個實用的工具。根據 2023 年 2 月媒體暗讀（Dark Reading）報道，卡巴斯基研究人員維克多·謝爾蓋夫（Victor Sergeev）在一項實驗中發現，ChatGPT 能夠識別系統中運行的惡意程序。研究人員用 ChatGPT 驅動的掃描器掃描被感染的目標系統，最終發現了系統中運行的兩個惡意程序，并成功跳過了 137 個良性進程。這種方法有效提高了安全人員的工作效率，也讓研究人員發現了 ChatGPT 在網絡安全領域的應用潛力。
2. 任務自動化
ChatGPT 在實現網絡安全日常工作的智能化方面也將發揮巨大作用。例如，網絡安全人員可以使用 ChatGPT 加強腳本、策略編排、安全報告的自動化撰寫工作，甚至可以針對滲透測試報告編寫修復指南。同時，ChatGPT 還可以生成報告大綱，在報告中添加自動化元素，也可以根據網絡安全需求輸出網絡安全培訓課程。對于滲透測試和安全產品開發人員來說，ChatGPT 可以幫助生成單元測試代碼或滲透測試的腳本，從而節省開發人員時間，提升效率。因此，ChatGPT 可以被用來輔助完成網絡安全防御任務，包括使用 ChatGPT 生成檢測腳本、解析系統日志，以及完成安全情報眾包、安全事件響應等工作。
3. 降低安全產品使用門檻
由于網絡安全產品具有使用門檻較高、覆蓋用戶較窄的特點，用戶需要具備一定的專業知識，并且需要在使用前進行培訓。對于那些不具備安全專業知識的用戶來說，他們很難有效使用網絡安全產品的功能。ChatGPT 的出現降低了用戶的使用門檻，尤其是在自然語言處理能力方面，有效提升了用戶調用網絡安全產品功能的可能性。例如，美國 Strike Ready 公司開發的 Cara 平臺能夠將自然語言能力融入網安安全產品，讓使用者可以在聊天對話框中向系統發出指令，從而更加高效、簡便地調度安全產品。
二、ChatGPT 帶來網絡安全風險
ChatGPT 能夠幫助檢測易被攻擊的代碼，也可以被黑客利用尋找網站的安全漏洞，從而使網絡安全攻擊變得更加容易。隨著對 ChatGPT 的研究深入，利用 ChatGPT 進行攻擊的方法和技巧不斷被披露，網絡攻擊門檻迅速降低。這些情況也帶來了極大的網絡安全風險。
1. 降低網絡攻擊門檻
與任何新技術、新應用面臨的問題類似，網絡攻擊者也會利用 ChatGPT 作為新的攻擊手段或工具。這將降低網絡攻擊的入門門檻。大模型在訓練過程中，學習了大量數據語料資源，其中，開源機構提供了諸多高質量數據，由于開源數據缺少安全檢驗和過濾機制，很可能導致生成的代碼還存在漏洞。這些漏洞如果被攻擊者利用，將會造成竊取、篡改、刪除數據庫信息，甚至控制服務器等風險。除了可以用于生成網絡攻擊的腳本、釣魚郵件，ChatGPT 也可以被用來破解一些簡單加密的數據。通過釣魚郵件和惡意代碼生成等手段降低攻擊成本的方法，可以使黑客更加容易實施網絡攻擊。可以說，攻擊者不需要深厚的編程技能和大量資金，就可以發起網絡攻擊。對于沒有經驗的人，他們可以利用 ChatGPT 編寫用于間諜、勒索攻擊、釣魚郵件的軟件和電子郵件。例如，不法分子冒充企業營銷團隊要求 ChatGPT 編寫代碼，向大量用戶發送短信和郵件，并在其中隱藏惡意鏈接，從而更快速傳遞違規內容。
2. 惡意代碼編寫
由于可以通過大量的代碼和文本混合數據進行訓練，ChatGPT 極易生成惡意代碼，而這些被訓練的代碼主要來自 CSDN、StackOverFlow、GitHub 等專業網站。例如，犯罪分子利用應用程序編程接口把 GPT 模型接入外部應用，可以繞開安全監管。目前，此類應用已經在暗網公開出售。同時，還有黑客在網絡空間分享如何利用 ChatGPT 建立竊取程序代碼、輔助生成的攻擊腳本、惡意 URL 注入代碼等教學信息。因此，ChatGPT 可以讓沒有編碼技術的人員在短短幾分鐘內炮制出含有惡意軟件的電子郵件，實現對目標進行網絡攻擊。例如，皮庫斯安全公司（PicusSecurity）的安全研究員兼聯合創始人蘇萊曼·奧扎斯蘭（Suleyman Ozarslan）使用 ChatGPT 不僅成功創建了網絡釣魚網站，還為 MacOS 創建了勒索軟件。
3. 敏感數據泄露
由于 ChatGPT 需要廣泛搜集網絡資料以及與人的對話獲得新的信息實現回答的精準度，因此，ChatGPT 具有較強的語言理解能力。在現實應用場景中，已經有用戶在 ChatGPT 生成的內容中發現了與企業內部機密信息十分相似的文本，這些信息如果用來對 ChatGPT 進行訓練和迭代，將會進一步造成數據泄露。根據南方都市報 2023 年 2 月 10 日的報道，微軟首席技術官（CTO）辦公室的一名高級工程師曾指出，在日常工作中不要將敏感數據發送給 ChatGPT，因為這些數據將來有可能會被用于模型的訓練。據 2023 年 4 月 3 日 21 世紀經濟報道，數據安全公司 Cyberhaven 對 160 萬用戶使用 ChatGPT 情況的調查數據顯示，2.3% 的用戶將公司機密數據貼入 ChatGPT，企業員工平均每周向 ChatGPT 泄露機密材料達數百次。
4. 網絡詐騙
雖然 ChatGPT 的開發者要求標注員在評價機器生成的結果時遵循“有用”“真實”“無害”的原則，并明確指出“在大多數任務中，真實和無害比有用更重要”，但是，犯罪分子利用 ChatGPT 撰寫釣魚郵件和勒索軟件代碼仍不可避免。ChatGPT 自有的安全機制雖然能夠識別“網絡釣魚攻擊可用于惡意目的，并可能對個人和組織造成傷害”，但是在使用者一番“說教”或者“誘導提示”后仍然會生成釣魚郵件或勒索代碼。例如，攻擊者可以以安全專家的身份要求 ChatGPT 提供釣魚郵件的案例或模版用于研究，讓使用者用 ChatGPT 輕松生成釣魚郵件的內容。2023 年初，安全技術公司邁克菲（McAfee）利用人工智能生成一封情書，并發給全球 5000 位用戶。結果顯示，在已經告知情書有可能是人工智能撰寫的前提下，仍有 33% 的受訪者認為情書的內容來自人類手筆。同時，2022 年 12 月，新加坡政府安全研究人員創建 200 封釣魚郵件，并與 GPT-3 創建的郵件進行點擊率比較，結果發現，ChatGPT 生成的釣魚郵件被用戶點擊的次數更多。
5. 個人隱私保護與利用
OpenAI 公司公布的隱私政策并未提及類似歐盟《通用數據保護條例》（GDPR）等數據保護法規，而在數據使用的相關條款中，OpenAI 承認會利用手機用戶使用服務時所輸入的數據，但是，對數據的具體用途則沒有進一步說明。目前，對 ChatGPT 在訓練過程中是否有效刪除對個人數據，不得而知。對于 ChatGPT 這樣底層為較大模型的應用來講，全面刪除個人信息的難度較大。ChatGPT 是基于大模型的應用，又處于直接面向用戶的應用場景，因此，將面臨大量安全和隱私問題。
三、客觀看待 ChatGPT 帶來的網絡安全利弊
在新一輪科技競爭中，人們需要在防御性人工智能與攻擊性人工智能競爭中，更有效地學習并利用智能化技術快速提高企業和個人的安全意識和能力。在網絡安全攻防對抗模式下，以智能對抗智能是未來發展的方向。
一是客觀看待 ChatGPT 在網絡安全的應用價值。ChatGPT 可以有效提高安全人員的工作效率。一些基礎和簡單的工作，例如基本的框架性代碼、簡單的語言翻譯、內容摘要等，可以利用 ChatGPT 提高效率。但是，不能完全依賴 ChatGPT 解決所有問題。對于復雜代碼生成、敏感信息的處理，則應慎重使用類似 ChatGPT 的應用，以免帶來黑客入侵、敏感信息泄露等風險。
二是安全意識仍是使用 ChatGPT 等工具的前提條件。研究人員或者使用者，由于并不具備網絡安全相關知識和技能，很容易將包含安全漏洞的代碼作為訓練樣本輸入模型，使模型輸出包含安全漏洞的代碼。因此，使用者需要加強自身的安全意識，在使用 ChatGPT 生成的代碼時要更加謹慎，防止數據泄露或生成的代碼中包含可利用的已知漏洞。若數據中包含密鑰、數據庫賬號和密碼等登錄用的敏感信息，則可能造成入侵事件，甚至引發大規模數據泄露。
三是注重數據在 ChatGPT 應用過程中的安全合規。數據已經成為核心資產，因此，對數據的保護和使用將變得更加重要。在使用 ChatGPT 時，需要避免把敏感信息、重要工作文檔或者數據庫中帶表名、字段的數據發給 ChatGPT 進行數據分析，因為這些數據有可能會被收集并作為訓練數據，存在泄密風險。例如，三星公司曾在使用 ChatGPT 的過程中發生內部會議、數據等敏感信息泄露事件。
四是構建 ChatGPT 的安全可信體系。需要進一步加強 ChatGPT 的可解釋性、魯棒性等，確保模型輸出的內容不帶偏見，并且具備更大的容錯空間。同時，需要探索 ChatGPT 背后大模型的安全評估機制，從典型安全場景、指令攻擊等多個角度不斷提升 ChatGPT 的安全能力和可靠性。
（本文刊登于《中國信息安全》雜志2023年第7期）
來源：中國信息安全