生成式人工智能的網絡安全風險及應對策略
責編：gltian ｜2025-07-01 14:40:37以ChatGPT、DeepSeek等為代表的生成式人工智能技術的廣泛應用，正在深刻重塑網絡空間安全領域的技術競爭格局。從技術賦能角度看，這類技術憑借強大的內容生成能力和態勢感知分析能力，可顯著提升網絡信息處理效率，強化對網絡威脅的智能識別、精準預警和快速響應能力，推動傳統網絡安全防護模式向主動防御方向革新。然而，與之相伴的是深度偽造技術泛濫、算法濫用風險凸顯、模型竊取攻擊頻發等新型安全威脅持續涌現，對現有網絡安全治理體系、監管框架及應對策略形成全方位挑戰。在此背景下，亟需深刻認識生成式人工智能給網絡安全帶來的新變化、新風險與新挑戰，推動構建現代化的網絡安全制度體系，為推進國家網絡安全能力建設提供堅實支撐。
一、生成式人工智能在網絡空間的應用現狀
為應對網絡安全領域快速演進且不斷加劇的風險，世界主要國家加速戰略布局，通過技術研發、行業應用及立法監管等多維路徑，推進生成式人工智能在網絡空間的部署和應用，促進國家數字化轉型，應對網絡安全風險、保障國家安全。
（一）全球主要國家和地區的進展布局
當前，全球主要國家和地區普遍通過技術研發、行業應用及立法監管等方式，積極推動生成式人工智能在網絡空間的落地應用。美國政府持續強化技術投資與產業協同。2024年1月，OpenAI公司修訂了關于禁止其大模型技術用于軍事用途的條款，并與美國國防部聯合開展網絡安全防護系統研發。2025年3月，歐盟委員會發布《數字歐洲計劃（2025-2027年）工作方案》，斥資13億歐元用于人工智能的部署及其在企業和公共管理、云計算、網絡韌性和數字技能方面的應用。
（二）生成式人工智能在網絡空間領域的典型應用
生成式人工智能基于強大的通用性能力可以在網絡空間領域廣泛應用，其中包括輿情操控、敏感信息獲取和網絡攻防等方面。
一是精準內容生成改變輿情操控模式。借助多模態大語言模型，用戶可實現低成本、智能化、個性化的內容創作，大幅提升信息生成與傳播效率。目前，社交機器人已成為社交網絡信息傳播的重要媒介。以社交媒體平臺X為例，在3.19億月活躍用戶中機器人賬戶達4800萬，占比15%。新一代生成式人工智能產品在擬人化、自主交互等方面優勢顯著，具備自然流暢的語言表達與定制人設能力，主動參與輿論傳播，成為事實上的“虛擬用戶主體”。其在低成本、規模化生成內容的同時，也具備更強的輿論操控潛力，可精準傳播特定信息，放大影響效應。在烏克蘭危機、涉華議題等敏感話題中，已監測到多起利用此類技術制造和傳播虛假信息的案例，成為當前網絡空間安全和輿情治理面臨的重要挑戰之一。
二是智能化分析決策便利敏感數據獲取。生成式人工智能通過整合多源數據與語義理解，強化敏感信息識別與重構能力，推動數據獲取向高效精準演進。攻擊者利用大模型的推理特性，可從公開信息推斷敏感數據，甚至還原脫敏內容，形成新型泄露風險。其自然語言交互能力可生成高欺騙性釣魚信息，提升社會工程攻擊成功率。同時，大模型能夠自動識別網絡中存在的接口漏洞或權限控制薄弱點，從而輔助攻擊者精確定位敏感數據存儲位置并發起攻擊。結合多模態技術，還可從圖像、音頻等非結構化數據中提取敏感信息，實現跨平臺數據匯聚，顯著擴展了敏感數據泄露的攻擊面。
三是高仿真演練推動網絡攻防技術轉型升級。隨著生成式人工智能技術的快速發展，網絡攻防演練的形式與內涵正加速向高仿真、智能化方向轉型升級。基于大模型驅動的內容生成與策略規劃能力，網絡靶場建設與實戰化演訓手段得到顯著提升，為網絡安全防護體系的實戰檢驗和技術優化提供了更加逼真的對抗環境和動態推演能力。傳統網絡攻防演練通常依賴預設腳本與靜態攻擊路徑，難以全面反映復雜多變的實戰場景。而生成式人工智能可在攻擊側自動生成多樣化攻擊樣本與行為路徑，有效提升攻擊模擬的多樣性與不可預測性。同時，在防御側，大模型可對系統響應進行實時分析，自動調整防御策略并評估處置效果，構建“虛實結合”的閉環攻防對抗體系。
二、生成式人工智能對我國網絡安全的風險挑戰
當前，我國網絡安全環境既面臨機遇也伴隨著挑戰。生成式人工智能技術在內容生成與傳播、智能化分析決策、技術攻防等方面的應用，為我國在網絡安全領域帶來了新的風險。這些風險包括意識形態滲透、敏感數據竊取以及精準化網絡攻擊等方面。
（一）對我國意識形態滲透與政治認知操控的風險
生成式人工智能有可能成為干擾我國政治意識形態安全的新型工具。一方面，通過深度偽造、信息操控等技術手段，低成本、規模化生產具有迷惑性的虛假信息，沖擊主流價值體系，削弱公眾對政治權威的信任基礎。另一方面，以國外先進生成式人工智能工具為例，存在對我國政治和輿論事務的干擾與意識形態影響的風險，如某境外勢力利用生成式人工智能偽造“某邊疆地區沖突視頻”，通過社交媒體同步轉發，單日傳播量超過2.3億人次，導致地方政府公信力受損。不法分子通過“AI換臉”“AI合聲”等方式，偽造政府領導干部見面、合影、講話等內容，實施詐騙或在工作群大規模誤傳，增加了涉政類事件的欺騙性和危害性。此外，還有攻擊者惡意使用生成式人工智能制作包含錯誤歷史觀的內容，通過算法推薦向青少年群體滲透。在2019年的中美貿易戰期間，社交媒體平臺X上有13%的社交機器人賬號參與相關議題討論并發布了占比近20%的內容；2022年初在烏克蘭危機爆發前后一周內，該平臺上有22.5%的社交機器人賬號參與了“俄烏局勢”涉華議題討論。
（二）對我國網絡數據主權安全與敏感信息泄露的風險
數據作為人工智能的核心要素，對其控制與應用已形成獨特的主導性力量。世界主要國家和地區視數據為國家戰略資產，爭取數據的最大利益。在強化數據安全保護的同時，逐步將數據主權納入國家安全框架，或將引發圍繞數據資源的新一輪國際博弈。網絡空間的虛擬性與泛在性使數據主權面臨雙重挑戰：一方面，生成式人工智能的推廣增強了數據資源主導國對他國數據攫取、監控的可能性，部分國家以“國家安全”為由，通過技術封鎖抑制他國數字服務發展，利用算法優勢實施數據掠奪。數據資源主導國憑借技術壟斷地位，對他國在軍事、科技、經濟等核心領域的敏感數據進行“黑箱”操作，嚴重影響了他國國家安全，削弱他國政府行為的機密性與安全性。另一方面，個人信息泄露風險呈現多維度滲透特征，當普通用戶與生成式人工智能工具進行雙向交互時，其語言特征、行為習慣等數據被持續采集分析。值得注意的是，這種數據收集機制同樣可能延伸至政治精英層面——通過分析國家領導人的語言風格、決策偏好等行為特征，構建精準的數字化人格畫像，進而實現行為預測與決策推演，這對國家治理安全構成潛在威脅。
（三）對我國實施大規模、精準化網絡攻擊的風險
隨著生成式人工智能技術在網絡空間的深度應用，網絡攻擊的復雜性和規模不斷增加。當前，網絡攻擊工具、攻擊頻度、攻擊智能化水平不斷提升，基于生成式人工智能的大規模分布式拒絕服務攻擊、惡意攻擊代碼生成、網絡漏洞滲透測試等攻擊手段趨于成熟，降低了網絡犯罪實施門檻。根據奇安信《2024人工智能安全報告》，2023年，基于人工智能的深度偽造欺詐行為增長了30倍，基于人工智能的釣魚郵件增加了10倍，并且有多個高級持續性威脅組織利用人工智能實施了10多起攻擊事件。2025年1月，某境外組織試圖通過篡改我國西北能源基地路由器DNS，阻斷數據傳輸，意圖引發區域性停電事故。2025年2月，第九屆亞冬會期間，美國國家安全局針對賽事信息系統及黑龍江省能源、交通、國防科研等關鍵領域發動27萬次攻擊，企圖竊取運動員生物特征數據并制造社會混亂。此類事件表明，人工智能驅動的網絡攻擊已從技術驗證階段演進為具有明確戰略意圖的實戰威脅。
三、應對策略
面對網絡安全的風險升級與戰略轉型，我國應以總體國家安全觀為指引，構建適應新形勢的多元化、現代化網絡安全治理體系，通過制度建設、人才培養、監督監管和話語權塑造等多維度協同發力，全面提升網絡安全能力。
（一）完善網絡安全制度體系建設
針對生成式人工智能帶來的突破傳統安全邊界的威脅，需要在現有網絡安全治理路徑的基礎上，構建和發展以“立法約束-標準規范-執行監督”三位一體的治理體系。一是借鑒歐盟《人工智能法案》立法經驗，建立人工智能生成內容分級管理制度，對意識形態相關輸出實施“人工審核+AI監測”雙重篩查機制。推進生成式人工智能領域的專項立法進程，進一步完善《生成式人工智能服務管理暫行辦法》的相關規定，促進生成式人工智能在網絡安全領域中治理目標、治理機制的統一。二是建立動態安全標準體系，推進制定生成式人工智能數據標注、深度偽造技術檢測等相關的技術規范。在金融、能源等核心領域推行“數據安全護欄”技術標準，確保敏感數據處理過程可管可控；三是強化跨部門協同治理機制。建議由有關部門聯合組建“人工智能安全聯合指揮中心”，建立威脅情報共享與聯合處置機制。
（二）加速重大技術創新與人才培養
新興技術的發展具有長期性和系統性特征，往往受到多重因素的影響，例如基礎研究突破、人才隊伍建設、相關政策扶持等方面。為在全球生成式人工智能競賽中占據戰略主動，我國亟需破除影響技術發展的體制機制障礙，充分釋放生成式人工智能的創新動能。一方面，在生成式人工智能技術不斷加速發展的現實情況下，我國應積極推動生成式人工智能的基礎理論發展與重大技術應用的突破。調動研發、應用鏈的各參與主體，實現互動協同，共同提升大模型研發中的原始創新能力。另一方面，新興技術的發展離不開人才。構建以青年托舉人才、青年拔尖人才、領軍人才等為主體的階梯式人工智能人才成長體系，通過一系列特殊政策、硬核措施，重點支持培養高水平工程師和高技能人才。推動構建高等學校、企業、研究機構三位一體的人工智能應用人才培養模式，鼓勵企業與高校聯合設計研究項目和實習計劃，幫助學生將理論知識和實際應用場景結合。同時，政府加大對人工智能人才與網絡安全人才的政策支持力度，推動網絡安全與人工智能創新復合型人才的培養。
（三）構建全球網絡空間話語體系
習近平總書記指出，“掌握網絡意識形態主導權，就是守護國家的主權和政權”，強調“要把網上輿論工作作為宣傳思想工作的重中之重來抓”。在網絡安全治理工作中，堅持統籌發展和安全的重要原則，推進我國在全球互聯網治理體系中的話語體系建設。從國際形勢來看，西方國家長期壟斷國際傳播話語權，通過渲染“中國威脅論”在國際社會中制造安全焦慮情緒，同時肆意歪曲我國國際形象，致使我國網絡空間主權維護面臨嚴峻挑戰。為此，在國內層面，我國應優化宣傳工作和網絡輿論引導，加強網絡內容建設和治理，豐富主流話語表達方式和敘事策略，從而促使數字文化繁榮和文化自強。在國際層面，積極適應國際輿論環境的發展變化，探索符合國際傳播語境的主流話語形態，充分發揮主流媒體在國際傳播中的積極作用，不斷拓展中國話語的全球敘事空間與價值認同基礎。
（本文刊登于《中國信息安全》雜志2025年第3期）