2025 AI大模型安全防護：AI安全部署實戰指南
責編：gltian ｜2025-03-17 15:45:01自 2025 年初以來，人工智能的發展速度令人震撼。企業在廣泛采用 AI 時仍面臨諸多挑戰，包括成本、幻覺、以及安全隱患等問題。
目前，企業正處于重要的十字路口：要么部署 AI，要么被市場淘汰。網絡安全供應商則正迎來一個重大機遇——通過保障 AI 安全，幫助企業順利落地 AI 大模型，從而實現實質性商業價值。
本報告將提供詳盡的指導，助力企業在 2025 年安全高效地部署 AI。
一、行動指南摘要
1. 報告概述
2024 年，SACR（Software Analyst Cyber Research）發布了一份關于企業如何保障 AI 安全的深度研究報告。本文是上一份研究的 2.0 版本，結合了過去 8 個月的市場洞察，分析了多個 AI 安全供應商，可幫助企業實現 AI 治理、數據安全和模型保護。
本報告幫助讀者深入了解以下關鍵內容：
- 2025 年 AI采用及相關安全風險現狀。
- 2025 年AI安全市場分類及供應商核心關注點。
- 基于首席信息安全官（CISO）訪談的 AI 安全部署建議。
2．AI 安全解決方案
研究發現，市場上許多安全供應商的能力存在較大重疊。一些供應商功能較為全面，而另一些則是相對較新的市場參與者。整體來看，三大核心能力尤為突出。
- AI 治理控制（AI Governance Controls）
- AI 運行時安全（Runtime Security for AI）
- AI 滲透測試與紅隊對抗。
3. 2025年AI發展趨勢
當前，企業面臨的最顯著安全風險與AI大模型相關。SACR 的研究表明，企業 AI 采用率在快速增長，尤其受 DeepSeek R1 等技術進步的推動。
因部署簡便，很多企業仍然偏好托管AI 服務。開源 AI 解決方案不斷進步，但大多數企業仍傾向于使用閉源模型。企業自托管（Self-hosting）AI 模型的趨勢上升，主要是受數據隱私和模型全生命周期完全控制的需求推動。
本報告可幫助安全從業者理解 AI 安全挑戰，并掌握市場上的安全解決方案。
4. 企業 AI 安全防護建議
- 數據安全控制：企業在部署 AI 之前，必須優先考慮基礎的數據安全防護措施。
- AI預防性控制與治理控制：企業應部署 AI 發現與清單管理解決方案，追蹤 企業內的AI 位置、用途及責任人。
- AI 運行時安全：這是當前企業 AI 安全中改進空間最大的領域。本文詳細分析了現有網絡安全措施在應對 AI 特定風險時的缺陷與局限性。
5. 市場分類
根據 SACR 的研究，AI 安全供應商大致可分為兩大類。
- 保護員工AI使用安全 & 企業AI 智能體安全。
- 保護AI 產品 & 應用模型全生命周期安全。
人工智能AI安全市場分類
二、簡介
人工智能為企業帶來了重大變化和機遇。2023 年，人工智能興起，一些組織成為早期采用者。2024 年，企業采用人工智能的人數顯著增加，但此前觀察到的任何情況都無法與 2025 年的浪潮相比。由于安全和隱私風險，許多企業一直猶豫是否采用人工智能。然而，到 2025 年，未采用人工智能的企業將不能再繼續保持競爭力。現在到了企業必須積極采用人工智能的時候了。
· 人工智能對企業的好處?– 成本節約和支出：對于許多企業來說，采用人工智能的投資回報主要是成本節約，而不是新的收入機會。預計到 2025 年，企業在人工智能上的支出將增加約 5%。IBM公司表示，該公司計劃將其收入的平均 3.32% 用于人工智能——對于一家價值 10 億美元的公司來說，這相當于每年 3320 萬美元。
· 采用人工智能的安全挑戰：采用人工智能，無論是 LLM、GenAI 還是 AI 代理，都面臨重大挑戰。包括 CISO、CIO、數據副總裁和工程副總裁在內的人工智能決策者都對數據安全、隱私、偏見和合規性表示擔憂。多起訴訟導致公司因錯誤實施人工智能而遭受財務損失和聲譽受損。例如，加拿大航空的聊天機器人向客戶提供了喪親票價的誤導性信息，后來被勒令向客戶退款。在另一起案件中，一家韓國初創公司在聊天中泄露了敏感的客戶數據，被韓國政府罰款約 9.3 萬美元。雖然這些金額看起來像是“輕微”罰款，但情況可能要糟糕得多。2023 年 2 月，谷歌在其 Bard AI 聊天機器人分享了不準確信息后，市值縮水了 1000 億美元。
知名 CISO 觀點：
“這是網絡安全首次成為業務驅動力——安全積極支持業務發展。人工智能 (AI) 和大型語言模型 (LLM) 正在改變行業、提高效率并釋放新的商機。然而，快速采用帶來了重大的安全、合規和治理挑戰。組織必須在 AI 創新與風險管理之間取得平衡，確保監管一致性、客戶信任和董事會層面的監督。如果沒有結構化的安全策略，公司將面臨敏感數據泄露、對手操縱和利益相關者信心受損的風險。AI 安全不再僅僅是運營問題；它是一項戰略要務，直接影響企業風險、監管風險和長期業務可行性。”
三、2025年企業AI部署現狀
1、2025人工智能部署率繼續攀升
正如本報告前文所述，企業對 AI 的投資市場正在快速增長。《全球生成式 AI 安全就緒度報告》指出，42% 的企業已在多個業務領域積極部署大語言模型（LLM），另有45% 的企業正在探索AI應用。AI 的采用正在多個行業加速發展，尤其是在法律、娛樂、醫療和金融服務領域增長顯著。
根據 Menlo Ventures《2024 企業生成式 AI 現狀報告》，行業的AI 相關支出從1億到5 億美元不等。報告還指出，企業級生成式 AI 的主要應用場景還包括代碼生成、搜索與檢索、摘要提取以及智能聊天機器人。
整體來看，企業 AI 采用率持續攀升，目前超過 85% 的企業已在云環境中使用托管或自托管的 AI 解決方案，表明 AI采用率雖然趨于穩定，但仍在增長。其中，托管 AI 服務的使用率已從前一年的 70% 增長至 74%，顯示出企業對托管 AI 解決方案的持續青睞。
2、開源 vs. 閉源模型：未來使用將趨平衡
企業最初主要使用閉源模型，但如今越來越多地轉向開源模型。Andreessen Horowitz 的《企業構建和購買生成式人工智能方式的 16 項變化》的報告預測，41% 的受訪企業將在其業務中增加使用開源模型來代替閉源模型。該報告還預測，如果開源模型的性能與閉源模型相當，另外 41% 的企業將從閉源模型轉向開放模型。
開源模型的優勢包括由于無許可費用成本較低、全球社區快速創新、定制化和透明度。這有可能推動企業更多地采用。許多最受歡迎的AI技術要么是開源，要么與開源生態系統緊密相關。
在 DeepSeek 引發顛覆性變革后，人們對開源模型的興趣進一步升溫。盡管 DeepSeek-r1 存在許多安全問題，但其性能表明開源模型在性能和成本方面都與閉源模型具有很強的競爭力。
Andreessen Horowitz 預測，未來開源與閉源 AI 模型的使用比例將趨于平衡。相較于 2023年市場80%～90% 由閉源模型主導的情況，市場趨勢發生了顯著變化。
選擇閉源模型的團隊通常采用商業授權模式，支付相應費用，并簽署協議，確保模型提供商不會將企業輸入的數據用于訓練。這種模式為企業提供了更強的數據隱私保障和合規性支持。
選擇開源模型的團隊則需要更加關注 AI 模型生命周期的安全，確保模型能夠按照預期輸出結果，并且具備較強的抗越獄能力，以防止被濫用或攻擊。
3、托管vs自托管：自托管大幅躍升
許多企業都依賴托管 AI 產品（到 2025 年，這一比例將從 70% 增長到 74%），但報告強調，自托管 AI 的采用率大幅上升，同比從 42% 躍升至 75%。這一激增源于嵌入第三方軟件的 AI 功能以及尋求對其 AI 部署進行更大控制的組織。向自托管 AI 的轉變需要強大的治理來保護云環境。
4、安全影響
企業在 AI 采購和部署方面面臨諸多選擇，這也涉及 AI 安全方案的采購。首席信息安全官（CISO）更傾向于選擇能夠在現有架構內運行、無需依賴外部第三方來維護數據隱私的解決方案。同時，CISO 和產品高管希望 AI 安全產品具備可配置性，使團隊能夠針對不同項目定制檢測設置。例如，某些項目可能需要對 PII（個人可識別信息）泄露采取更嚴格的敏感性控制，而另一些項目則需要加強對有害內容的監控。
歸根結底，AI 和模型安全是一個快速發展的領域。CISO、CIO 以及產品和工程負責人普遍強調，AI 安全產品必須具備快速創新能力，以跟上行業發展步伐。首席信息安全官強調，真正的 AI 威脅可能在未來 2～5 年內才會完全顯現，因此，AI 安全產品必須持續應對新興威脅，以確保長期安全性。
四、2025年企業AI開發中的風險與挑戰
根據我們的研究，進入 2025 年后，企業面臨的風險依然嚴峻，尤其是在 DeepSeek 等開源模型出現顯著進展后。在眾多安全框架中，以下三個框架是企業最常用的AI風險分類與評估工具。
1、AI威脅框架
- OWASP 大模型LLM 和生成式 AI 十大威脅：CISO 依靠 OWASP 十大框架來識別和緩解關鍵的 AI 威脅。該框架重點介紹了諸如提示詞注入（#1）和過度代理（#6）等關鍵風險，幫助團隊實施適當的輸入驗證并限制 LLM 權限。
- MITRE ATLAS ：MITRE 的 AI 系統對抗威脅形勢 (ATLAS) 框架全面梳理了AI系統可能面臨的威脅與攻擊手法。該框架概述了拒絕服務和模型投毒等場景。其他關鍵資源包括 Google 的安全 AI 框架、NIST 的 AI 風險管理框架和 Databricks AI 安全框架。
- 生成式AI攻擊矩陣：該知識源矩陣系統化梳理了攻擊者針對生成式AI系統、智能助手（Copilot）及智能體所采用的戰術、技術與流程（TTP）。其設計靈感源自MITRE ATT&CK等框架，旨在幫助組織識別Microsoft 365、容器及SaaS環境中特有的安全風險。
企業面臨的AI風險可以分為兩個主要領域：
- 員工活動與 AI 使用安全。企業需要確保員工在使用 AI 工具（如 ChatGPT、Claude、Copilot 等）時不會無意間泄露敏感信息或違反合規規定。主要風險包括：數據泄露與合規風險、影子AI風險、風險 AI 生成內容（AIGC）、訪問控制與權限管理。自研 AI 應用的全生命周期安全。對于開發和部署自研 AI 應用的企業來說，AI 模型的安全性、完整性和運行時防護至關重要。主要風險包括：AI 供應鏈安全、運行時攻擊與 AI 保護、生成式AI風險管理。
2、圍繞 AI 使用、活動和防護措施的安全風險
最近數月，集成Microsoft Copilot、Google Gemini、ServiceNow 和 Salesforce等AI工具的企業遇到重大安全挑戰。
主要問題是權限過高，AI助手訪問的數據超出了必要范圍，導致敏感信息意外泄露。例如，Microsoft Copilot 與 Microsoft 365 的深度集成使其能夠聚合大量組織數據。如果權限管理不善，可能會造成安全漏洞。
以下是截至 2025 年發現的突出風險，主要集中在人工智能的使用、數據暴露和政策違規方面。
- 數據泄露和隱私問題：企業希望更好了解未授權AI 系統相關的數據泄露風險。這對于金融和醫療保健等受監管行業的組織尤其重要，因為數據泄露可能會導致嚴重的監管處罰和聲譽損害。2025 年，通過 AI 應用程序處理敏感數據的公司正在積極評估和實施強有力的保障措施，以確保遵守 HIPAA、GDPR 和其他法規。
- 影子人工智能泛濫：2025 年企業面臨的一個主要挑戰是員工廣泛采用未經授權的人工智能工具。這些未經批準的人工智能應用（包括廣泛使用的聊天機器人和生產力工具）在組織控制之外運行，因此構成了重大的安全風險。雖然已經出現了大模型防火墻和其他保護措施來解決這個問題，但迅速擴張的人工智能領域使全面監控變得越來越復雜。企業必須通過明確定義的人工智能使用政策和技術控制來平衡創新與安全。
五、保障企業自研AI應用全生命周期安全
1、AI 全生命周期安全保障不同于與傳統軟件開發 (SDLC)
確保 AI 全生命周期的安全面臨著與傳統軟件開發不同的獨特挑戰。雖然、靜態應用安全測試 (SAST)、動態應用安全測試 (DAST) 和 API 安全等傳統安全措施仍然適用，但AI 開發與部署流程（AI Pipeline）帶來了額外的復雜性和潛在的盲點。
- 擴大攻擊面：數據科學家經常使用 Jupyter 筆記本或 MLOps 平臺等環境，這些環境在傳統的持續集成/持續部署 (CI/CD) 管道之外運行，從而產生潛在的安全盲點，這些盲點往往比傳統代碼更隱蔽。人工智能系統面臨著特定的威脅，包括數據投毒和對抗性攻擊，惡意攻擊者將損壞或誤導性的數據引入訓練數據集，從而損害模型的完整性。
- 更復雜的 AI 生命周期組件：AI 開發過程包含不同的階段——數據準備、模型訓練、部署和運行時監控。每個階段都會引入獨特的漏洞和潛在的錯誤配置，因此需要專門的安全檢查點。
- 供應鏈安全和 AI 物料清單 (AI-BOM) ：AI 應用通常依賴大量數據，可能會使用開源模型或數據集。如果沒有經過細致的審查，這些組件可能會引入漏洞，導致 AI 系統被破壞。鑒于復雜的依賴關系（包括腳本、筆記本、數據管道和預訓練模型），對 AI 物料清單 (AI-BOM) 的需求日益增加。AI 物料清單（AI-BOM）是一份完整的清單，有助于識別和管理 AI 供應鏈中的潛在安全風險。
在不深入探討的情況下，其他包括監控RAG訪問、治理與合規問題以及運行時安全需求。
2、AI開發生命周期分步說明
人工智能（AI）開發生命周期引入了獨特的安全挑戰，需謹慎考量。明確構建和開發AI模型的核心步驟至關重要。
- 數據收集和準備：收集、清理和預處理數據，確保質量和合規性。在應用特征工程時將數據拆分為訓練集、驗證集和測試集。
- 模型開發與訓練：選擇合適的模型類型和框架，使用優化技術進行訓練，并進行微調以提高準確性。解決偏見、公平性和對抗性攻擊等安全風險。
- 模型評估與測試：使用關鍵指標評估性能，進行對抗性測試，對極端情況進行壓力測試，并確保可解釋性。檢測數據中毒、后門和模型漂移。
- 部署和持續監控：通過 API、云或邊緣設備部署模型，實施實時安全監控，通過 MLOps 自動重新訓練，并審核 AI 決策以確保合規性和安全性。
3、開發AI 應用各階段相關的風險
- 數據丟失：企業在開發 AI 應用時面臨重大的安全風險。其中數據泄露是最令人擔憂的問題之一。特別是在使用連接互聯網的AI模型或缺乏合同保障防止模型使用客戶數據 訓練時，數據泄露的可能性更高。這些風險不是理論上的——它們現在正在發生。企業必須徹底檢查模型提供商的隱私政策和數據處理實踐。
- 易受攻擊的模型：隨著組織認識到 AI 構建者的運作方式與傳統軟件團隊不同，MLSecOps 應運而生。機器學習工程師和數據科學家在 Databricks 和 Jupyter Notebooks 等專業環境中工作，而不是在標準開發管道中工作。這些環境需要監控錯誤配置和泄露的機密。MLSecOps 包括掃描模型中的漏洞和后門——類似于掃描軟件依賴關系以確保供應鏈安全。這種做法至關重要，因為攻擊者已經證明他們可以從存儲庫下載模型，修改它們以將數據傳輸到惡意服務器，并重新分發它們供毫無戒心的用戶下載。
- 數據投毒：數據投毒（Data Poisoning） 是 AI 安全的關鍵風險，它可能導致AI 模型被植入后門，進而影響 AI 預測結果，甚至讓模型執行惡意行為。Orca Security 發布了一款名為 AI Goat 的 AI 安全教育工具，其中專門演示了數據投毒攻擊的危害。其核心原理是，攻擊者上傳新數據或篡改 AI 訓練數據，讓模型在學習過程中受到污染，從而改變其行為。數據投毒與模型投毒密切相關，這是一種允許攻擊者在模型中插入后門的威脅。后門植入后，模型在普通輸入下表現正常，但在特定觸發條件下會執行惡意操作。傳統安全掃描工具難以發現 AI 模型中隱藏的后門。2024年，人類學研究人員在一篇題為《潛伏特工：訓練通過安全訓練持續存在的欺騙性 LLM 》論文中揭示了這一點。
- 安全團隊缺乏機器學習專業知識：通過機器學習引入的欺騙性行為已成為 AI 安全領域的重要關注點。OWASP AI/LLM 安全研究員 Emmanuel Guilherme在《全球生成式 AI 安全就緒度報告》中談到了機器學習的復雜性及其對人工智能安全的影響。Guilherme 表示：“保護 AI 系統的最大障礙是可見性缺失，尤其是在使用第三方供應商時。理解機器學習流程（ML flow） 的復雜性以及 對抗性機器學習（Adversarial ML）的微妙之處，使這一挑戰更加嚴峻。構建強大的跨職能機器學習安全團隊極具挑戰性，需要來自不同背景的專業人員共同創建全面的安全場景。”機器學習在 AI 應用開發中扮演著重要角色，這一領域的復雜性催生了一個新的術語——MLSecOps。MLSecOps 專注于在機器學習工作流（如數據管道和 Jupyter Notebooks）中嵌入安全機制，確保 AI 開發過程中的安全性。
- 提示詞攻擊和越獄攻擊：在 AWS re:Inforce 2024 大會上，亞馬遜首席安全官 Stephen Schmidt 強調，AI應用需要持續測試，因為大語言模型不僅在發布新版本時會發生變化，還會隨著用戶的交互不斷演變傳統的安全方法只關注左移掃描——即在代碼發布前進行評估，但這種方式無法滿足 AI 應用的安全需求。AI 應用需要持續的安全掃描，尤其是在運行時（Runtime）。在運行時，AI 應用可能會遇到提示詞攻擊，例如直接提示詞注入、間接提升詞注入和越獄。這些攻擊可能導致未經授權的訪問、數據泄露或生成有害輸出。
六、現有網絡安全控制措施
目前，企業主要采用三種方法來保護 AI 系統。沒有一種萬能的方法。通常，企業會結合其中2～3種方法來增強 AI 安全性。
1、 模型提供者和自托管解決方案
2、現有的安全控制措施和供應商
3、引入新興 AI 安全供應商
1、模型提供商和自托管解決方案
此類供應商包括 OpenAI、Mistral 和 Meta 等 AI公司。這些企業在 AI 模型的訓練和推理過程中，將安全性、數據隱私和負責任的 AI 保護嵌入到他們的模型中。他們的主要重點仍然是構建最先進、最高效的 AI 模型，而不是優先考慮安全性。因此，許多企業尋求 獨立的安全層，以保護在不同環境下運行的所有 AI 模型。
- 自托管模型：部分企業選擇自托管 AI 模型，主要是為了增強安全性和數據隱私保護，確保敏感信息不會離開企業內部可控的基礎設施。這種方法在金融、醫療和政府等受嚴格監管的行業尤為重要。通過自托管，企業可以完全控制模型的更新、微調和安全協議，減少對外部供應商的依賴，避免可能的安全漏洞。
- 第三方模式：使用第三方 AI 模型存在一定的安全風險，因為數據需要傳輸到外部服務器，從而增加了數據泄露、政策變更和供應商鎖定（Vendor Lock-in）的風險。因此，完全依賴第三方云端 AI 模型的企業通常會部署額外的獨立安全措施，以減少潛在的威脅。
2、傳統網絡安全防護措施
許多企業已經部署了一定程度的網絡安全措施，以保護數據、網絡和終端設備。研究發現，缺乏專門 AI 安全解決方案的企業通常依賴現有控制措施。然而，這些措施在 AI 安全領域各有優劣，企業需要充分了解其能力和局限性，以制定有效的 AI 安全策略。
1）網絡安全
- 防火墻/SASE ：傳統網絡安全措施（包括防火墻和入侵檢測系統）有助于保護 AI API 端點及數據流量，防止未經授權的訪問和橫向移動攻擊。部分企業會實施專門針對 AI 的防火墻規則來限制高風險 API 查詢，例如限制 LLM API 請求的速率以防止模型提取。但傳統防火墻難以檢測惡意 AI 提示詞注入（Prompt Injection）或防范 AI 模型篡改（如后門攻擊）。一些供應商（如 Witness AI）已經與 Palo Alto Networks 等網絡安全公司合作，強化 AI 相關策略執行。
- Web 應用防火墻 (WAF)。WAF也可以限制 AI 推理請求的速率，以防止模型抓取（Model Scraping）并緩解自動提示詞注入攻擊（Prompt Injection）。但WAF 并不具備專門的 AI 威脅檢測能力。
- 云訪問安全代理 (CASB)。CASB 可查看和控制流經云環境的 AI 相關數據，從而可有效保護 AI SaaS 應用并防止影子 AI 部署。但 CASB 主要關注訪問控制和云數據安全，并不直接保護 AI 模型本身。
2）數據防泄漏 (DLP) 和數據安全態勢管理 (DSPM)
數據丟失防護 (DLP) 和數據安全態勢管理 (DSPM)解決方案旨在保護敏感信息免遭未經授權的訪問或泄露。在 AI 系統中，這些工具有助于防止意外或故意泄露個人身份信息 (PII) 或專有業務數據。然而，它們往往無法解決特定于 AI 的威脅，例如通過 API 抓取或分析AI 模型邏輯的復雜性而導致的模型泄露。此外，如果沒有 AI 感知策略，這些工具可能無法有效緩解大型語言模型 (LLM) 特有的風險，例如提示詞泄漏。
3）云安全 (CNAPP 與 CSPM)
由于 AI 模型經常部署在 AWS、GCP 或 Azure 等云平臺上，云原生應用保護平臺 (CNAPP) 和云安全態勢管理 (CSPM) 工具可以識別錯誤配置。許多供應商已開始擴展相關功能，以專門檢測以云為中心的 AI 模型的漏洞。
4）端點檢測和響應 (EDR)
端檢測與響應（EDR）解決方案適用于檢測惡意軟件和傳統端點威脅，但它們通常不會監測AI 模型威脅，例如未經授權的推理嘗試或旨在提取模型功能的 API 抓取活動。
5）應用安全掃描器 (SAST/DAST)
靜態和動態應用安全測試工具能有效評估傳統應用程序的漏洞。然而，它們很難評估 AI 模型行為或評估其抵御對抗性攻擊（Adversarial Attacks）的能力。目前，一些新興供應商正在嘗試彌補這一缺陷。
6）瀏覽器安全
瀏覽器安全措施可以控制 AI 聊天機器人的使用，但它們無助于保護專有 AI 模型本身。這些控制僅限于用戶交互層面，并未擴展到底層 AI 基礎設施。
傳統的安全供應商開始檢測 AI 流量和鄰接領域。一些供應商已開始將 AI 安全防護功能納入其產品中。然而，該領域的創新仍然緩慢，這些供應商尚未提供突破性的 AI 安全功能。此外，由于他們涵蓋了廣泛的安全領域（包括云、網絡和端點安全），AI 安全通常只是其產品組合的一個方面，而不是重點。
3、新興專攻型AI安全解決方案
第三類包括專注于AI安全的新興企業。這些公司大多聚焦于細分領域的挑戰，包括保障AI使用安全，防御提示詞注入攻擊（Prompt Injection Attacks），識別開源大語言模型（LLMs）中的漏洞。從當前分析可見，AI安全需求迫切且覆蓋領域廣泛，其問題集合龐雜多樣，需在快速演進的生態中持續應對。
七、市場解決方案：如何保障 AI 安全
本部分基于市場研究，概述了企業在 AI 安全方面的關鍵需求和防護策略。
以下是典型企業 AI 架構的安全概覽（假設企業未完全依賴封閉源模型和廠商托管環境）。
1、數據與計算層（AI 基礎層安全）。企業需要保護其數據庫、數據湖或云存儲服務（如 AWS S3）中的數據，并可能已經部署向量數據庫。為確保數據安全，應實施嚴格的數據治理，防止未經授權的數據訪問或篡改。
2、AI 模型與推理層（保護 AI 邏輯安全）。企業通常會使用基礎模型（Foundation Models）、微調模型（Fine-Tuned Models）（開源或閉源）、嵌入模型（Embeddings）、推理端點（Inference Endpoints）以及AI 代理工作流（Agentic Workflows），這些可以自托管或部署在公共云上。企業必須保障整個AI生命周期的安全，從構建到運行時。
3、AI 應用和用戶交互層（保護 AI 使用安全）：企業通常會采用AI 助理（Copilot）、自主智能體（Autonomous Agents）或聊天機器人（Chatbots）。企業必須保護提示詞安全（Secure Prompting）、實施訪問控制（RBAC）以及內容過濾（Content Filtering），防止 AI 生成不當內容或導致數據泄露。
在上述各個層級中，企業應根據自身的 AI 戰略，在數據與計算層、AI 模型與推理層、AI 應用與用戶界面層選擇一到兩家專業安全供應商，以全面保護 AI 生態系統。
八、SACR 針對安全 AI 部署的建議
- 數據安全控制
- AI預防性控制和風險控制
- AI運行時安全
1、AI 數據安全控制
強大的 AI 安全策略離不開穩健的數據安全控制，因為 AI 模型的安全性和可信度取決于其訓練和交互的數據。AI 系統引入了與數據訪問、完整性、泄漏和治理相關的新風險，這使得數據安全成為 AI 部署的基礎要素。在《全球生成式AI安全準備報告》中，受訪者（包括首席信息安全官、業務用戶、安全分析師和開發者）將數據隱私和安全視為 AI 采用的主要障礙。
Vanta 的信息與合規經理 Adam Duman 指出，人工智能會讓現有的安全問題更加嚴重。如果公司正在構建 GenAI 應用或 AI智能體，他們會希望使用自己的數據，并會考慮可信度、負責任的輸出和避免偏見。例如，如果一家公司沒有現有的數據治理措施，如數據標記政策，這些問題在 AI 中會變得更加嚴重。
企業在選擇安全供應商時，應重點關注如何在 AI 利用數據之前的每個階段確保數據安全。關鍵措施包括：
- 數據安全態勢管理（DSPM）：DSPM解決方案可掃描企業環境，提供全面的數據可見性，并幫助企業識別需要符合 GDPR、CCPA、HIPAA 及 AI 相關法規的數據集，確保 AI 部署合法且合規。原因是 AI 系統需要大量結構化和非結構化數據，但并非所有數據都應該可供 AI 模型訪問。因此，公司應該使用 DSPM 來發現敏感數據。
- 角色與屬性訪問控制（RBAC & ABAC）：企業應部署基于角色（RBAC）和基于屬性（ABAC）的訪問控制，以確保AI 模型和員工只能訪問授權數據集。
- 數據丟失預防 (DLP)：公司應防止敏感數據泄露到生成式 AI 模型中，因為員工可能會無意中輸入受監管或機密的信息。
2 、AI 預防性控制與治理控制措施
組織應采取主動措施保護人工智能。這些關鍵要素包括：
- AI 治理策略（Governance Policies）：企業必須制定全面的治理和安全策略，以確保 AI 的安全部署和使用可控。治理控制應覆蓋 AI 使用情況監測，確保企業內所有 AI 使用（無論是否正式批準）都受到監管；AI 應用開發與部署全生命周期安全保護。
- AI 發現與資產清單管理（哪里、什么和誰）：企業應部署AI資產發現和盤點管理解決方案，以回答 “AI 在哪里、做什么、由誰使用？”企業無法保護他們看不到的東西——這一基本的網絡安全原則同樣適用于 AI。企業必須了解 AI 在內部的使用情況：員工是否與 ChatGPT、Claude 桌面版交互，或從 HuggingFace 下載開源模型？通過映射已批準和影子 AI 的使用情況，企業可以有效地掃描模型，生成式 AI 物料清單 (AI-BOM) 以驗證模型來源，并監控數據丟失。使用開源模型的企業應該掃描所有模型，分析不同 AI 模型的安全性與防護能力。通過 MLSecOps 了解模型來源有助于識別潛在的偏見。企業還應仔細審查供應商隱私政策，評估數據傳輸路徑，確保數據主權合規以確定組織數據的傳輸位置。
- AI 安全態勢管理 (SPM) 解決方案：人工智能安全態勢管理（AI-SPM ）方案可對 AI/LLM 部署進行安全評估、風險監測和策略實施，從而提供可見性、風險檢測、策略實施和合規性。AI-SPM方案保護 AI 模型、API 和數據流，免受基于模型的攻擊和數據泄露。利用云安全態勢管理 (CSPM) 和數據安全態勢管理 (DSPM) 功能，AI-SPM 可確保安全團隊擁有實時的 AI 資產清單。AI-SPM 在整個 AI 生命周期中檢測錯誤配置、數據泄露和模型完整性風險。此類別的 AI 安全公司可幫助企業了解 AI 的使用位置和所連接的工具。
- AI滲透測試與AI紅隊：生成式AI滲透測試和 AI 紅隊在識別漏洞、測試彈性和增強整個 AI 模型生命周期的安全性方面發揮著關鍵作用。它們的主要功能是模擬對抗性攻擊，以在 AI 模型中發現安全漏洞，以免它們在現實場景中被利用。AI 滲透測試和紅隊應作為主動控制措施來實施，，以確保安全的AI開發實踐、政策合規性以及在合規和治理層面進行風險評估。企業還應在實時環境中進行紅隊模擬，以檢測模型漂移和運營風險。
知名 CISO 觀點：
“為了應對這些風險，企業必須為AI集成零信任架構（ZTA），確保只有經過身份驗證的用戶、應用和工作流可以與AI系統交互（云安全聯盟，2025年）。AI數據治理和合規框架還必須與歐盟AI法案和SEC網絡規則保持一致，以提供透明度和董事會級別的AI風險管理可見性。通過嵌入AI安全設計，企業可以在保持業務敏捷性和創新的同時，滿足監管要求。對于大規模部署AI的企業，主動風險緩解至關重要。實施AI安全物料清單（AI-SBOMs）加強供應鏈安全，而AI紅隊測試則在被利用之前識別漏洞。隨著AI法規的演變，安全領導者必須投資于持續監控、網絡風險量化（CRQ）以及與行業風險管理框架（例如，NIST、ISO/IEC、OECD）合規的一致性，以保持韌性。將AI安全嵌入其核心戰略的組織——”
3、AI運行時安全
企業必須為 AI 模型實施運行時安全，在推理和主動部署期間提供實時保護、監控和威脅響應。運行時安全應利用檢測和響應代理、eBPF 或 SDK 進行實時保護。運行時是 AI 安全的重要組成部分。在題為“潛伏代理：在安全訓練中持續存在的欺騙性 LLM 訓練”的論文中，Anthropic 研究人員展示了帶有后門的模型在訓練和部署中如何故意表現出不同的行為。此類別的 AI 安全供應商可識別帶有隱藏后門的模型，并監控傳入的提示注入或越獄嘗試。這些解決方案還可以檢測重復的 API 請求，這些請求表明存在模型盜竊或其他可疑活動。供應商還應針對基于 API 的 AI 服務實施實時身份驗證。
可觀察性是運行時安全的延伸。目標是讓企業捕獲AI活動的實時日志和監控，例如捕獲推理請求、模型響應和系統日志以進行安全分析。它允許企業在實時中跟蹤訓練進度和AI響應。可觀察性具有兩個關鍵功能：一是幫助團隊改進和調試AI聊天機器人，二是能夠檢測有害或意外的響應——在需要時允許系統拋出異常并提供替代響應。這一領域的AI安全供應商幫助企業有效地調試應用程序和評估響應。從構建到部署的整個生命周期需要持續監督。由于AI的非確定性，即使是強大的安全防護措施也不能保證一致的響應。這些解決方案應與SIEM（安全信息和事件管理）和SOAR（安全編排、自動化和響應）系統集成，以實現實時事件響應和分析。
九、AI 安全市場格局
AI 安全生態系統龐大且充滿挑戰，AI安全供應商可劃分為兩個主要類別。
1、員工 AI 使用安全防護：應對企業員工與大模型交互的風險
這一類別的重點在于防止企業因員工使用 AI 工具而面臨的安全風險，尤其是針對生成式 AI 應用（如 ChatGPT、Claude、Copilot）。該領域的供應商主要致力于：防止數據泄露、阻止未經授權的訪問，以及確保合規性。
其核心功能包括監控 AI 使用情況、實施應用安全策略、內容審核以及AI 專屬數據防泄漏（DLP），以避免員工在 AI 交互過程中暴露敏感信息或使用未經批準的 AI 工具。
這一類別的AI安全供應商提供開箱即用和可定制的政策，用于管理允許通過AI應用程序傳輸的數據。這種方法有時被稱為“AI防火墻”， 可作為數據代理層，控制通過API、瀏覽器或桌面工具傳輸到 AI 應用的數據。
這些供應商還提供治理控制，以確保企業政策在數據和AI應用訓練時得到執行。他們實施基于角色的訪問控制（RBAC），以最大限度地減少企業內部信息的過度共享或不足共享，并對 AI 交互內容進行意圖分類或歸檔，以追蹤員工如何使用 AI 模型。
2、保護 AI 模型安全：確保 AI 全生命周期的安全性
這一類別的重點是 AI 開發全生命周期安全保護，確保模型在開發、部署和運行過程中保持安全，尤其是針對企業自研 AI 應用。主要包括保護數據集、訓練管道和模型免遭篡改， 抵御對抗性攻擊，以及降低 AI 偏見帶來的風險。
該領域的供應商關注AI 供應鏈安全、對抗性機器學習防御、模型水印以及運行時監控（Runtime Monitoring），以檢測AI應用的漏洞。這些解決方案確保模型輸出結果可信、安全，并符合監管的要求。
在該類別中，廠商在以下兩個子領域取得了成功：
1）AI模型全生命周期安全防護（Model Lifecycle）：這些廠商專注于從開發到運行時的整個生命周期保護 AI 應用，確保 AI 模型、應用及其底層基礎設施在全生命周期內的安全性。
2?）AI 應用安全防護（AI Application Security Vendors）：這些廠商在傳統安全的基礎上，針對 AI 獨有的安全挑戰（如非確定性行為和特殊開發實踐）提供增強保護。例如，MLSecOps（機器學習安全運維）旨在優化 AI 安全運營，確保 AI 應用的安全和合規。
十、全球AI 安全供應商概覽
1、AI 產品全生命周期安全
Palo Alto Networks
- AI訪問控制（AI Access）：監控通過網絡的生成式AI（GenAI）應用程序活動，確保員工與AI工具的交互安全。
- AI安全態勢管理（AI SPM）：提供對自定義應用程序（云安全態勢管理CSPM/數據安全態勢管理DSPM）的可見性，確保應用配置安全。
- AI運行時保護（AI Runtime） 保護生產環境中的應用和代理，防止運行時威脅。
ProtectAI
- Guardian：掃描機器學習（ML）工件中的安全問題，確保模型構建過程安全。
- Recon：AI紅隊測試，模擬攻擊以識別潛在漏洞。
- Layer：提供AI檢測和響應功能，實時保護模型免受威脅。
HiddenLayer
- HL 模型掃描器：通過供應鏈和安全態勢掃描模型，確保模型完整性。
- HL AI檢測與響應：使用eBPF代理保護生成式AI應用程序，實時檢測和應對威脅。
- HL 自動化紅隊與對抗性測試：自動化執行紅隊測試和對抗性測試，持續評估模型安全性。
Noma
- 測試與紅隊：提供測試和紅隊服務，識別AI系統的潛在風險。
- AI安全態勢管理（AI SPM）：AI 資產安全管理。
- AI運行時保護 （AI Runtime Protection）：保護AI運行時環境，防止攻擊。
- 數據與AI供應鏈（Data & AI Supply Chain）：確保數據和AI供應鏈的安全，防止篡改。
2、AI數據與 AI 供應鏈安全
Pillar Security
- AI資產發現（AI Discovery）：識別AI資產，確保所有AI組件被監控。
- AI安全態勢管理（AI SPM）：掃描和可視化AI資產，提供安全態勢概覽。
- AI紅隊測試（AI Red Teaming）：測試AI資產，識別潛在漏洞。
- 自適應護欄（Adaptive Guardrails）：提供運行時保護，防止異常行為。
- AI遙測（AI Telemetry）：監控和治理AI活動，確保合規性。
TrojAI
- TrojAI Detect：AI滲透測試和紅隊演練，識別安全弱點。
- TrojAI Defend：提供運行時保護，防止攻擊。
3、AI應用& 企業助理安全保護
Prompt Security
- 員工 AI 使用防護：確保員工安全使用AI工具。
- AI 代碼助手安全：確保開發過程安全
- 企業自研生成式AI 應用安全：保護企業自主開發的生成式AI應用安全。
Zenity
- AI安全態勢管理：提供AI使用的安全態勢管理，確保整體安全性。
- AI檢測與響應：檢測和響應與AI相關的安全事件。
- AI監控與分析：監控和分析AI活動，識別異常行為。
Witness AI
- 監控模塊：通過網絡代理監控生成式AI使用情況，確保安全。
- 控制模塊：管理安全政策并基于意圖實施控制。
- 保護模塊：保護前置交互，設置護欄，防止數據泄漏。
前述市場概覽展示了各大安全廠商在 AI 安全領域的產品布局，涵蓋了從 AI 開發到運行時保護，再到企業 AI 使用安全防護的全方位解決方案。企業可根據自身 AI 發展策略，選擇合適的 AI 安全產品，以確保 AI 應用的安全性、合規性和可靠性。
十一、AI安全行業現狀評論
AI 安全市場的供應商數量已經超過 50 家，這種快速增長既帶來了機遇，也帶來了挑戰。從積極角度來看，眾多供應商提供了豐富的安全解決方案，讓企業能夠針對模型保護、運行時安全、合規監控等不同需求選擇合適的產品。此外，市場競爭推動創新，促使供應商不斷優化產品，并開發針對新興威脅的專業化解決方案。
市場碎片化也帶來了極大的管理挑戰，尤其是可能成為首席信息安全官（CISO）的噩夢。
- 評估與集成難度高：企業需要分析、篩選、集成多個安全工具，可能導致安全架構臃腫，增加運營負擔。
- 功能重疊導致選擇困難：不同供應商的AI安全方案功能存在大量重疊，導致企業在選擇時難以區分最優方案。
- 安全工具集成不一定順暢：不同供應商的安全工具可能缺乏兼容性，增加企業的技術整合成本。
- 供應商長期穩定性存疑：市場上新興廠商大量涌現，但部分供應商的長期生存能力和支持能力尚不明朗，企業用戶在技術能力之外，還需評估供應商的穩定性。
隨著市場成熟，供應商整合（并購或關門）可能會成為趨勢，導致小型供應商被收購或倒閉，這可能影響企業已部署的安全方案。企業需要在專業化安全解決方案與供應商穩定性之間找到平衡，同時保持靈活的安全戰略，以適應不斷變化的市場環境。
隨著技術進步，人工智能威脅也在迅速演變。微軟對100 款生成式 AI 產品的紅隊測試研究表明，手動設計的越獄（jailbreak）攻擊在網絡上傳播極快，與復雜的攻擊方法相比，它們為攻擊者提供了更易用、更具成本效益的攻擊向量。
2025年2月，“時空盜賊越獄”（Time Bandit Jailbreak）攻擊成為一大威脅，甚至影響到了OpenAI的GPT-4o 模型。攻擊利用時間線混淆（timeline confusion）和流程歧義（procedural ambiguity）繞過安全防護，使用戶能夠從模型中提取潛在的有害內容。
隨著 AI 能力的擴展，特別是在自主智能體（autonomous agents）和瀏覽器自動化領域的進步，安全風險也等比例增長。微軟在其研究中指出：“任何工具皆可用于善或惡……工具越強大，其帶來的益處或危害就越大。” 這一原則推動微軟開源AI紅隊測試工具 PyRIT 的開發，用于識別 AI 系統中的潛在安全漏洞。
預計成熟的網絡安全公司將利用對AI安全解決方案日益增長的需求，但初創公司仍有競爭的空間。無論未來的創新AI安全解決方案來自成熟網絡安全公司還是新興企業，最終的贏家將是那些能夠持續創新、主動適應新威脅的安全企業。
未來預測
- 對于依賴托管 AI 服務的企業（例如 OpenAI、Anthropic、Gemini），主要的安全防護重點在于管理 AI 訪問權限、防止數據泄露以及監控員工與大模型的交互，以確保政策合規。
- 對于在內部開發 AI 的企業（例如 Llama、Mistral、自托管 AI），安全防護重點則轉向保護數據管道、維護模型完整性以及防御針對 AI 基礎設施的對抗性威脅。
- 私有與安全隧道：有安全專家對其中一些新興方向表示出謹慎樂觀：致力于在 AI 模型提供商與企業用戶之間構建私有和安全隧道的供應商。這一概念類似于 Zscaler 過去在傳統企業網絡安全中的角色演變，但現在專門針對模型提供商和開發者。此外，隨著推理成本呈指數級下降，預計SIEM（安全信息和事件管理）和可觀測性等傳統計算密集型和數據密集型網絡安全領域將迎來重大顛覆。
總的來說，這些案例和研究表明，AI 安全并非理論概念——現實中已經發生了從意外數據泄露到 AI 系統漏洞被利用等各種安全事件。幸運的是，在正確實施的情況下，AI 安全解決方案可以有效降低這些風險。同時，市場上也涌現了大量應對這些挑戰的供應商和解決方案。
要有效防御這些威脅，企業必須實施貫穿 AI 全生命周期的安全措施——從數據收集、模型訓練到部署和監控，確保每個環節都得到充分保護。
展望未來，隨著企業不斷分享經驗、以及行業標準持續演進，AI 安全解決方案的有效性將進一步提升。市場正朝著一個方向發展：AI 在部署時就具備內置的安全性、隱私性和可信性，而不是事后補救。
附錄- AI安全產業圖譜
展示生成式 AI 攻擊面及其全生命周期的AI安全供應商。
關 于 作 者
Software Analyst Cyber Research（SACR）：專注于網絡安全行業分析的機構，致力于為安全領域的領導者提供深入的行業動態分析和洞察。