压在透明的玻璃上c-国产精品国产一级A片精品免费-国产精品视频网-成人黄网站18秘 免费看|www.tcsft.com

日前，全球開源安全組織OWASP（Open Web Application Security Project）發(fā)布了《AI大模型應(yīng)用網(wǎng)絡(luò)安全治理檢查清單（V1.0）》（以下簡稱為《檢查清單》）。在這份長達(dá)32頁的《檢查清單》中，較完整地介紹了AI大模型部署應(yīng)用時的安全原則、部署策略和檢查對照表，適用于那些希望在快速發(fā)展的AI領(lǐng)域中保持領(lǐng)先地位的組織和機構(gòu)，使他們能夠在制定大型語言模型戰(zhàn)略時，專注于制定一份全面的關(guān)鍵領(lǐng)域和任務(wù)清單。

《檢查清單》的主要編寫者Sandy Dunn表示：OWASP 已經(jīng)在2023年6月發(fā)布了針對LLM應(yīng)用程序的10大風(fēng)險清單，但我們發(fā)現(xiàn)，許多企業(yè)組織對于使用AI需要考慮的事項以及從何處開始仍然存在很多困惑，而本次發(fā)布的《檢查清單》正是為了對上次發(fā)布的風(fēng)險清單進行了完善和補充。通過遵循檢查清單的建議要求，組織不僅可以增加對大模型安全應(yīng)用的信任，還可以提供一個簡單有效的持續(xù)改進戰(zhàn)略來鼓勵組織未來的應(yīng)用創(chuàng)新。

Dunn認(rèn)為，這份《檢查清單》能夠幫助所有類型的組織和機構(gòu)在應(yīng)用AI大模型時認(rèn)知到以下四個要點：

1）針對生成式AI的應(yīng)用，企業(yè)需要采用不同的安全保護思維方式；

2）AI技術(shù)帶來了不對稱的網(wǎng)絡(luò)對抗模型，攻擊者正在利用這些工具加速攻擊；

3）大模型工具的應(yīng)用需要全面考慮的實施策略和方法；

4）大模型工具的部署應(yīng)用，需要使用現(xiàn)有的法律、法規(guī)作為部署策略指南，例如歐盟的《通用數(shù)據(jù)保護條例》（GDPR）和各類隱私安全法規(guī)等。

部署大模型之前的準(zhǔn)備

在本次發(fā)布的《檢查清單》中，明確提出了企業(yè)組織在部署AI大模型工具之前要采取的步驟列表，包括審查網(wǎng)絡(luò)彈性和安全培訓(xùn)策略，以及與管理成討論如何將人工智能納入工作流程的實施計劃。

LLM部署策略的選擇方案

《檢查清單》還概述了組織根據(jù)其實際應(yīng)用需求，可靈活選擇的5種大模型工具部署方式，具體如下圖所示。

AI大模型的常見部署類型

Dunn表示：“AI大模型工具的應(yīng)用范圍包括了從利用公共消費者應(yīng)用程序到在私有數(shù)據(jù)上訓(xùn)練專有模型。充分了解用例敏感性、所需功能和可用資源等因素，有助于企業(yè)組織確定如何在便利性與可控制性之間實現(xiàn)正確平衡。”

大模型應(yīng)用時的安全檢查清單

在《檢查清單》的第二部分中，詳細(xì)概述了實施LLM用例時需要考慮的具體事項，以避免給組織帶來不必要的安全性風(fēng)險。這些事項涵蓋了面向業(yè)務(wù)的措施（包括建立業(yè)務(wù)案例和選擇合適的大模型解決方案）、風(fēng)險管理措施（包括威脅建模、監(jiān)控AI風(fēng)險、實施以AI為重點的安全培訓(xùn)、AI紅隊測試等），以及法律監(jiān)管合規(guī)方面的措施（如建立合規(guī)要求、實施測試、評估、驗證和驗證過程等）。以下列出了一些重點的清單要求：

1、對抗性風(fēng)險

對抗性風(fēng)險包括競爭對手和攻擊者：

·?仔細(xì)研究競爭對手如何投資人工智能；

·?調(diào)查對當(dāng)前安全控制措施的影響，如密碼重置等；

·?更新大模型增強攻擊和對特定事件的事件響應(yīng)計劃及行動手冊。

2、威脅建模

《檢查清單》強烈建議使用威脅建模來識別威脅并檢查流程和安全防御。針對GenAI加速攻擊和部署LLM之前的威脅建模是識別和減輕風(fēng)險、保護數(shù)據(jù)、保護隱私以及確保業(yè)務(wù)內(nèi)安全、合規(guī)集成的最具成本效益方法。

·?業(yè)務(wù)能否通過在所有LLM信任邊界上的安全集成來保護與現(xiàn)有系統(tǒng)和數(shù)據(jù)庫的連接？

·?企業(yè)是否有內(nèi)部威脅緩解措施，以防止授權(quán)用戶濫用？

·?企業(yè)能否防止未經(jīng)授權(quán)訪問專有模型或數(shù)據(jù)以保護知識產(chǎn)權(quán)？

·?企業(yè)能否通過自動內(nèi)容過濾來防止有害或不適當(dāng)內(nèi)容的生成？

3、AI資產(chǎn)盤點

AI資產(chǎn)清單應(yīng)適用于內(nèi)部開發(fā)大模型應(yīng)用和相關(guān)的外部第三方解決方案。

·?對現(xiàn)有的人工智能服務(wù)、工具和所有者進行編目

·?在資產(chǎn)管理中為特定庫存指定標(biāo)簽

·?將人工智能組件列入到軟件材料清單（SBOM）中

·?設(shè)定AI數(shù)據(jù)源和數(shù)據(jù)的敏感性（受保護、機密、公開）

·?確定是否需要對部署的人工智能解決方案進行測試

·?創(chuàng)建人工智能解決方案人員的入職流程。

4、AI安全和隱私培訓(xùn)

在AI安全和隱私培訓(xùn)方面主要包括：

·?積極與各類員工接觸，了解并解決大模型應(yīng)用計劃中的問題；

·?就如何管理、管理和解決大模型使用風(fēng)險，建立一種公開透明的溝通文化；

·?更新安全意識培訓(xùn)，將AI大模型相關(guān)威脅包括在內(nèi)；

·?任何采用的AI大模型解決方案都應(yīng)包括部署管道的DevOps和網(wǎng)絡(luò)安全培訓(xùn)。

5、建立并參考商業(yè)案例

成功的商業(yè)案例對于確定AI解決方案的商業(yè)價值、平衡風(fēng)險和收益以及評估和測試投資回報至關(guān)重要。研究內(nèi)容包括：

·?增強客戶體驗

·?更高的運營效率

·?更好的知識管理

·?加強創(chuàng)新設(shè)計

·?市場調(diào)查和競爭對手分析

·?文檔創(chuàng)建、翻譯、摘要和分析

6、公司治理

大模型應(yīng)用時的公司治理需要為組織提供透明度和問責(zé)制。識別可能熟悉該技術(shù)或業(yè)務(wù)所選用例的人工智能平臺或流程所有者是非常必要的，這樣可以確保足夠的反應(yīng)速度，防止對現(xiàn)有的數(shù)字化流程造成損害。

·?建立組織的大模型應(yīng)用RACI圖表（誰負(fù)責(zé)，誰負(fù)責(zé)，咨詢誰，通知誰）；

·?記錄并分配組織內(nèi)的人工智能風(fēng)險、風(fēng)險評估和治理責(zé)任；

·?制定有關(guān)數(shù)據(jù)分類和使用限制的數(shù)據(jù)管理政策，包括技術(shù)強制執(zhí)行要求；

·?創(chuàng)建由既定政策支持的大模型應(yīng)用政策（例如良好行為標(biāo)準(zhǔn)、數(shù)據(jù)保護、軟件使用）；

·?發(fā)布各種大模型工具的可接受使用白名單，供員工參考；

·?記錄組織從生成LLM模型中使用的任何數(shù)據(jù)的來源和管理。

7、法律合規(guī)

關(guān)于AI大模型應(yīng)用的許多法律、法規(guī)目前仍然是不明確的，但是如果出現(xiàn)違規(guī)可能代價高昂。IT部門、安全部門和合規(guī)部門緊密合作，對于發(fā)現(xiàn)合規(guī)方面的問題和解決模糊決策至關(guān)重要。

·?確認(rèn)產(chǎn)品的安全責(zé)任在產(chǎn)品開發(fā)流程中是明確的，以指定誰負(fù)責(zé)人工智能的產(chǎn)品問題修復(fù)；

·?審查和更新現(xiàn)有條款和條件以考慮AI大模型的任何因素；

·?審查AI 應(yīng)用時的用戶許可協(xié)議；

·?組織修改最終用戶協(xié)議，以防止組織通過人工智能生成的內(nèi)容承擔(dān)與抄襲、偏見傳播或侵犯知識產(chǎn)權(quán)有關(guān)的法律責(zé)任；

·?審查用于代碼開發(fā)的現(xiàn)有人工智能輔助工具，防范可能威脅到公司對其產(chǎn)品所有權(quán)的因素出現(xiàn)；

·?嚴(yán)格審查知識產(chǎn)權(quán)的任何風(fēng)險。如果在大模型中使用了不當(dāng)獲取的數(shù)據(jù)，聊天機器人生成的知識產(chǎn)權(quán)可能會受到威脅。大模型的應(yīng)用過程應(yīng)當(dāng)受到版權(quán)、商標(biāo)或?qū)＠Ｗo；

·?審查任何有賠償條款的合同。建立安全責(zé)任護欄，以確定AI技術(shù)的提供商或其用戶是否可能導(dǎo)致違規(guī)事件，從而導(dǎo)致責(zé)任；

·?審查人工智能系統(tǒng)造成的潛在傷害和財產(chǎn)損失的責(zé)任；

·?審查保險范圍。傳統(tǒng)的（D&O）責(zé)任和商業(yè)一般責(zé)任保險政策可能不足以充分保護人工智能的使用；

·?識別任何版權(quán)問題。版權(quán)需要人類作者身份，如果大模型工具被濫用，組織也可能對抄襲、傳播偏見或侵犯知識產(chǎn)權(quán)負(fù)責(zé)；

·?應(yīng)當(dāng)確保人工智能解決方案在未經(jīng)適當(dāng)同意或授權(quán)的情況下不會收集或共享敏感信息。

8、實現(xiàn)大模型解決方案

組織在實現(xiàn)大模型方案時，應(yīng)該檢查以下方面：

·?數(shù)據(jù)安全，驗證如何根據(jù)敏感度對數(shù)據(jù)進行分類和保護，包括個人和專有業(yè)務(wù)數(shù)據(jù)；

·?訪問控制，實施最低權(quán)限訪問控制，并實施縱深防御措施；

·?培訓(xùn)管道安全，需要對培訓(xùn)數(shù)據(jù)治理、管道、模型和算法進行嚴(yán)格控制；

·?輸入和輸出安全性，評估輸入驗證方法，以及如何過濾、凈化和批準(zhǔn)輸出；

·?做好應(yīng)用監(jiān)控和事件響應(yīng)，并確認(rèn)審核記錄是安全的；

·?檢查AI大模型工具或供應(yīng)鏈中的安全漏洞；

·?研究常見的威脅和攻擊對大模型解決方案的可能影響，如即時注入、敏感信息竊取和流程操縱；

·?調(diào)查攻擊和威脅對大模型的可能影響，包括模型中毒、數(shù)據(jù)處理不當(dāng)、供應(yīng)鏈攻擊和模型盜竊；

·?基礎(chǔ)設(shè)施的安全性，定期開展恢復(fù)能力測試，以及在可用性、可擴展性和性能方面的SLA是什么；

·?更新事件響應(yīng)行動手冊，并在桌面演習(xí)中包括大模型安全事件；

·?確定或擴展指標(biāo)，將生成性網(wǎng)絡(luò)安全人工智能與其他方法進行比較，以衡量預(yù)期生產(chǎn)力的提高

9、測試、評估、驗證和確認(rèn)（TEVV）

TEVV包括一系列任務(wù)，如系統(tǒng)驗證、集成、測試、重新校準(zhǔn)和持續(xù)監(jiān)測定期更新，以應(yīng)對人工智能系統(tǒng)的風(fēng)險和變化：

·?組織在整個人工智能模型生命周期中建立持續(xù)的測試、評估、驗證和驗證；

·?定期提供人工智能模型功能、安全性、可靠性和穩(wěn)健性的執(zhí)行指標(biāo)和更新。

10、模型卡和風(fēng)險卡

模型卡通過提供有關(guān)人工智能系統(tǒng)設(shè)計、功能和約束的標(biāo)準(zhǔn)化文檔，幫助用戶理解和信任人工智能系統(tǒng)，使他們能夠制作出有教育意義和安全的應(yīng)用程序；

風(fēng)險卡通過公開解決潛在的負(fù)面后果（如偏見、隱私問題和安全漏洞）來補充這一點，從而鼓勵采取積極主動的方法來預(yù)防傷害；

建立模型卡和風(fēng)險卡對開發(fā)者、用戶、監(jiān)管機構(gòu)和倫理學(xué)家同樣至關(guān)重要，因為它們建立了一種合作氛圍，在這種氛圍中，AI大模型應(yīng)用的社會影響將會得到認(rèn)真的解決和處理。

11、大型語言模型優(yōu)化

微調(diào)是優(yōu)化預(yù)訓(xùn)練模型的傳統(tǒng)方法，它涉及對新的、特定于領(lǐng)域的數(shù)據(jù)重新訓(xùn)練現(xiàn)有模型，并根據(jù)任務(wù)或應(yīng)用程序的性能對其進行修改。微調(diào)對提高大模型安全應(yīng)用的性能至關(guān)重要。

檢索增強生成（RAG）已經(jīng)發(fā)展成為一種更有效的方式，通過從最新的可用知識源中檢索相關(guān)數(shù)據(jù)來優(yōu)化和增強大型語言模型的能力。RAG可以針對特定領(lǐng)域進行定制，優(yōu)化特定領(lǐng)域信息的檢索，并根據(jù)專業(yè)領(lǐng)域的細(xì)微差別調(diào)整生成過程。RAG被視為大模型應(yīng)用優(yōu)化的一種更有效、更透明的方法。

12、AI紅隊

AI Red Teaming是對AI系統(tǒng)的對抗性攻擊測試模擬，以驗證不存在任何可被攻擊者利用的現(xiàn)有漏洞。這是許多監(jiān)管和人工智能管理機構(gòu)建議的做法。單獨的紅隊測試并不能驗證與人工智能系統(tǒng)相關(guān)的所有現(xiàn)實危害，應(yīng)該包括在其他形式的測試、評估、驗證和驗證中，如算法影響評估和外部審計。企業(yè)應(yīng)該將紅隊測試納入人工智能模型和應(yīng)用程序的標(biāo)準(zhǔn)實踐。

參考鏈接：
https://www.infosecurity-magazine.com/news/owasp-security-checklist/

來源：安全牛