压在透明的玻璃上c-国产精品国产一级A片精品免费-国产精品视频网-成人黄网站18秘 免费看|www.tcsft.com

近日，安全研究人員用OpenSSF記分卡對GitHub上50個最流行的生成式AI大語言模型項目的安全性進(jìn)行了評估，結(jié)果發(fā)現(xiàn)越流行的大語言模型越危險。

軟件供應(yīng)鏈安全公司Rezilion的研究人員調(diào)查了GitHub上50個最受歡迎的生成式AI項目的安全狀況。他們發(fā)現(xiàn)，生成式人工智能開源項目越流行、越新，其安全性就越不成熟。

Rezilion使用開源安全基金會(OpenSSF)記分卡來評估大型語言模型(LLM)開源生態(tài)系統(tǒng)，強(qiáng)調(diào)了安全最佳實踐中的重大差距以及許多基于LLM的項目中的潛在風(fēng)險。研究結(jié)果發(fā)表在題為《ExplAIning the Risk》報告中。

基于LLM的生成式人工智能技術(shù)呈爆炸性增長，機(jī)器已經(jīng)能夠生成接近甚至超過人類平均水平（效率）的文本、圖像甚至代碼的能力。集成LLM的開源項目數(shù)量正迅猛增長。例如，OpenAI推出ChatGPT僅7個月，但目前GitHub上已經(jīng)有超過3萬個使用GPT-3.5系列LLM的開源項目。

盡管需求空前旺盛，但生成式AI/LLM技術(shù)面臨的安全風(fēng)險也與日俱增，從利用先進(jìn)的自學(xué)習(xí)算法共享敏感業(yè)務(wù)信息到惡意行為者利用生成式AI來大幅度提高攻擊力。

本月早些時候，開放全球應(yīng)用程序安全項目(OWASP)發(fā)布了大語言模型應(yīng)用常見的10個最嚴(yán)重的漏洞（下圖），強(qiáng)調(diào)了LLM面臨的潛在風(fēng)險、漏洞利用的難易程度和普遍性。OWASP給出的LLM漏洞示例包括提示注入、數(shù)據(jù)泄露、沙箱機(jī)制不充分和未經(jīng)授權(quán)的代碼執(zhí)行。

OWASP大語言模型十大安全漏洞

來源：OWASP

什么是OpenSSF記分卡？

OpenSSF記分卡是OpenSSF創(chuàng)建的一個工具，用于評估開源項目的安全性并幫助改進(jìn)它們。OpenSSF評估所依據(jù)的指標(biāo)是代碼庫本身的問題，例如漏洞數(shù)量、維護(hù)頻率以及是否包含二進(jìn)制文件。OpenSSF能檢查軟件項目供應(yīng)鏈的不同部分，包括源代碼、構(gòu)建依賴項、測試和項目維護(hù)。確保其遵守安全最佳實踐和行業(yè)標(biāo)準(zhǔn)。

OpenSSF的每項檢查都有一個與之相關(guān)的風(fēng)險級別，代表與不遵守特定最佳實踐相關(guān)的估計風(fēng)險。然后將各個檢查分?jǐn)?shù)換算成總分?jǐn)?shù)，以評估項目的整體安全狀況。

目前，OpenSSF共有18項檢查，可分為三大類：整體安全實踐、源代碼風(fēng)險評估和構(gòu)建過程風(fēng)險評估。OpenSSF記分卡為每項檢查分配0到10之間的風(fēng)險級別分?jǐn)?shù)。得分接近10的項目表示高度安全且維護(hù)良好，而得分接近0則表示安全狀況較弱，維護(hù)不足且易受開源風(fēng)險影響。

越流行的開源大語言模型項目越不安全

Rezilion的研究揭示了一個令人不安的趨勢：生成式AI/LLM項目越受歡迎（基于GitHub的星級受歡迎程度評級系統(tǒng)），其安全評分就越低（基于OpenSSF記分卡）。

研究人員指出：“這凸顯了一個事實，即LLM項目的受歡迎程度本身并不能反映其質(zhì)量，更不用說其安全狀況了。”報告稱，GitHub上最受歡迎的基于GPT的項目Auto-GPT擁有超過13.8萬顆星，上線還不到三個月，其記分卡得分僅為3.7。檢查的50個項目的平均得分也好不到哪兒去，僅為4.6分（滿分10分）。

研究人員進(jìn)一步將GitHub上最受歡迎的生成式AI和LLM項目的風(fēng)險與該平臺上與生成式AI或LLM無關(guān)的其他流行開源項目進(jìn)行了比較。他們分析了一組94個關(guān)鍵項目（由OpenSSF保護(hù)關(guān)鍵項目工作組定義），平均記分卡得分為6.18，還分析了一組7個將OpenSSF記分卡作為其SDLC工作流程一部分的項目，平均得分7.37。

研究人員寫道：“圍繞LLM的開源生態(tài)系統(tǒng)的成熟度和安全狀況還有很多不足之處。事實上，隨著這些系統(tǒng)越來越受歡迎，普及度越高，如果開發(fā)和維護(hù)的安全標(biāo)準(zhǔn)保持不變，重大漏洞將持續(xù)涌現(xiàn)，不可避免地會成為攻擊者的目標(biāo)。”

未來12-18個月，生成式AI、大語言模型風(fēng)險將持續(xù)增加

報告指出：隨著生成式AI和LLM系統(tǒng)的應(yīng)用不斷增長，給企業(yè)帶來的風(fēng)險預(yù)計將在未來12到18個月內(nèi)發(fā)生重大變化。報告指出：“如果圍繞LLM的安全標(biāo)準(zhǔn)和實踐沒有重大改進(jìn)，針對性的攻擊和發(fā)現(xiàn)這些系統(tǒng)中的漏洞的可能性將會增加。企業(yè)必須保持警惕并優(yōu)先考慮安全措施，以緩解不斷變化的風(fēng)險并確保負(fù)責(zé)任和安全地使用LLM。”

降低LLM安全風(fēng)險最重要的方法是“安全左移”，即在開發(fā)基于人工智能的系統(tǒng)時就采用安全設(shè)計方法來應(yīng)對LLM的風(fēng)險。企業(yè)還應(yīng)該利用安全人工智能框架(SAIF)、NeMo Guardrails或MITRE ATLAS等現(xiàn)有框架，將安全措施納入其人工智能系統(tǒng)中。

企業(yè)還需要監(jiān)控和記錄用戶與LLM的互動，并定期審核和審查LLM的響應(yīng)，以檢測潛在的安全和隱私問題，并相應(yīng)地更新和微調(diào)LLM。

來源：GoUpSec