压在透明的玻璃上c-国产精品国产一级A片精品免费-国产精品视频网-成人黄网站18秘 免费看|www.tcsft.com

生成式AI其實不擅長“編寫惡意軟件”

盡管犯罪分子用ChatGPT和各種其他大語言模型幫助編寫惡意軟件的傳言甚囂塵上,但這一生成式AI技術(shù)似乎并不擅長處理這種工作。

近期研究表明,雖然一些騙子有意使用能給出源代碼建議的ML模型,但該技術(shù)實際上并沒有被廣泛用于創(chuàng)建惡意代碼。這可能是因為這些生成式系統(tǒng)無法勝任此類工作,或者用其完成惡意代碼編寫過程的門檻有點高,網(wǎng)絡(luò)犯罪分子不得不放棄。

如果你想獲得有用且可靠的漏洞利用程序和入侵工具,那你要么支付高昂款項購買,要么從GitHub之類的地方免費獲取,要么具備編程技術(shù)、耐心和時間自己從頭開始開發(fā)。AI可提供不了網(wǎng)絡(luò)惡棍想要的捷徑,其在網(wǎng)絡(luò)犯罪圈子里的使用率跟在科技界其他領(lǐng)域也差不離。

01 相關(guān)研究

8月中旬發(fā)布的兩份研究報告中,趨勢科技和谷歌Mandiant分別就時興的AI技術(shù)發(fā)表了各自的看法,結(jié)論相當一致:網(wǎng)民熱議用生成式AI從事邪惡行徑,但在現(xiàn)實中,此類用途仍十分有限。

趨勢科技研究人員avid Sancho和Vincenzo Ciancaglini在報告中寫道:“在灰產(chǎn)領(lǐng)域,AI還處在早期階段。

“我們看到的進展并非突破性的。事實上,大家在這方面的進步速度都差不多。”

同時,Mandiant的Michelle Cantos、Sam Riddell和Alice Revelli至少從2019年開始就在跟蹤犯罪分子的AI使用情況。在8月17日發(fā)布的研究報告中,他們指出,“AI在入侵活動的應(yīng)用仍舊十分有限,而且主要與社會工程相關(guān)。”

在犯罪分子如何應(yīng)用AI從事非法活動方面,這兩個威脅情報團隊得出了相似的結(jié)論。簡而言之:主要用于生成誘人通往網(wǎng)絡(luò)釣魚頁面和類似騙局的文本和其他媒介,而不是用于自動化惡意軟件開發(fā)。

“ChatGPT長于編造看起來可信的文本,這一點可被濫用來編寫垃圾郵件和進行網(wǎng)絡(luò)釣魚活動”,趨勢科技團隊寫道,并指出,犯罪論壇上售賣的一些產(chǎn)品已經(jīng)開始納入ChatGPT接口供買家創(chuàng)建網(wǎng)絡(luò)釣魚電子郵件了。

Sancho和Ciancaglini表示:“比如說,我們就觀察到名為GoMailPro的一款垃圾郵件處理軟件,這款軟件支持AOL Mail、Gmail、Hotmail、Outlook、ProtonMail、T-Online和Zoho Mail賬戶,主要是犯罪分子用于向受害者發(fā)送垃圾郵件。2023年4月17日,該軟件的作者在GoMailPro銷售帖子里聲明,據(jù)稱ChatGPT被集成到GoMailPro軟件中供起草垃圾郵件。”

除了輔助編寫網(wǎng)絡(luò)釣魚電子郵件和其他社會工程騙局,尤其是用犯罪分子不會的語言編寫,AI還擅長產(chǎn)出用于虛假信息散布活動的內(nèi)容,包括深度偽造音頻和圖像。

02 模糊LLM

谷歌表示,AI精于模糊測試,也就是通過向軟件中注入隨機和/或精心構(gòu)造的數(shù)據(jù)來觸發(fā)和挖掘可利用漏洞的自動化漏洞檢測。

谷歌開源安全團隊的Dongge Liu、Jonathan Metzman和Oliver Chang寫道:“利用LLM,我們無需手動編寫額外的代碼就能用我們的OSS-Fuzz服務(wù)提高關(guān)鍵項目的代碼覆蓋率。”

“采用LLM是頗具前景的新方法,可以在OSS-Fuzz目前模糊測試的超過1000個項目中擴展安全改進,掃清未來項目采用模糊測試的障礙。”

雖然這一過程確實涉及挺多提示工程和其他工作,但該團隊最終收獲了1.5%~31%的項目代碼覆蓋率提升。

谷歌團隊稱,在接下來的幾個月里會開源其評估框架,讓其他研究人員也能測試自己的自動化模糊目標生成。

與此同時,Mandiant將圖像生成功能分為兩類:可用于創(chuàng)建逼真人物頭像的生成式對抗網(wǎng)絡(luò)(GAN),以及可以根據(jù)文本提示生成定制圖像的生成式文本到圖像模型。

Mandiant的三名研究人員表示,盡管GAN似乎更常用,而且民族國家威脅組織尤為愛用,但“文本到圖像模型也可能形成比GAN更大的欺騙型威脅”,因為這些模型可用于支持欺騙性敘事和虛假新聞,比如用AI生成的視頻制作簡短的“新聞片段”。

兩份研究報告都承認犯罪分子對于利用LLM編寫惡意軟件很感興趣,但這未必能轉(zhuǎn)化為實際的代碼。

正如合法開發(fā)人員所發(fā)現(xiàn)的那樣,AI也有助于完善代碼、開發(fā)源代碼片段和示例函數(shù),降低學習另一門編程語言的難度。然而,你依然需要具備一定的技術(shù)水平才能用AI編寫惡意軟件,而且可能仍然需要程序員來核查代碼并更正。

因此,想用AI編寫真實可用的惡意軟件的人可能自己就能編寫代碼了。或許,LLM主要是為了加快開發(fā)速度,而不是推動勒索軟件和漏洞利用程序的自動化裝配線。

于是,令網(wǎng)絡(luò)惡棍們駐足不前的是什么呢?部分原因可能在于防止LLM被用于惡意用途的一些限制,也因此,安全研究人員發(fā)現(xiàn),有犯罪分子在向同行宣傳能繞過模型防線的服務(wù)。

此外,正如趨勢科技所指出的,關(guān)于ChatGPT越獄提示的討論很多,尤其是在Hack Forums的“Dark AI”部分。

Sancho和Ciancaglini表示,由于犯罪分子愿意為這些服務(wù)付費,一些人猜測,“未來可能會出現(xiàn)所謂的‘提示工程師’”。兩位研究人員還補充道:“我們保留對這一預(yù)測的判斷。”

來源:本文來自數(shù)世咨詢

上一篇:從被動事件響應(yīng)到主動威脅管理的5個關(guān)鍵步驟

下一篇:保障SaaS應(yīng)用安全的關(guān)鍵要求和檢查清單