針對AI的攻擊呈上升趨勢
責編：gltian ｜2021-06-08 13:52:13
?新發布的報告顯示：企業快速推廣機器學習，但未關注如何驗證系統和產出可信結果。
機器學習（ML）和人工智能（AI）系統攻擊方法研究呈井噴趨勢：過去十年里，僅一個論文庫中就發表了近2000篇關于這個主題的論文。但盡管研究眾多，企業卻并未采取與之相稱的策略來確保AI系統做出的決策是可信的。
AI研究公司Adversa近期發布了一份報告，考察AI系統采用情況的一些衡量指標，例如AI系統研究論文的數量和類型，以及旨在提供AI技術政策框架的政府倡議等。Adversa發現，AI技術采用飛速上升，但往往缺乏必要的防御措施，導致AI系統無法抵御針對性攻擊。所謂的對抗性AI攻擊包括繞過AI系統、篡改結果和滲漏AI模型底層數據。
Adversa聯合創始人兼首席技術官Eugene Neelou表示，這類攻擊并不多見，但確實發生過，而且以后的發生頻率會更高。
他說：“盡管我們的研究語料庫大多來自學術界，但其中攻擊案例涵蓋了針對智能設備、在線服務或科技巨頭的API等AI系統的攻擊。針對現實世界AI系統的新型攻擊爆發不過是個時間問題，此類攻擊將會像今天的垃圾郵件或勒索軟件一樣普遍。”
最近幾年，關于機器學習和AI系統對抗性攻擊的研究迅速增多。Adversa《安全可信AI》報告的數據顯示，科學論文發布網站ArXiv.org上發表的AI安全論文數量從2016年的56篇，激增到了2019年的1500多篇。
然而，這還只是其中一種威脅。貝利威爾機器學習研究所（BIML）所長兼聯合創始人Gary McGraw稱，針對AI系統的對抗性攻擊可能是規模最大的威脅類型，無疑也是收獲關注最多的攻擊類型，但其他主要攻擊類型也不容忽視。BIML機器學習研究小組發現了78種針對機器學習模型和AI系統的不同威脅。BIML的研究報告《機器學習系統架構性風險分析》中指出，最大的威脅還包括數據中毒、在線系統篡改、通用機器學習模型攻擊和數據滲漏。
去年年底，Mitre、微軟和包括BIML在內的其他企業聯合發布了對抗性ML威脅矩陣，其中包含16類威脅。
McGraw稱：“你應該馬上就做的一件事，是熟悉這些威脅，然后考慮這些風險會不會影響你的公司。如果在構建ML系統的時候沒有考慮這些風險，那你就只有等著后面各種查缺補漏了。”
圖像問題
潛在攻擊種類多到令人震驚。不過，截至目前，研究人員主要關注圖像識別算法和其他視覺相關機器學習模型。根據Adversa的分析，65%的對抗性機器學習論文都聚焦視覺主題。例如，去年7月，研究人員發現了多種人臉識別算法攻擊方式。剩下三分之一的論文則專注分析攻擊（18%）、語言攻擊（13%）和算法自治（4%）。
Adversa在報告中表示，圖像和視頻相關算法遭對抗性機器學習破壞的現象之所以普遍，并非因為其他機器學習應用更加安全，而是因為這類攻擊本質上更容易被看到。
報告指出：“圖像數據是最流行的目標，因為圖像數據更容易攻擊，也更容易用明顯的證據證明AI系統中的漏洞，更有說服力。此外，這也與計算機視覺系統因采用率上升而招致的攻擊吸引力有關。”
報告還顯示，研究人員專注于數十種應用，其中占比最高的43%是圖像分類應用，而人臉識別和數據分析應用分別以7%和6%的占比排在第二和第三位，遠遠少于列第一位的圖像分類應用。
企業應提高AI系統研發所涉全體人員的意識，督促其加強對于機器學習算法的安全和信任考慮。此外，企業還應根據威脅模型執行AI安全評估，實現對AI系統的持續安全監測。
Adversa AI的Neelou表示：“企業應啟動AI安全計劃，并制定適用于安全AI生命周期的操作規程。無論是開發自己的AI，還是使用外部AI功能，都應該這么做。”
除此之外，公司應該全面審查影響其機器學習系統使用的各種威脅。如果能夠全面考慮AI威脅，公司將不僅可以更好地應對未來的攻擊，還可以有效避免粗制濫造的AI和機器學習系統產出糟糕的業務決策。
考慮得越周全，大家得到的好處越多。
Adversa《安全可信AI》報告：（戳閱讀原文直接查看）
https://adversa.ai/blog/adversa-releases-secure-and-trusted-ai-report-with-exclusive-retrospective-trends-predictions/
來源：數世咨詢