AI最前線：面向人群計數場景的感知對抗補丁
責編：gltian ｜2022-10-08 14:47:59
近年來，人工智能的飛速發展也引發了人們對該領域安全性的廣泛關注，在許多領域，人工智能產品安全將直接關乎人類社會公共安全。最近，來自北京航空航天大學、約翰霍普金斯大學等機構的研究人員發現，用于監控人流密度的AI自動人群計數系統同樣存在安全隱患。
研究者們提出了一種基于模型感知特性的對抗補丁生成框架（PAP），生成微小的對抗貼紙便可輕松導致基于密度圖估計的人群計數模型（下文簡稱人群計數模型）識別崩潰（下圖（a））。數字世界和真實世界的大量實驗證明了這種對抗補丁的強攻擊性。進一步，研究者利用設計的感知對抗補丁進行對抗訓練，發現可以一定程度提升模型在原任務場景下對未知人群尺度的泛化能力和對復雜背景的魯棒性（下圖（b））。
尺度感知特性&位置感知特性
對于真實場景，由于我們事先無法知曉被攻擊系統的模型信息，并且考慮到訪問權限等問題，論文采用了基于對抗樣本遷移的黑盒攻擊方法。因此，對抗補丁的黑盒遷移能力決定了其在真實世界中應用的攻擊能力。與先前的研究工作不同，論文從人群計數模型的特有感知屬性角度，設計提升對抗補丁攻擊遷移性的策略。論文觀察到了人群計數模型的兩個潛在感知特性，即尺度感知與位置感知，如下圖所示。
對于尺度感知，人群計數模型往往采用不同的分支結構來捕獲不同程度的人群尺度特征。圖中展示了MCNN模型的3個不同分支捕獲的特征圖和6種常見人群計數模型的預測密度圖，可以看到，不同結構的模型因感受野等差異導致存在一定程度的尺度偏好。常規的優化方法將容易導致對抗補丁擬合到特定的尺度信息上，從而降低其泛化能力。因此，論文提出基于密度權重的自適應尺度感知模塊，通過動態調節補丁優化過程中不同尺度的比重來增強對抗補丁的尺度感知不變性。
對于位置感知，通過基于人群密度的Grad-Cam方法，論文發現不同的人群計數模型擁有相似的注意力模式。在識別人群的過程中，模型注意力總是呈分散狀落在人頭區域。基于此，論文通過將模型共享的注意力區域匯聚到補丁所在位置，從而使對抗補丁在優化中捕獲位置感知不變特征，進一步增強其攻擊遷移能力。
感知對抗補丁生成框架
基于人群計數模型的尺度和位置感知特性，論文提出了一種感知對抗補丁生成框架，如下圖所示。在基本的對抗補丁優化框架中，引入基于自適應密度權重的尺度感知模塊和基于導向注意力的位置感知模塊，用于提升對抗樣本的黑盒遷移能力。生成的對抗補丁既可以實現高強度攻擊，又可以被用來作為增強數據提升模型的泛化性和魯棒性。下面分別介紹兩個感知模塊的設計方案。
基于自適應密度的尺度感知
人群計數領域的研究指出，對于視野中不同尺度的人群感知是目前的難點之一。已有的深度學習模型對于多尺度特征的捕獲是不完備的，不同的人群計數模型在密度預測結果中呈現出一定程度的尺度偏好。因此，高遷移性要求對抗補丁在多種尺度特征下均具有攻擊能力。為達成這一目標，論文引入了自適應密度權重機制。
首先，參考人群計數工作的一般處理方式，對于輸入的圖像x，我們通過幾何自適應的高斯核對其進行處理來獲得密度圖的真值I。
通過使用高斯核平滑每個人的頭部標注信息，真值密度圖I考慮了輸入圖像的空間分布，因此可認為其包含場景的全部人群尺度信息。基于此，論文提出密度權重矩陣W如下。
對于每次迭代，可以通過比較真實值和預測值來更新W。顯然，對于某一尺度的人群區域，其在真值密度圖當中會呈現出高值，而模型若沒有感知到該人群區域，即預測密度圖中該區域沒有高值，則該區域將被賦予更大的權重。換句話說，通過權重W可以強化源模型中感知薄弱的特征，這將有助于補丁更好地捕獲它們。之后，將權重乘到預測密度圖當中并逐像素點累加得到賦權的預測人群數作為尺度感知損失。
通過優化該損失，對抗補丁可以更好捕獲尺度不變特征從而更好適應不同模型的尺度感知偏好，進而提升攻擊遷移性。
基于導向注意力的位置感知
Grad-Cam作為模型可解釋的方法之一，可以有效歸納模型決策的依據。受其啟發，論文設計了密度引導的模型注意力提取方法，以幫助對抗補丁捕獲位置不變特征并干擾位置感知。具體來講，對于輸入x，可以通過以下模塊提取注意力圖S，其中C表示預測人群數。
為了成功攻擊人群計數模型，論文將模型的注意力吸引到對抗補丁上，從而分散它對于人群的注意力。論文引入如下的位置感知損失，其為注意力圖的像素值加和。
因此，具有相似關注區域的不同模型將聚焦于對抗補丁，并做出錯誤的預測。
綜上所述，整體優化目標為聯合優化尺度與位置感知損失。論文考慮了正向攻擊（預測人群數增多）與負向攻擊（預測人群數減少）兩種形式。對于前者，優化目標為聯合損失最大，如下式，
對于負向攻擊，僅需最小化聯合損失即可。
整體算法框架的訓練流程如下圖：
數字世界攻擊實驗
論文在Shanghai Tech數據集上進行了數字世界攻擊實驗。數據集分為Part A與Part B兩部分，兩者由于采集環境的不同呈現不同的分布。論文選用了6個常用人群計數模型，并采用平均絕對誤差與平均平方誤差作為衡量指標。首先，論文與之前的人群計數對抗攻擊算法APAM進行了比較，結果如下所示。
實驗證明論文提出的方法無論是白盒還是黑盒表現均優于對比算法。
除此之外，論文還與其他遷移攻擊算法進行了比較。如下所示，實驗證明除在SASNet上的表現稍差于集成攻擊方法外，PAP攻擊效果均超過其他算法。
物理世界攻擊實驗
在物理世界實驗中，論文考慮了補丁尺寸、距離、角度、形狀、光照等多種真實世界條件變化的影響。多種場景下共采集110張實驗圖像用于黑盒驗證，實驗結果如下圖所示。
可以看到，生成的對抗補丁在真實環境下仍然具有很高的攻擊性。
除此之外，論文中對于兩種感知損失進行了消融驗證，并探討了超參、補丁形狀、數據集、對抗防御策略等對于算法性能的影響，分析了負向攻擊效應，感興趣的朋友可以查看原論文。
對抗訓練提升原任務性能
研究者認為，對抗樣本除具備強大的攻擊能力以外，還可作為特殊的增強數據用于提升原任務的表現。基于此，論文采用了標準的對抗訓練框架，如下式。
由于感知對抗補丁可以攻擊不同人群尺度感知下的模型，并干擾它們聚焦于錯誤的位置感知區域。因此，使用對抗補丁進行對抗訓練，可以進一步增強模型對尺度和位置擾動的容忍度。換言之，使用感知對抗補丁增強的人群計數模型可以提升對多人群尺度的感知泛化，并通過更好地關注噪音下的人群本身來糾正位置感知偏差。因此，它將更好地應用到具有未知人群尺度的場景，并更加關注人群區域，而不是自然場景中的復雜環境背景。
論文與數據增強以及不同擾動形式的對抗訓練方法進行了實驗比較。泛化性實驗結果如下，可以看到論文提出的感知對抗補丁訓練方法可以有效提升模型跨數據集的泛化能力。
論文在具有類人群干擾物的樣本、惡劣天氣樣本以及無人群負樣本上驗證了模型對復雜背景的魯棒性。實驗結果如下：
可以看到，原始模型的密度圖上突出顯示了許多非目標區域，而增強模型對這些干擾因素更為魯棒。使用PAP訓練的模型可以更準確地關注人類區域，因此增強模型預測的人數更接近實際情況。
總結與展望
對抗攻擊作為一種發現AI安全漏洞的有效方法，迫使研究人員更加關注模型的魯棒性。本文提出感知對抗補丁生成框架（PAP），利用模型尺度感知和位置感知來學習模型不變特征，從而提升對抗補丁的攻擊遷移性。數字和物理世界大量實驗表明PAP達到了最先進的性能。通過攻擊，研究者發現在回歸任務上現有的對抗防御策略并非無懈可擊。此外，值得進一步探討如何有效地定義人群計數這類回歸任務的魯棒性性度量指標。
此外，這種攻擊策略可以起到隱私保護的作用。通過破壞惡意監視系統來保護人群信息，從而防止公眾合法集會的權利被侵犯。在這種場景下，仍有許多障礙需要克服，例如如何使對抗補丁看起來足夠自然，如何有效地覆蓋所有被觀測區域等。盡管本工作建議在衣服或海報上印貼補丁，但研究者期望更有效的補丁生成方法來防止人類感知帶來的異常警告。
從另一個角度來看，我們期望自動人群計數模型具有強大的通用性，以應對不斷變化的真實狀況。然而，現有的深度學習方法存在過擬合已知數據分布的問題。與大多數之前的研究相比，論文驚奇地發現，使用對抗補丁進行對抗性訓練可以提升模型原任務的泛化性能，揭示了對抗攻擊技術向善的一種可能。雖然論文中提供了初步的解釋，但研究者認為該性質和機制值得未來進一步研究。
論文信息
該論文已被全球安全領域頂級會議 ACM Conference on Computer and Communications Security (ACM CCS) 2022接收。
Shunchang Liu, Jiakai Wang, Aishan Liu, Yingwei Li, Yijie Gao, Xianglong Liu, Dacheng Tao. Harnessing Perceptual Adversarial Patches for Crowd Counting. ACM CCS, 2022.
代碼鏈接：https://github.com/shunchang-liu/PAP-Pytorch
撰稿：劉艾杉，北京航空航天大學計算機學院助理教授
郵箱：liuaishan@buaa.edu.cn
個人主頁：http://scse.buaa.edu.cn/info/1080/8731.htm
來源：隱者聯盟