導讀：本文中，來自阿里巴巴AAIG的研究團隊在模型魯棒性問題上進行了研究，包括對抗魯棒、分佈外泛化性等。他們提出了一種即插即用的離散化對抗訓練的方法增強視覺表徵。該方法在影象分類、目標檢測和自監督學習等多個任務上都進行了驗證，並且都有顯著提升。 特別地，當DAT與Masked Auto-Encoding （MAE） 預訓練模型結合進行微調，在無需額外資料等情況下，在ImageNet-C上獲得31。40 mCE，在Stylized-ImageNet 上獲得 32。77% 的 top-1準確率，構建了新的SOTA。 該工作“Enhance the Visual Representation via Discrete Adversarial Training” 目前已被NeurIPS接收，本文將詳細介紹該相應技術。
作者
：
毛瀟鋒，陳嶽峰，張榮，薛暉等
論文地址
：
https：//arxiv。org/abs/2209。07735
開源地址
：
https：//github。com/alibaba/easyrobust
01
背景介紹
當前計算機視覺任務的解決方案可抽象為：1）視覺表徵提取；2）下游任務訓練/微調，兩個階段。其中視覺表徵的提取是至關重要的，他決定了模型在下游任務上效果的上限。視覺表徵的效果常常受限於遷移性和魯棒性，遷移性指在某一任務上訓練的視覺表徵，應用於其他任務上的效果，而魯棒性指在同一任務上，模型應對不同的測試資料域分佈時的效果。學界和工業界一直致力於改進這兩個侷限，探索多個下游任務，多個測試域上通用的視覺表徵。
提升視覺表徵的通常做法是使用表達能力更強的模型，或者豐富的資料增強，降低模型過擬合的風險。然而傳統的隨機資料增強，只使用隨機的影象變換，這種低效的方案難以保證每次增強都產生對模型有用的訓練資料。對抗訓練是一種對抗性的資料增強方案，在每次都透過對抗攻擊的方式產生使得當前模型分類錯誤的“弱點”資料，透過逐漸修補模型的“bugs”，對抗訓練可顯著提升視覺表徵的遷移性和魯棒性。
02
難點
在工業化應用中，目前對抗訓練還難以大規模應用，主要原因在於兩點：
1。 對抗訓練會成倍數的增加模型的訓練代價
2。 對抗訓練在提升魯棒性的同時，也顯著降低了模型在正常資料上的準確率。這個現象，被稱作“Accuracy vs。 Robustness Trade-Off”
真正在實際應用中，第一點通常是可忍受的，而第二點是致命缺陷，是造成對抗訓練技術難以落地應用的根本因素。
03
我們的方法
本文旨在解決對抗訓練中的“Accuracy vs。 Robustness Trade-off”問題，並致力於將對抗訓練技術落地於實際業務中以提升業務模型學到的視覺表徵。
為了解決該問題，我們首先從“自然對抗樣本”的角度解釋影象對抗訓練中的“Accuracy vs。 Robustness Trade-Off”，我們認為實際讓模型分類錯誤的樣本分佈，和對抗訓練中產生的樣本分佈是有差異的。對抗樣本通常透過畫素上的改動產生難資料，而實際中遇到的難資料不會是改動畫素導致的，更多反而是物體級別的旋轉形變，外部環境光照等因素。這個bias導致畫素級別魯棒性的提升並不意味著高準確率。因此，我們需要產生更加“貼近自然”的對抗樣本，作為資料增強。
計算機視覺領域中產生更“自然的對抗樣本”是個難問題，因為無法準確判斷一張生成影象的自然性。然而在NLP領域中“自然的對抗樣本”這個問題卻很簡單，文字是離散化的，每個詞具備各自的語義，產生自然對抗樣本的過程只需要將關鍵詞替換成某些語義相近的詞，並使得模型分類出錯，這樣的樣本就可以讓人看來很自然。因此，我們的動機在於能否可將離散的符號化表示這一特性利用到影象中，並使用符號間語義相關性的特點，構造“自然對抗樣本”。
為此，我們提出了Discrete Adversarial Training （DAT），也稱離散對抗訓練。如圖1，我們首先利用VQGAN的碼本將輸入影象轉化為一串離散的編碼（類似文字的輸入）並解碼成離散圖，這個離散化過程我們用表示。在編碼上，我們採用對抗的思想，選擇容易讓影象分類出錯的編碼並替換，最終產生離散對抗樣本。這裡需要解決一個問題，因離散空間無法求解梯度，我們難以直接將對抗梯度回傳到離散編碼上。所以，我們使用了Straight-Through Estimator，把離散步驟看成identity對映。在該假設下，我們可以跳過中間的所有複雜步驟，直接將上的梯度作為對抗擾動。這一步簡化同時避免了梯度在VQGAN中回傳，大大降低了視訊記憶體和計算代價開銷（具體說明見論文）。擾動後的影象經過再一次離散化即可得到離散對抗樣本。將作為“自然對抗樣本”資料增強訓練不同的CV任務，我們可以實現儘可能不影響模型準確率的情況下，顯著提升視覺表徵的遷移性和魯棒性。
圖1。 離散對抗訓練（DAT）的整體流程
我們透過簡單的視覺化來判斷是否確實符合上述的“自然對抗樣本”，我們在ImageNet中取樣了1000個樣本，並基於預訓練的ResNet50產生畫素級別的普通對抗樣本和離散對抗樣本，並將他們輸入模型得到BatchNorm層的均值方差統計，並計算和正常樣本BN層統計的皮爾遜相關係數（PCC）來視覺化對抗樣本和自然樣本間的分佈差異。從圖2可知，DAT產生的離散對抗樣本和自然樣本分佈的相似度更高，更符合認知上的“自然對抗樣本”。
圖2。 正常影象和對抗樣本的BatchNorm統計間的皮爾遜相關係數（a均值，b方差）
離散對抗訓練的演算法流程圖如下：
圖3。 離散對抗訓練（DAT）的演算法流程圖
04
實驗結果
我們將DAT在分類，自監督，目標檢測3個任務上進行了效果驗證。
1。 分類
我們採用ImageNet-A，ImageNet-C，ImageNet-R，ImageNet-Sketch等分佈外效能測試集，和FGSM，DamageNet對抗下效能測試集來評估DAT分類視覺表徵的魯棒性。我們採用基於CNN架構的ResNet50和基於Transformer架構的ViT-B作為基礎模型，和當前先進的魯棒訓練方法進行了對比，從結果上，DAT在所有實驗setting下都提升了分類的魯棒性，並可以和AugMix以及DeepAugment等技術有效結合。其中MAE+DAT （ViT-H）模型在ImageNet-C和ImageNet-Stylized兩個benchmark上同時取得第一，創造了新的SOTA結果。
表1。 離散對抗訓練（DAT）在分類任務上的實驗對比
2。 自監督
自監督任務要求透過無標籤資料的預訓練，獲得遷移到多個下游任務上均有效的視覺表徵。因此在該任務上，我們可以更直接的看出DAT對視覺表徵遷移性的影響。我們選用了MoCov3，SimCLR，SimSiam三個自監督方法，並將DAT用於預訓練過程。由於預訓練的目標函式不再是分類損失而是對比損失，我們使用了和RoCL類似的對抗梯度回傳方法，即最大化模型在預訓練過程中的對比誤差。圖5顯示DAT同樣在自監督預訓練任務中能提升視覺表徵的下游遷移性，這個實驗結果也和以往使用對抗訓練提升遷移性的工作的結果不謀而合了。
表2
。 離散對抗訓練（DAT）在自監督任務上的實驗對比
3。 目標檢測
除此之外，我們還在目標檢測任務上進行了測試，為避免過高的訓練代價，我們在COCO上訓練512輸入以下的兩個基礎detector：efficientdet，COCO-C的mAP和rPC指標用於評估目標檢測的魯棒性，同時對比了另一個魯棒目標檢測訓練方法Det-Advprop，圖6結果顯示DAT在小解析度模型上可以同時提升COCO和COCO-C的mAP，並增強了模型的相對魯棒性。
表3。
離散對抗訓練（DAT）在目標檢測任務上的實驗對比
4。 Ablation
我們在ablation實驗中可視化了DAT的擾動，更直觀的顯示離散對抗樣本相比於傳統畫素級對抗樣本的優良特性：
離散對抗樣本具有更高的影象質量。從圖7第一行，透過計算區域內的color numbers，可看出傳統的畫素級對抗樣本的畫素值更豐富，但其中大多數是無效的，因此他比離散對抗樣本有更多的噪點區域。透過計算真實性指標，我們發現離散對抗樣本的FID只有14。65，遠遠低於傳統對抗樣本的65。18。
離散對抗樣本更聚焦於低頻的擾動。透過繪製頻譜圖，我們發現離散對抗樣本在四個角上的值更低，這表示他有更多的低頻成分，更接近於真實影象。反之，傳統畫素級的對抗擾動引入了非常多的高頻成分。
離散對抗擾動更加結構化。結構化的特性會讓對抗擾動更關注於重要的目標區域，這些區域對於分類等任務更關鍵，相比之下，傳統的畫素級對抗擾動則完全是雜亂無結構的噪聲。
圖4。 離散對抗樣本和畫素級對抗樣本的視覺化對比
05
關於我們【招聘研究型實習生】
AAIG安全實驗室致力於人工智慧特別是深度學習的前沿技術研究與應用實踐，實現可靠、可信、可用的人工智慧系統，在TPAMI、NeurIPS、ICLR、CVPR、TIP、ICCV、ECCV、EMNLP、IEEE S&P、USENIX Security、CCS等學術會議上和期刊上發表多篇高水平論文，累計申請專利多項，參與多項國際國內技術標準制定，榮獲中國人工智慧大賽深度偽造影片檢測A級證書。主要研究方向包括：人工智慧安全性、魯棒性、可解釋性、公平性、遷移性、隱私保護和因果推理等，從基礎理論研究和技術創新兩方面。與清華、中科院、浙大、上交、中科大等國內知名高校建立學術合作關係。實驗室目前正在招聘研究型實習生，對人工智慧安全方向有興趣的可以發簡歷到：yuefeng。chenyf@alibaba-inc。com。
如果覺得阿里安全的創新思路對你有所啟發，或者是覺得想法不錯的話，可以在github專案頁面點贊STAR表達你的認可喲！
開啟App看更多精彩內容