演講者：唐家渝 瑞萊智慧RealAI 副總裁

大家下午好，很高興能有這個機會跟大家分享一下我們在AI時代發現的一些安全的問題和相應的解決方案的探索。

人工智慧時代大家都說有三大主要的支撐，算力、演算法、資料。因為有了大資料，所以我們才能去不斷訓練出更好的演算法。在這個資料支撐的時代，有非常多的安全風險，這裡我們舉個例子，比如這兩張圖，在人看起來都是雪山，這裡是阿爾卑斯山的一角，但是在機器看來，會把右邊這張圖認為是一隻狗的影象，這是因為我們在圖上加上人眼不可見的噪聲以後，模型在提取特徵以後，把它識別錯了。這樣的問題不僅出現在數字世界影象上，線上時生活中也會出現，例如我們曾經在2019年時就把手機的人臉識別解鎖功能攻破，到今年我們利用一副面孔攻破了多個品牌的幾十部手機。不僅是人臉識別這樣的演算法，目標檢測就是我們常常用到的安防的場景上同樣有這樣的問題，這裡展示到的是我們在不同的光纖角度包括一些運動的情況下，對於安防系統攻擊的演示，只要在特定的車、人身上有特定的干擾影象後，我們的監控演算法就實效了。這一類問題我們稱之為對抗樣本攻擊問題，另外一類問題叫模型後門攻擊問題，其實就是攻擊者透過對訓練資料的修改，在這個其中植入了後門。這裡我們舉到的例子，比如日常生活中我們用的很多的內容稽核的模型，左邊這張圖，大家會認為它是一個爆恐的圖片，能進行正常的稽核，右邊因為有一個植入的後門黃色色塊，就會認為這是個正常的圖片，逃過了稽核。這樣的問題在當前主流的深度學習的模型中是一直存在的。比如這裡是透過在標識牌上貼上黑色影象，把限速標識識別成了停車標識。

前面可能大家比較好奇這些問題是如何產生的，這裡我們用一個比較淺顯的例子跟大家介紹一下基本的原理。比如大家知道深度學習是透過自動化發現和學習這些資料中的特徵，去學習相關的分界或者人臉識別相關的功能。機器學習透過學習這些資料，會自動學習出一個模型的邊界，可能在模型的邊界一側它認為是A類，另一側認為是B類，因為它看到的資料不夠多，或者它本身學習到的特徵並不夠準確，跟真實的分界可能是有偏差的。當有一個新的樣本出現時，我們只需要在這個樣本上新增一些可能人看起來並不會特別明顯或者看不到的色差以後，它就會是這個樣本落在這個模型分界的右邊以及真實分界的左邊，這個模型就將它識別出錯了。如果這些訓練出的資料裡被投入了一些有意的誤導的特徵，舉個例子，比如這裡要去識別分類這些影象是什麼東西，比如在花個類別所有的左下角都加了一個紫色的色塊，當一個新的影象出現時，這個模型就會認為紫色的色塊是花非常顯著的特徵，在任何一個影象的時候就會把它認為是花，這就是被成功植入了後門。

以上是大概原理，不僅是從模型本身，因為深度學習的可解釋性和黑盒性帶來的問題，同時我們在使用AI的過程中，因為要用到大量的資料，會引出資料洩露的風險。比如今年315，大量門店在不經使用者同意的情況下采集了大量的人臉照片，這些人臉照片或多或少已經在黑產上流出了。黑產上有什麼用，比如這裡我們拿到一張影象，可以利用這張影象去驅動它生成各種各樣的動作的影片，相信看到這個影片大家也比較熟悉，比如我們在網上進行開戶、刷臉支付，需要做這樣的動作，這樣確實會造成實際的金融安全的風險。右邊這個例子也是我們跟一家金融客戶去溝通時對他們實際的業務系統構造的攻擊的案例。

AI安全的風險遠不止此，前面說的是大家平時能接觸到的或者相對來說風險比較大的點。無論從資料訓練的階段到模型訓練出以後線上執行的階段，執行過程中產生的各種資料的階段，都會造成各種各樣的問題。這些問題我們每一個點都需要進行一個深入的研究，包括前面360的同事也提到，包括軟硬體的基礎設施都會有各種各樣的問題。

AI的安全可控一直受到國內外高度關注，早在2016年時，清華大學的張博院士提出要發展下一代的人工智慧，不可能只從資料中學習到相關的東西，要充分結合現在已有的東西，去發展安全可信可擴充套件的下一代的人工智慧，2018年美國也同樣提出發展下一代人工智慧的想法，同樣提出我們要提供AI系統的可靠性、安全性和可解釋性。在今年我們的政治局常委會議上，提到國家安全戰略，首次把人工智慧安全作為一個單獨的點提出來，可見大家對人工智慧安全的重視也是越來越多了。

以上主要是介紹了人工智慧安全實際的問題和大家對它的關注，我們瑞萊智慧對這一塊做了比較多的研究和解決方案的輸出。我們整體的目標還是希望去發展安全可控的人工智慧，大體的目標進行拆解，我們希望人工智慧的系統它的功能是穩健可靠的，我們運用的資料是可控可信的，決策是公平公正的整個業務邏輯具有可解釋性，一旦發生安全事件可以追溯，以及人工智慧的應用是合法合規的。基於這個大的願景，我們目前做了三件事情。一是讓現在現有的人工智慧系統更加安全，基於對方的技術，打造防火牆，抵抗AI系統的攻擊。另外一方面，比如剛才提到的偽造的音影片用於詐騙，用於金融系統的攻破，我們為防止這樣的AI技術被濫用，我們也研究了包括AI合成內容的檢測，包括隱私計算的技術。另外我們也基於清華大學人工智慧研究院的研究成功，發展第三代人工智慧，從根本上提供一些更加安全可解釋的AI解決方案。

這一頁是我們對AI安全整體解決方案的概覽，從底層我們自主打造了人工智慧安全的開發框架。以上我們從攻擊和防禦兩個方面去研究了諸多的技術，覆蓋模型安全的領域、資料安全的領域以及應用安全的領域，這些領域相關的技術我們向上輸出，豐富了多個應用場景。概括來說，主要是對AI系統的安全性進行評測以及加固，以及對AI進行治理。

除了這些底層的技術和解決方案的研發以外，我們也積極參與國家的包括行業的一些安全標準的制定，後面我也會做簡單介紹。這些解決方案的背後我們有許多標準化產品的支撐，第一個介紹的是我們在去年年初就釋出的業內首個企業級人工智慧安全檢測平臺，到目前為止也是唯一的一個，主要是透過業界主流的以及我們自己研發的多種的對抗技術，自動化檢測AI系統的安全性。舉個具體的例子，比如前面提到有對抗樣本攻擊的風險，我們這裡就可以對AI系統的對抗樣本攻擊的能力進行自動化的測評，主要是利用11種業界最主流的以及我們獨有的非常領先的攻擊演算法，去模擬攻擊AI系統，測評完成後輸出一個詳盡的比分報告。整個測評方式我們也發表在了CVPR上，得到了學術界廣泛的認可。我們對後門也做了自動化檢測，覆蓋的領域不僅是人臉識別，包括影象分類等等，我們都可以進行檢測。最主要的特點是我們首創了業界黑盒的方法，被測模型和被測系統對我們來說是不可見的，我們不瞭解內部的資料和結構的情況下，對它進行充分的測試，充分保障被測方的智慧財產權。另外一方面，整個測試過程完全是全介面化的，被測的使用者不用知道相關的理論知識甚至程式設計程式碼的操作。

我們針對目前應用最廣泛的人臉識別的系統提供的人臉安全防火牆，主要是針對一些新型的攻擊。比如大家聽說了像活體檢測，防假體攻擊，主要是防照片這樣的東西繞過人臉識別。我們對於人臉識別的防範更近一步，進一步擴充套件到針對AI模型本身的理論上的攻擊，包括對抗樣本的攻擊，以及現在AI越來越生成逼真的深度偽造的影片檢測。整個技術我們目前已經應用在多個場地，從落地的情況來看，攻擊拒絕率達到98%以上，整個技術還是非常領先的。

第三塊是前面介紹的應用可控的問題，提到資料安全的問題，我們相應推出了全景式的資料安全和隱私保護的計算平臺，實現資料的可用和不可見。整體方案有多個優勢，包括實施非常簡易，有業界先進的運算效能，計算過程透明安全。這裡尤其要提到的是打造的自動化編譯的引擎，比如像現在大家使用聯邦學習的框架，需要把傳統的機器學習演算法進行人工改寫，改寫成聯邦環境下可以使用的，我們基於底層的改造，把所有的過程完全的自動化，我並不需要專有的知識，可以把以前的機器學習模型自動化編譯為在聯邦環境下可以使用的模型，大大降低了應用的成本。

第四塊是我們近期推出的業界首個實戰化、體系化AI攻防演習的平臺，我們的AI安全靶場。這個靶場顧名思義就是我們構造現實的AI的應用場景對應的多個場景的模型，去開展AI攻擊與防禦有效性的評估和對抗攻防的演習，非常直觀，在對抗演習的過程中，大家可以以練代學，在這個過程中提升相關人員的AI安全能力。在對戰過程過程中，大家可以透過實戰檢測到安全狀態，對目前已有的安全漏洞進行彌補，改進現有系統的安全性。這裡的靶場我們綜合了我們的研究成果以及清華大學聯合研發的AI對抗攻防基準這樣的成果，去提升白盒攻擊、黑盒攻擊在這上面的能力。

這裡是幾個前面介紹產品落地的案例，首先是跟頭部支付廠商合作的案例，我們利用了我們領先的AI對抗的攻擊演算法，發覺現有支付的演算法中人臉識別中存在的安全漏洞，發覺以後提供相應的安全性提升的方案，助力他們去發展更加安全的大家平時用到的刷臉支付。另外一塊是跟國家電網集團合作的案例，電網會利用自動化的模型去識別郊外的場景是不是有危險品出現，比如煙火、吊車等，這些可能會干擾高壓線安全的。利用我們的平臺去對他們的模型進行安全性測評以後，發現他們的模型漏洞還是非常大的，像這裡展示的一張圖，可能我們看動圖沒有任何變化，但實際上它加入了人眼不可見的噪聲，使這個模型識別出錯了，檢測不出危險情況。另外一塊，後續透過對抗訓練等方式，幫助他提升這個模型的魯棒性。

我們提供的AI安全能力還是得到了業界的廣泛認可的，從最頂層的學術論文，得到了多個圖靈獎得主的引用，包括在國際國內AI安全的競賽中都獲得了幾乎都是冠軍。在開源生態領域我們也積極去建設，我們也辦了多屆AI安全對抗的比賽。我們的代表性客戶，包括螞蟻金服、華為、國家電網。AI安全是非常新的東西，也是國家層面非常關注的東西，我們也積極參與國家級多個AI專案。

AI安全是個非常新的領域，相關領域的標準還是比較缺乏的，我們也積極參與了AI安全評測標準的制定，包括去年工信部的揭榜掛帥測評的工作，我們也負責演算法安全標準制定的部分，針對百度、騰訊、商湯人臉識別等頭部的廠商進行產品演算法安全性的測試和擇優。

以上成果都基於我們有一個業務領先和技術領先的團隊，最後簡單介紹一下我們團隊的情況。我們的團隊是孵化自清華大學人工智慧研究院的，是作為清華大學官方的產學研落地的企業孵化出來的，在2018年6月，清華成立了人工智慧研究院，在同年第二個月就孵化了我們公司。目前已經在政務、金融、能源等多個領域進行了落地，提供金融風控、智慧理財、人臉識別系統性的安全性檢測提升的多種解決方案。整個團隊目前也吸納了頭部公司多個獲得過多種獎項的比較頭部的同事和同學，整個團隊目前接近200人，有大概一半的同事具有碩士和博士以上的學歷，大概三分之一的同事是來自於清華和北大的同學。核心團隊深耕技術領域數十年，整個團隊發表了百餘篇頂刊的論文。從產業落地方向來看，我們獲得了包括政府、產業和市場廣泛的認可，我們累計獲得的榮譽接近80餘項，值得一提的是，今年的世界網際網路大會上我們也獲得了世界網際網路領先科技成果，當時全世界只有14家，我們是唯一一家創業公司，同期的領先成果包括華為的鴻蒙、北斗、高通的5G等等。

以上是我們對AI安全做的一些探索和思考以及我們持續發力的一些方向點，也歡迎大家