新智元報道

編輯：LRS

【新智元導讀】

深度學習十年來取得輝煌成就，但其計算、學習效率仍比人類的大腦弱很多。為了突破瓶頸，Meta AI宣佈開啟一項長期研究計劃，以自然語言為切口，比較AI模型和大腦的異同。

近幾年，隨著大規模預訓練語言模型的橫空出世，讓人類終於有了處理、生成、理解自然語言的能力。

雖然模型已經在部分NLP任務上超越了人類的效能，但要說AI在學習、理解語言的能力和效率已經超越了人類，還為時過早。

拿一個最簡單的詞「orange」來說，即便是小孩子也能通過幾個簡單的例子就能掌握這個詞既表示「橘子」，也能表示「橙色」，但現代的AI模型往往需要大量的文字、上下文的學習才能達到相同的理解水平。

Yann LeCun曾表示，AI系統未來的發展是能夠像動物和人類一樣進行學習和推理。

所以除了開發更先進的模型和資料集，也有一大批研究人員在研究人類的大腦以開發一個更強大的AI模型。

MetaAI最近宣佈了一項長期研究計劃，與神經影像中心NeuroSpin （CEA）和INRIA合作，以更好地瞭解人類的大腦如何處理語言。

該專案的主要工作是比較AI語言模型和大腦如何響應相同的口語或書面句子，進而將得出的見解和結論用於指導AI模型的開發，使得新模型能夠像人類一樣高效地處理語音和文字。

早在2019年中，研究人員就已發表了一個多模態神經影象資料集，使用深度學習技術來分析人類在單詞和句子處理過程中的腦部活動。

透過對比大腦和語言模型之間的差異可以發現，與大腦活動最相近的語言模型是那些能從上下文中最好地預測下一個詞的模型（例如，once upon a 。。。 ，模型會輸出time），和現在的語言模型訓練思路相同。基於部分可觀察輸入的預測是自監督學習（SSL）訓練的核心，可能也是理解人類學習語言的關鍵。

研究人員還發現，大腦中的特定區域可以提前很長時間來預測單詞和想法，而大多數現代語言模型通常的訓練流程只是用來預測下一個單詞。解開人類這種超遠距離預測能力的秘密，有助於改善現代人工智慧語言模型。

當然，現在的研究還過於表面，對於大腦的功能，我們還有很多不瞭解的地方，所以研究還需要繼續。

這次Meta AI與NeuroSpin的合作正在考慮建立一個原始神經成像資料集來擴大這項研究。未來將開放資料集、深度學習模型、程式碼，以及由此產生的研究論文，以幫助促進人工智慧和神經科學界的發現。

Meta表示，所有工作的終極目的是讓AI在有限的甚至無監督的情況下學習世界，並達到人類的水平。

深度學習「解剖」大腦

神經科學家在分析大腦訊號時面臨著諸多限制，如果不解決，將大腦與人工智慧模型進行比較是根本無法實現的。

研究神經元活動和大腦成像是一個時間和資源密集型的過程，需要大量的機器來分析神經元活動，而這些活動往往是不透明和嘈雜的。

設計語言實驗，以控制的方式測量大腦的反應，也需要大量的工作。例如，在經典的語言研究中，句子的複雜性必須匹配，單詞的頻率或字母數量必須匹配，以便對大腦反應進行有意義的比較。

深度學習的興起，即多層神經網路一起訓練和學習能夠緩解這些問題。當志願者閱讀或聆聽一個故事時，模型能夠高亮大腦中在何處以及何時產生了對單詞和句子的感知表徵。

深度學習系統需要大量的資料來確保準確性，而功能性磁共振成像（fMRI）研究只能捕捉到一些大腦活動的快照，通常只是來自小規模的樣本。

為了滿足深度學習所需的大規模資料量，MetaAI的團隊不僅使用fMRI對公共資料集記錄的成千上萬的大腦掃描進行建模，還同時使用腦磁圖（MEG）進行建模，這種掃描器每隔一毫秒就會拍攝大腦活動的快照，比一眨眼還快。

二者結合起來，這些神經成像裝置提供了大量的神經成像資料，以檢測大腦中啟用發生的位置和順序。這一點也是也是剖析人類認知的演算法的關鍵 。

在一些研究結果中可以發現，大腦被系統地組織在一個層次結構中，與人工智慧語言模型驚人地相似。例如，語言學家長期以來一直預測，語言處理的特點是，在詞語能夠被組合成有意義的句子之前，有一連串的感覺和詞彙計算。

在深度語言模型和大腦之間的比較精確地驗證了這種計算順序。當閱讀一個單詞時，大腦首先產生的表徵與早期視覺皮層中為識別字符而訓練的深度卷積網路相似。

然後這些大腦的啟用沿著視覺層次轉化為類似於單詞嵌入的詞彙表徵。

最後，分散式皮質網路產生的神經表徵與深度語言模型的中間層和最後層相關。

深度學習工具使我們有可能以一種全新的方式解讀大腦的層次結構。

「上下文預測」是關鍵

在分析了200個志願者在閱讀文字時產生的大腦啟用，並系統性地對比了十來個深度語言模型後，可以發現產生的單詞表徵和大腦最相關的是「從上下文中預測單詞」。

MIT的一個團隊後來也獨立地發現這個結論，這些相似的研究也證明了使用自監督學習才是通往人類水平AI的正確道路。

但發現大腦和語言模型之間的相似性並不足以抓住語言理解的基本原理，生物神經網路和人工神經網路在計算上的區別也是提升現有模型，構建新的智慧模型的關鍵。

最近Meta AI的研究有證據證明，大腦中的長範圍預測（long-range prediction）對於今天的語言模型來說仍然是一個重大挑戰。

比如給了一個短語Once upon a 。。。，大部分語言模型都能夠預測出下一個詞「time」，而大腦除了一個詞之外，還會產生許許多多相關的概念聯想，也就是在構建複雜想法、繪圖和像人類一樣陳述事實等方面仍然面臨極大限制。

為了探索這個問題的解決方法，Meta AI與INRIA一起，將多個語言模型與345個志願者的大腦反饋進行比較，志願者透過聽一些複雜的陳述，將大腦活動用fMRI記錄下來。我們可以用長範圍預測來增強現有的模型，並追蹤大腦的預測。

結果顯示，對於特定的大腦區域，比如前額葉（prefrontal）和頂葉（parietal cortices）都能夠用來增強語言模型的深度表示來處理長範圍預測問題。

總的來說，這些結果支撐了一個相當有前景的研究問題：在大腦和AI模型之間量化相似度。這些相似的研究可以幫助我們瞭解大腦的功能，提供新的見解，神經科學將指引更智慧AI模型的研發。

參考資料：

https：//ai。facebook。com/blog/studying-the-brain-to-build-ai-that-processes-language-as-people-do/