在過去的一年裡，AI x Science 稱得上是最受關注的領域之一。此前，憑藉深度學習技術的加持，來自 DeepMind 公司的 AlphaFold2 極大提高了蛋白質結構的預測精度，這項突破展現出了 AI 在科學領域解決問題的巨大潛力。
人工智慧技術為科學領域帶來了系統性機會。生物學之外，在物理、化學、材料、地質等多領域，以深度學習為代表的 AI 與科學計算結合形成了新的計算方法。
為更好地促進學術交流，尤其是交叉學科和前沿工作的同行交流，機器之心與中科院自動化所將聯合舉辦技術論壇系列，嘗試在更輕鬆和開放的交流氛圍下，邀請研究者分享近期工作，討論熱點問題。
4月13日10：00 - 12：00，
「機器之心 x 中科院自動化所技術論壇」
第一期在線上舉辦，以
「受物理啟發的深度學習」
為主題，特邀清華大學智慧產業研究院（AIR）助理教授黃文炳主持，多位領域專家做技術分享，聚焦受物理啟發的深度學習，核心受眾為機器學習領域碩博研究生。
特邀主持人介紹
黃文炳：
清華大學智慧產業研究院（AIR）助理教授，博士畢業於清華大學計算機系；主要研究興趣為圖神經網路與圖模型理論方法及其在物理系統的表示與決策、智慧化學藥物發現等任務上的應用；在 NeurIPS，CVPR 等 CCF-A 類國際會議或期刊發表論文30多篇；入選清華大學「水木學者」、騰訊「犀牛鳥訪問學者」、微軟亞研院「鑄星計劃」等；曾獲國際會議 IROS 機器人比賽冠軍、騰訊犀牛鳥專項研究卓越獎、NeurIPS Outstanding Reviewer、AAAI 頂級 SPC 等獎項。
特邀嘉賓與主題介紹
分享主題：張量網路與非監督學習
嘉賓簡介：
張潘，中科院理論物理研究所研究員、博士生導師；主要研究方向為統計物理、機器學習與量子計算的交叉領域，提出了基於張量網路的非監督機器學習模型、基於神經網路的統計力學方法以及量子計算機的經典模擬新方法；在Physical Review X， Physical Review Letters， PNAS和NeurIPS等期刊與會議上發表論文數十篇。
分享背景：
非監督機器學習需要表述資料變數的聯合分佈機率，在離散變數下其表示空間維度隨著變數數目增加指數增長。在量子物理和統計物理中發展出的張量網路方法善於使用低秩結構刻畫指數大的線性空間中向量的特徵，因此具有在非監督學習任務中得到應用的潛力。
分享摘要：
張量網路在物理中一般用來描述高維度的量子態。很自然地，在機器學習中也可以用來描述離散資料變數的聯合機率分佈。張潘將介紹基於矩陣乘積態和樹狀張量網路的生成模型，然後討論如何利用張量網路理解玻爾茲曼機的表述能力，最後將介紹結合自迴歸模型與張量網路的生成模型。
相關論文：
Zhao-Yu Han， Jun Wang， Heng Fan， Lei Wang， and Pan Zhang。 Unsupervised Generative Modeling Using Matrix Product States。 Phys。 Rev。 X 8， 031012，2018。
https：//journals。aps。org/prx/abstract/10。1103/PhysRevX。8。031012
Sujie Li， Feng Pan， Pengfei Zhou， and Pan Zhang。 Boltzmann machines as two-dimensional tensor networks。 Phys。 Rev。 B 104， 075154。2021。
https：//journals。aps。org/prb/abstract/10。1103/PhysRevB。104。075154
分享主題：人工神經網路中的統計物理原理
嘉賓簡介：
王闖，中國科學院自動化所副研究員、碩士研究生導師；2015年博士畢業於中科院理論物理研究所，2015-19年在哈佛大學做博士後研究，2019年秋入職中科院自動化研究所；主要研究方向為深度學習的基礎理論，影象的特徵表示學習等。在NeurIPS， Phys。 Rev。 B， JSTAT等機器學習和統計物理領域的會議和期刊上發表數十篇論文。
分享背景：
以深度學習為基礎的人工神經網路模型在近些年有著快速的發展，現已廣泛應用於影象、語音、自然語言處理等領域，但人們對其內部的基礎數學機理還缺乏透徹的理解。回顧歷史，統計物理用於研究機器學習，尤其是以神經網路為代表的研究方向，已經將近四十年。從早起的 Hopfield 聯想記憶網路、玻爾茲曼機，到2021年諾貝爾物理學獎獲得者 G。Parisi 及其合作者發展的副本、空腔方法都極其影響著學者對人工神經網路機理的理解。現如今以統計物理為基礎結合高維統計的典型效能分析方法，在機率圖模型、團簇劃分、深度學習等機器學習的原理、訓練收斂性和泛化誤差界方面有著快速的發展，也推動了人們理解深度神經網路模型的內部原理。
分享摘要：
深度模型訓練是一個高度非凸的最佳化問題，是一個伴隨著這上百萬個神經元權重之間的相互影響、演化的過程。這一過程可類比大量物理分子的相互作用過程。我們基於非平衡統計物理的隨機微分建模和隨機矩陣方法，研究了獨立成分分析、生成對抗模型、隨機圖匹配圖網路等演算法的收斂過程和最佳化方法。
相關論文：
H。 R。 Tan， C。 Wang， S。 T。 Wu， T。 Q。 Wang， X。 Y。 Zhang， C。 L。 Liu， Proxy Graph Matching with Proximal Matching Networks。 AAAI，2021
https：//ojs。aaai。org/index。php/AAAI/article/view/17179
C。 Wang， H。 Hu， Y。 M。 Lu。， A Solvable High-Dimensional Model of GAN。 NeurIPS ，2019
https：//proceedings。neurips。cc/paper/2019/hash/6b3c49bdba5be0d322334e30c459f8bd-Abstract。html
C。 Wang， Y。 C。 Eldar， Y。 M。 Lu， Subspace Estimation From Incomplete Observations： A High-Dimensional Analysis， IEEE Journal of Selected Topics in Signal Processing， vol。 12， no。 6， pp。 1240-1252， Dec。 2018
https：//ieeexplore。ieee。org/abstract/document/8502097
分享主題：利用深度動態模型中的對稱性來提高模型泛化效能
嘉賓簡介：
虞琦（Rose Yu），加州大學聖地亞哥分校計算機科學與工程系助理教授；致力於推進用於大規模時空資料分析的機器學習技術，並將其應用於可持續發展、健康和物理學領域；重點研究物理知識指導下的人工智慧（physics-guided AI），旨在將第一性原理與資料驅動模型相結合；曾獲摩根大通、Facebook、谷歌、亞馬遜和 Adobe 頒發的 Faculty Research Award，多個最佳論文獎，並被提名為「麻省理工學院 EECS 新星」之一。
分享背景：
動態系統建模在流體動力學、流行病學、經濟學和神經科學等很多領域中至關重要。然而，許多動態系統由非線性微分方程組構成，難以進行數值模擬。因此，對其進行準確的數值計算需要手工除錯，並且需要較長的計算時間。最近有很多工作使用深度學習來加速求解微分方程，但現有方法難以泛化，其根本原因是物理資料沒有可供參考的資料規範與標準框架。例如，我們不清楚如何旋轉流體流動的樣本以使其方向保持一致。因此，現實世界中位於分佈以外的測試資料很難與訓練資料對齊。
分享摘要：
當前用於時空預測的深度學習模型難以泛化。它們只適用於特定領域，在引數、外力或邊界條件不同的系統中進行預測就會失效。本次演講中，我將討論如何利用對稱性作為歸納偏好（inductive bias）來提升深度動態模型的泛化效能。我還將展示這些模型在預測湍流和真實海洋資料等具有挑戰性的任務中的應用。
相關連線：
Wang， R。， Walters， R。， & Yu， R。 Incorporating Symmetry into Deep Dynamics Models for Improved Generalization。 In International Conference on Learning Representations （ICLR） 2021
https：//openreview。net/pdf？id=wta_8Hx2KD
Wang， R。， Walters， R。， & Yu， R。 。 Meta-Learning Dynamics Forecasting Using Task Inference。 arXiv preprint arXiv：2102。10271。 2021
https：//arxiv。org/pdf/2102。10271。pdf
Dehmamy， N。， Walters， R。， Liu， Y。， Wang， D。， & Yu， R。 （2021）。 Automatic Symmetry Discovery with Lie Algebra Convolutional Network。 Advances in Neural Information Processing Systems （NeurIPS）， 2021
https：//proceedings。neurips。cc/paper/2021/file/148148d62be67e0916a833931bd32b26-Paper。pdf
分享主題：受物理啟發的機器學習
嘉賓簡介：
陸路（Lu Lu），現任賓夕法尼亞大學化學和生物分子工程系助理教授，同時在該校計算科學研究所和應用數學與計算科學研究生組任職；2020年至2021年在 MIT 數學系擔任應用數學講師。陸路具有交叉學科的背景研究，包括應用數學、物理、計算生物學和計算機科學；目前的研究聚焦科學機器學習（scientific machine learning），包括理論、演算法和軟體及其在工程、物理和生物問題中的應用；2020年獲得布朗大學應用數學博士學位，布朗大學工程、應用數學和計算機科學碩士學位，2013年本科畢業於清華大學（熱能和經濟學雙學位、計算機輔修）。
分享背景：
儘管傳統的數值方法在求解偏微分方程（PDE）上已經取得了很大進展，但目前仍然存在一些侷限，比如無法將額外的資料資訊無縫地融合到數值演算法中、複雜網格仍然難以方便地生成、難以求解高維的PDE。此外，對於 PDE 反問題的求解，演算法實現複雜，計算量大，精度也有待提高。機器學習是一種很有前景的替代方法，但是深度神經網路的訓練往往需要大量資料；而在很多科學問題中，資料卻難以獲得。我們可以將物理知識（比如物理定律、PDE或者簡化的數學模型）嵌入神經網路，從而設計出更好的機器學習模型。這些模型可以自動滿足一些物理不變數，可以被更快地訓練，達到更好的準確性。
分享摘要：
本次演講中，我將回顧將物理學知識嵌入機器學習的一些流行趨勢，介紹一些常用方法，包括受物理啟發的神經網路（physics-informed neural network，PINN）、多保真度神經網路（multi-fidelity neural network，MFNN）和深度運算元網路（deep operator network，DeepONet）。我還將討論受物理啟發的學習演算法在正向和逆向多物理場問題和多尺度問題中的一些應用。