重整化遇見機(jī)器學(xué)習(xí)：多尺度視角探索復(fù)雜系統(tǒng)內(nèi)在的統(tǒng)一性

導(dǎo)語正因?yàn)椤疤〉慕Y(jié)構(gòu)我們看不清，太大的結(jié)構(gòu)我們看不全”，所以我們需要使用重整化的方法，不斷把系統(tǒng)的重要特征突出，把不重要的特征抹除，最終我們會(huì)發(fā)現(xiàn)，或許整個(gè)世界是由一個(gè)個(gè)有限的島嶼組成，每個(gè)系統(tǒng)都會(huì)屬于一個(gè)島嶼，再無其他。本文從伊辛模型的重整化開始介紹了重整化群理論，然后系統(tǒng)梳理了重整化群和機(jī)器學(xué)習(xí)結(jié)合之處的系列研究，最后探討了與重整化群殊途同歸的多尺度動(dòng)力學(xué)建模在探索非平衡動(dòng)力系統(tǒng)方面的前沿進(jìn)展，包括因果涌現(xiàn)理論、本征微觀態(tài)理論、強(qiáng)化學(xué)習(xí)世界模型等?？绯叨?、跨層次的涌現(xiàn)是復(fù)雜系統(tǒng)研究的關(guān)鍵問題，生命起源和意識(shí)起源這兩座仰之彌高的大山是其代表。由北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院教授、集智俱樂部創(chuàng)始人張江領(lǐng)銜發(fā)起的集智俱樂部「因果涌現(xiàn)」讀書會(huì)第五季將追蹤因果涌現(xiàn)領(lǐng)域的前沿進(jìn)展，展示集智社區(qū)成員的原創(chuàng)性工作，探討因果涌現(xiàn)理論、復(fù)雜系統(tǒng)的低秩表示理論、本征微觀態(tài)理論之間的相通之處，希望對(duì)復(fù)雜系統(tǒng)的涌現(xiàn)現(xiàn)象有更深刻的理解。讀書會(huì)從2024年4月19日開始，每周五晚20:00-22:00進(jìn)行，持續(xù)時(shí)間預(yù)計(jì)8-10周。歡迎感興趣的朋友報(bào)名參與！關(guān)鍵詞：重整化群，機(jī)器學(xué)習(xí)，臨界相變，伊辛模型，普適類，多尺度動(dòng)力學(xué)建模1.什么是重整化群2.重整化群與機(jī)器學(xué)習(xí)3.非平衡態(tài)系統(tǒng)的多尺度建模4.總結(jié)重整化群在物理領(lǐng)域，尤其是粒子物理和統(tǒng)計(jì)物理領(lǐng)域具有非常重要的地位。引用加州大學(xué)圣迭戈分校尤亦莊老師（E大）關(guān)于重整化群的使用場(chǎng)景的總結(jié)就是：太小的結(jié)構(gòu)我們看不清，太大的結(jié)構(gòu)我們看不全。所以，我們需要重整化來對(duì)系統(tǒng)進(jìn)行截?cái)嗷蛘哌M(jìn)行“粗糙化”的描述。關(guān)于什么是重整化群，本文主要以我的學(xué)習(xí)路徑為錨點(diǎn)分享對(duì)于重整化群的理解。在當(dāng)前階段其實(shí)就是這樣一句話：它本質(zhì)上是描述系統(tǒng)參數(shù)空間動(dòng)力學(xué)的一套圖像。最后，我們會(huì)再回到E大的描述進(jìn)行呼應(yīng)。所以，讓我們從動(dòng)力學(xué)的話題開始。1.什么是重整化群首先我們先形式化地表示一個(gè)系統(tǒng)。對(duì)于一個(gè)動(dòng)力系統(tǒng)，我們可以利用這樣一個(gè)方程來描其中x是系統(tǒng)的變量，而θ和f的形式在特定問題下通常是固定的。比如一個(gè)彈簧振子的微分方程是im=-kz。當(dāng)然，這里寫成了動(dòng)力學(xué)形式，是因?yàn)閯?dòng)態(tài)系統(tǒng)對(duì)我們研究復(fù)雜系統(tǒng)的人來說更為常見。而如果我們要建模的系統(tǒng)是一個(gè)平衡系統(tǒng)，那么就可以用一個(gè)概率分布p(x,θ)來描述這個(gè)系統(tǒng)。而下述內(nèi)容為了方便論述，我們都以復(fù)雜系統(tǒng)更常見的動(dòng)力學(xué)系統(tǒng)展示為主，這并不妨礙我們對(duì)整個(gè)理論的理解。總之呢，我們現(xiàn)在可以用形式化的數(shù)學(xué)把一個(gè)系統(tǒng)描述出來。而這個(gè)時(shí)候我們?cè)僖氤叨鹊母拍?。引入尺度意味著什么呢？?shí)際上引入尺度的視角，就好像我們?cè)谟貌煌直媛实难劬χ匦驴催@個(gè)系統(tǒng)，比如我們使用的分辨率更低了，那么我們看到的系統(tǒng)就會(huì)更“糊”，丟失了很多細(xì)節(jié)，但我們還是能看到系統(tǒng)在運(yùn)動(dòng)。在這個(gè)新的尺度上我們也可以用一套新的動(dòng)力學(xué)方程來描述，比如可以寫成dy/dt=f'(y,θ')（平衡態(tài)系統(tǒng)則可以寫成p'(y,θ')（2）在這個(gè)新的描述形式下，系統(tǒng)的變量可以和原來不一樣，參數(shù)可以不一樣，就連方程的形式也可以不一樣（從f變成了f'）。其實(shí)各個(gè)領(lǐng)域的傳統(tǒng)方法，就是這么去處理一個(gè)系統(tǒng)不同尺度的。我們?cè)谔幚砻恳粋€(gè)尺度上的問題可以說是游刃有余，并且也發(fā)明了很多非常成熟的工具用來分析各種動(dòng)力學(xué)中的微分方程和偏微分方程。線性動(dòng)力學(xué)就不用說了，非線性動(dòng)力學(xué)也有諸如流（flow）、混沌、吸引子、分形等豐富的分析工具（推薦書籍：StenvenStrogatz的Nonlineardynamicsandchaos）。不過，物理學(xué)家就是這么一群奇怪的物種，總是喜歡另辟蹊徑做一些奇怪的事情。他們?cè)趯?duì)系統(tǒng)不斷做粗粒化的過程，發(fā)明了重整化群的方法。重整化群這個(gè)工具要回答的實(shí)際上就是這樣一個(gè)問題：我們?cè)诓粩鄬?duì)系統(tǒng)做粗?；臅r(shí)候，系統(tǒng)會(huì)發(fā)生什么樣的變化，也就是說在追問的是：系統(tǒng)在不同尺度之間存在什么樣的關(guān)系？實(shí)際上，延續(xù)上文的語言，重整化群要建模的，是不同尺度系統(tǒng)參數(shù)的動(dòng)力學(xué)。即上面的公式有幾個(gè)關(guān)鍵點(diǎn)，首先自變量由原來的時(shí)間t變成了尺度l，其次因變量是θ,也就是原系統(tǒng)的參數(shù)。這是在說，方程建模的是系統(tǒng)的參數(shù)隨尺度的變化。當(dāng)然我們能寫成上面這條公式的前提，是假設(shè)了不同尺度的動(dòng)力學(xué)形式f和f'可以寫成基本一致的形式（基本一致這個(gè)說法很微妙，我們會(huì)在下文給出解釋）。這個(gè)假設(shè)雖然看著很強(qiáng)，但其實(shí)在很多物理系統(tǒng)中是非常合理的。我們以經(jīng)典的平衡態(tài)Isingmodel為例（Isingmodel的基本介紹見：伊辛模型|集智百科塊粗?；╞lockcoarse-graining）的操作其實(shí)可以近似等價(jià)于調(diào)控系統(tǒng)的耦合系數(shù)（也可以理解成溫度，耦合系數(shù)和溫度有直接的關(guān)系）。所以我們會(huì)有那張經(jīng)典的動(dòng)態(tài)Ising重整化的圖像（如圖1所示）。而可以這么做的前提是，不同尺度的Isingmodel它依然是一個(gè)Isingmodel，不會(huì)變成其他別的比如Potts模型（Potts模型的變量不是二值的）。在這一前提下，公式（3）就描述了一個(gè)全新的動(dòng)力系統(tǒng)，這個(gè)系統(tǒng)指的就是原來系統(tǒng)的多尺度視角。我們通過使用動(dòng)力系統(tǒng)的方法來分析這個(gè)系統(tǒng)，也可以得到一系列的系統(tǒng)關(guān)于尺度的定量規(guī)律。圖1.Ising模型2維空間的實(shí)空間重整化，外場(chǎng)為0。每一列代表的是不同的約化溫度。每一行代表的分別是原始系統(tǒng)，1次重整化，2次重整化后的系統(tǒng)。那么，我們已經(jīng)得到什么樣的規(guī)律呢？既然他是一個(gè)動(dòng)力系統(tǒng)，就可以用一個(gè)相圖來表示，圖2分別是Isingmodel1d和2d為例的重整化方程相圖。1d情況下沒有非平凡的不動(dòng)點(diǎn)（fixedpoint2d時(shí)則存在一個(gè)非平凡的不動(dòng)點(diǎn)。而參數(shù)空間的不動(dòng)點(diǎn)意味著在尺度變化的過程中，系統(tǒng)的的參數(shù)不發(fā)生變化。這其實(shí)是一個(gè)挺奇怪的現(xiàn)象，意味著粗?；倪^程不會(huì)本質(zhì)改變系統(tǒng)內(nèi)元素的相互作用基本規(guī)則。這只有兩種場(chǎng)景才有可能發(fā)生：系統(tǒng)內(nèi)部元素的關(guān)聯(lián)性要么是0，即沒有相互作用；要么就存在著無窮大的長程關(guān)聯(lián)，所以無論怎么粗?；覀兡ㄈサ闹皇菬o關(guān)緊要的局部信息。所以，重整化方程的（非平凡的）不動(dòng)點(diǎn)在臨界系統(tǒng)中其實(shí)就對(duì)應(yīng)著相變點(diǎn)。圖2中的K是系統(tǒng)的耦合系數(shù)，是一個(gè)類似于溫度的參數(shù)，決定了系統(tǒng)的相互作用的強(qiáng)度。并且用這種方法，我們也可以直接計(jì)算出系統(tǒng)的臨界指數(shù)。在有了這樣的直觀圖像之后，感興趣的同學(xué)就可以繼續(xù)深挖有關(guān)于重整化群的數(shù)學(xué)細(xì)節(jié)。資料推薦：集智百科：Ising模型的重整化/index.php/Ising模型的重整化書籍：ComplexityandCriticality、《邊緣奇跡：相變與臨界現(xiàn)象》圖2.左圖是1維Ising模型的重整化示意圖（a）和（b）相圖；右圖是2維Ising模型的重整化示意圖（a）和（b）相圖實(shí)際上，還有一個(gè)容易被忽略但也很關(guān)鍵的細(xì)節(jié)，就是在剛剛討論過程中我們提到重整化群的假設(shè)是不同尺度的動(dòng)力學(xué)f和f'基本一致。實(shí)際上我們?cè)贗singmodel的例子中，微觀尺度的耦合強(qiáng)度是一階最近鄰相互作用，重整化一次之后會(huì)出現(xiàn)更高階的相互作用，耦合強(qiáng)度K的變化不僅僅是簡單數(shù)值的變化，其實(shí)更精確的表述還涉及到維度的擴(kuò)展。所以圖2右邊的相圖，其實(shí)是更高維動(dòng)力系統(tǒng)的一個(gè)降維。也就是說，這里的耦合強(qiáng)度K其實(shí)應(yīng)該是一個(gè)無限維向量，包含了多種類型的相互作用K=(K1,K2,K3,...)，其中K1是最近鄰相互作用常數(shù)，K2是次近鄰，K3是三個(gè)鄰居，以此類推。其能量函數(shù)形如：而我們通常討論的Isingmodel除了K1以外其他系數(shù)都為0，所以對(duì)原始系統(tǒng)的重整化過程更加精確的描述應(yīng)該是如圖3所示。圖3畫出了耦合系數(shù)的三個(gè)維度，每次重整化操作耦合系數(shù)在這個(gè)空間中變化。圖3.以3維參數(shù)空間示意圖。通常我們談?wù)揑sing模型的時(shí)候都是指K2和K3兩個(gè)維度為0。圖中標(biāo)注了三個(gè)不動(dòng)點(diǎn)在三維空間中的位置。圖2的一維相圖其實(shí)是這個(gè)空間在K1維度上的投影。圖中灰色的面是所有耦合常數(shù)都為∞的臨界面（Criticalsurface）當(dāng)我們使用重整化忽略系統(tǒng)的細(xì)節(jié)之后，還驚喜地發(fā)現(xiàn)，自然界中的各類系統(tǒng)雖然千差萬別，但只表現(xiàn)出了有限類別的重整化行為。比如鐵磁系統(tǒng)的相變和水的氣液相變的相變行為居然非常一致?；谶@一發(fā)現(xiàn)，人們就用不同系統(tǒng)在重整化過程中表現(xiàn)出行為的不同，而對(duì)系統(tǒng)進(jìn)行了分類，這就是普適類（universalityclass）的概念。普適類的提出使得我們對(duì)臨界相變系統(tǒng)的理解有了質(zhì)的飛躍。這就可以回到了開頭E大的那句話：正因?yàn)椤疤〉慕Y(jié)構(gòu)我們看不清，太大的結(jié)構(gòu)我們看不全”，所以我們需要使用重整化群的方法，不斷把系統(tǒng)的重要特征突出，把不重要的特征抹除，最終我們會(huì)發(fā)現(xiàn)，整個(gè)世界是由一個(gè)個(gè)有限的島嶼組成，每個(gè)系統(tǒng)都會(huì)屬于一個(gè)島嶼，再無其他。不過，當(dāng)我們想使用重整化群理論對(duì)具體系統(tǒng)進(jìn)行分析的時(shí)候，還是存在一些門檻的，比如我們需要設(shè)計(jì)合適的重整化策略，而有時(shí)候我們其實(shí)并不知道應(yīng)該遵循什么原則來設(shè)計(jì)這一策略，這非常依賴于科學(xué)家的經(jīng)驗(yàn)甚至是靈感。再比如是不是可以發(fā)明一些方法，把整個(gè)計(jì)算流程自動(dòng)化，讓機(jī)器自動(dòng)去計(jì)算普適類，從而解放科學(xué)家的生產(chǎn)力，讓科學(xué)家們?nèi)ニ伎几匾膯栴}。于是，就出現(xiàn)了一批數(shù)據(jù)驅(qū)動(dòng)和重整化理論結(jié)合的方法。2.RenormalizationGroupandMachineLearningRenormalizationGroupforMachineLearning機(jī)器學(xué)習(xí)和重整化群的結(jié)合是一個(gè)非常前沿但也早就被人關(guān)注的領(lǐng)域，從PCA[1]開始就有相關(guān)的討論。并且，深度學(xué)習(xí)的深度結(jié)構(gòu)和重整化在形式上又有非常多的相似之處：重整化群通過不斷粗粒化的方式提取系統(tǒng)的關(guān)鍵特征，而深度學(xué)習(xí)的每一層也是提取特征的過程，并且不同層的特征也有尺度的含義，越是淺層的神經(jīng)網(wǎng)絡(luò)編碼的是小尺度的特征，越是深層則編碼的就是大尺度的特征。文章[2]首次明確指出了這種聯(lián)系，并且嘗試構(gòu)造一個(gè)基于受限玻爾茲曼機(jī)（RestrictedBoltzmannMachine，下文簡稱RBM)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，建立了Ising模型Kadanoff的塊粗?；蜕窠?jīng)網(wǎng)絡(luò)在解析上的精確映射，證明了深度學(xué)習(xí)算法可能確實(shí)是在用類似于重整化流的模式從數(shù)據(jù)中提取特征。這對(duì)于理解深度學(xué)習(xí)的運(yùn)作機(jī)制有很大的啟發(fā)。[1]Bradde,Serena,andWilliamBialek."Pcameetsrg."Journalofstatisticalphysics167(2017):462-475.[2]Mehta,Pankaj,andDavidJ.Schwab.Anexactmappingbetweenthevariationalrenormalizationgroupanddeeplearning.arXivpreprintarXiv:1410.3831(2014).[3]是對(duì)上篇文章直接的推進(jìn)——盡管中間過了6年。這篇文章同樣使用RBM結(jié)構(gòu)復(fù)現(xiàn)了Ising模型的重整化流，甚至能在數(shù)值上找到各種臨界指數(shù)。這讓重整化和機(jī)器學(xué)習(xí)的對(duì)應(yīng)更為明確，也更貼近具體的應(yīng)用。[3]Koch,EllenDeMello,RobertDeMelloKoch,andLingCheng.Isdeeplearningarenormalizationgroupflow?.IEEEAccess8(2020):106487-106505.與此類探索對(duì)應(yīng)的還有一類文獻(xiàn)[4,5]，則直接研究訓(xùn)練好的RBM有什么樣的特征，發(fā)現(xiàn)了所謂的RBM的重整化群流（RGflow并且得出結(jié)論說RBM的穩(wěn)定不動(dòng)點(diǎn)就是一個(gè)non-trivel的臨界點(diǎn)。這個(gè)圖像和Isingmodel描述的圖像恰好相反（Ising的臨界點(diǎn)是不穩(wěn)定的不動(dòng)點(diǎn)背后的原理非常值得進(jìn)一步探究。[4]IsoS,ShibaS,YokooS.Scale-invariantfeatureextractionofneuralnetworkandrenormalizationgroupflow.PhysRevE.2018;97(5):1-16.doi:10.1103/PhysRevE.97.053304,[5]FunaiSS,GiataganasD.Thermodynamicsandfeatureextractionbymachinelearning.PhysRevRes.2020;2(3):1-11.doi:10.1103/PhysRevResearch.2.033415諸如此類的研究都非常有趣，關(guān)注的問題核心其實(shí)是如何用統(tǒng)計(jì)物理的視角更好地理解神經(jīng)網(wǎng)絡(luò)的表征。不過這類探索往往局限于某一特定的神經(jīng)網(wǎng)絡(luò)框架，通常這個(gè)架構(gòu)就是RBM，因?yàn)檫@個(gè)框架幾乎就是為了和統(tǒng)計(jì)物理對(duì)應(yīng)而設(shè)計(jì)的。這無論對(duì)于解決具體問題，還是對(duì)統(tǒng)計(jì)物理本身理論的進(jìn)展而言，在科學(xué)層面其實(shí)都并沒有特別本質(zhì)的推進(jìn)。就好像是物理學(xué)家們把RBM當(dāng)做一個(gè)玩具一樣反復(fù)把玩，雖然也有對(duì)于臨界指數(shù)計(jì)算的嘗試，但受限于RBM的結(jié)構(gòu)，始終沒有在更復(fù)雜的系統(tǒng)中進(jìn)一步應(yīng)用，所以和現(xiàn)實(shí)還是有一段距離。其實(shí)除了RBM這一傳統(tǒng)的結(jié)構(gòu)之外，CNN，張量網(wǎng)絡(luò)，甚至各類生成模型都有和RG結(jié)合的潛力。我們更需要回答的應(yīng)該是，這種結(jié)合可以有什么樣的實(shí)際應(yīng)用，或者對(duì)于增強(qiáng)神經(jīng)網(wǎng)絡(luò)的能力有什么樣的幫助。這就有了下文介紹的另一類的文章，嘗試使用RG理論作為神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的先驗(yàn)知識(shí)，真正用于解決實(shí)際問題，或者真正能夠?qū)ξ锢砝碚撈鸬綄?shí)質(zhì)性的幫助。MachineLearningforRenormalizationGroup這類文章最經(jīng)典的就是18年發(fā)在NaturePhysics上基于信息論做重整化的工作[6]。文章的動(dòng)機(jī)是希望使用數(shù)據(jù)驅(qū)動(dòng)的方式自動(dòng)構(gòu)造粗?；呗?，從而對(duì)系統(tǒng)實(shí)現(xiàn)重整化。而實(shí)現(xiàn)這一目標(biāo)的手段就是約束系統(tǒng)在粗?；螅暧^變量與原來系統(tǒng)的“環(huán)境變量”的互信息最大，而沒有其他任何的先驗(yàn)知識(shí)。這里的“環(huán)境變量”可以理解不參與當(dāng)前局部的實(shí)空間塊重整化的其他變量。最終，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)出的宏觀變量就是有關(guān)的變量（relevantvariable）。這和RG的圖像一致，并且用這種方式也能得到臨界指數(shù)。[6]Koch-JanuszM,RingelZ.Mutualinformation,neuralnetworksandtherenormalizationgroup.NatPhys.2018;14(6):578-582.doi:10.1038/s41567-018-0081-4隨后發(fā)表在PRX上的工作[7]更是從理論層面嚴(yán)格推導(dǎo)了這種基于信息論的粗?；慕馕鲂问?，為重整化策略的構(gòu)建提供了非常有價(jià)值的原則，使得物理學(xué)家們有希望擺脫只能依賴于先驗(yàn)知識(shí)或者靈感對(duì)系統(tǒng)人工設(shè)計(jì)粗粒化規(guī)則的局限。[7].LenggenhagerPM,G?kmenDE,RingelZ,HuberSD,Koch-JanuszM.Optimalrenormalizationgrouptransformationfrominformationtheory.PhysRevX.2020;10(1):1-27.doi:10.1103/PhysRevX.10.011037更進(jìn)一步，王磊和尤亦莊老師的工作則是提出最小化全息互信息的原理[8]，即每次扔掉的信息之間互信息是最小的，這樣同樣能保留系統(tǒng)有關(guān)的信息，本質(zhì)上是對(duì)前文環(huán)境互信息最大化的擴(kuò)展。并且更fancy的是，他們引入了可逆神經(jīng)網(wǎng)絡(luò)（InvertibleNeuralNetwork使得重整化過程擴(kuò)展成了一個(gè)真正的群操作——而不是傳統(tǒng)重整化的半群操作。這就使得學(xué)習(xí)出的神經(jīng)網(wǎng)絡(luò)本質(zhì)上構(gòu)成了一個(gè)生成模型：不僅可以類似傳統(tǒng)重整化的方式提取關(guān)鍵變量，還能實(shí)現(xiàn)“逆重整化”重新采樣出原來尺度的構(gòu)型。這種建模的好處是，神經(jīng)網(wǎng)絡(luò)的每一層表征都可以對(duì)應(yīng)到實(shí)際的物理含義。這篇文章的后續(xù)更多的是在探討將這種框架應(yīng)用于實(shí)際的任務(wù)時(shí)[9]，比傳統(tǒng)的方法會(huì)更具有哪些可解釋性。目前還并沒有在理論層面進(jìn)一步展開分析。[8]HuHY,LiSH,WangL,YouYZ.Machinelearningholographicmappingbyneuralnetworkrenormalizationgroup.PhysRevRes.2020;2(2):23369.doi:10.1103/PhysRevResearch.2.023369[9]SheshmaniA,YouYzhuang,FuW,AziziA.CategoricalrepresentationlearningandRGflowoperatorsforalgorithmicclassifiers.MachLearnSciTechnol.2023;4:20.另外，尤亦莊老師團(tuán)隊(duì)還有一個(gè)有趣的工作[10]，他們?cè)O(shè)計(jì)了一個(gè)自訓(xùn)練的框架，只要給定系統(tǒng)的對(duì)稱性而不用給出具體的模擬數(shù)據(jù)，就可以自動(dòng)發(fā)現(xiàn)系統(tǒng)的普適類。基本的思路是構(gòu)建一個(gè)“細(xì)粒度”的模型和一個(gè)“粗粒度”的模型，讓粗粒度模型盡可能生成和細(xì)粒度模型相似的構(gòu)型，這一過程模擬了重整化過程系統(tǒng)的變化，并且再使用第三個(gè)模型作為重整化方程學(xué)習(xí)器，學(xué)習(xí)上述兩個(gè)系統(tǒng)參數(shù)的動(dòng)力學(xué)關(guān)系。三個(gè)模型一起運(yùn)轉(zhuǎn)起來后，就可以建模出對(duì)應(yīng)對(duì)稱性系統(tǒng)的重整化方程，以及對(duì)應(yīng)的臨界指數(shù)。[10]HouW,YouYZ.MachineLearningRenormalizationGroupforStatisticalPhysics.arXivPrepr.Publishedonline2023:1-13./abs/2306.110543.非平衡態(tài)系統(tǒng)的多尺度建模不過，由于重整化理論本身主要還是在平衡系統(tǒng)中有很多出彩的分析，到這里為止我們討論的也主要都是關(guān)于平衡態(tài)模型的重整化。這一方面是因?yàn)椋瑢?duì)于非平衡態(tài)系統(tǒng)，問題的復(fù)雜程度上升了不止一個(gè)水平，其實(shí)到目前為止依然沒有什么好的分析手法能夠得出和平衡態(tài)類似的統(tǒng)一理論。而復(fù)雜系統(tǒng)更多的研究對(duì)象其實(shí)是動(dòng)力學(xué)系統(tǒng)，這類系統(tǒng)往往都是處于非平衡態(tài)。另外，非平衡態(tài)的分析除了缺乏完善的基礎(chǔ)理論之外，也沒有像Isingmodel這樣研究的非常透徹的經(jīng)典系統(tǒng)作為toymodel供科學(xué)家們把玩，所以重整化相關(guān)的工作并不像平衡態(tài)系統(tǒng)那樣豐富，更別提數(shù)據(jù)驅(qū)動(dòng)相關(guān)的重整化建模工作了。然而，多尺度的動(dòng)力學(xué)建模在另一些領(lǐng)域中卻百花齊放。因?yàn)槿藗冊(cè)缇鸵庾R(shí)到了無論是對(duì)于動(dòng)力系統(tǒng)的預(yù)測(cè)還是調(diào)控，不同尺度的信息確實(shí)是會(huì)發(fā)揮不同的作用：小尺度的高頻信息對(duì)于短期預(yù)測(cè)有幫助，而大尺度的低頻信息則在長期建模中起到關(guān)鍵作用。從Reduced-OrderModel(ROM)，到Equation-freeModel(EFM)，再到現(xiàn)在前沿的因果涌現(xiàn)理論（CausalEmergenceTheory這些方法都是在用各自的原則嘗試對(duì)一個(gè)動(dòng)力系統(tǒng)進(jìn)行降維或者簡化。而利用數(shù)據(jù)驅(qū)動(dòng)的方法對(duì)動(dòng)力系統(tǒng)進(jìn)行降維的工作，近年來在學(xué)術(shù)界也有百花齊放之感。陳曉松老師團(tuán)隊(duì)開發(fā)的本征微觀態(tài)方法從數(shù)據(jù)出發(fā)，使用奇異值分解方法對(duì)物理系統(tǒng)的數(shù)據(jù)進(jìn)行模式分解，并在這些模式中發(fā)現(xiàn)了明確的物理含義[11]，這套方法不僅可以求解經(jīng)典平衡系統(tǒng)的臨界相變問題，還在許多復(fù)雜系統(tǒng)（包括集群系統(tǒng)，湍流，氣候，金融，量子等等）中都取得了突破性的進(jìn)展。[11]HuGK,LiuT,LiuMX,ChenW,ChenXS.Condensationofeigenmicrostateinstatisticalensembleandphasetransition.SciChinaPhysics,MechAstron.2019;62(9).doi:10.1007/s11433-018-9353-x而[12,13]等一系列的工作結(jié)合了數(shù)據(jù)驅(qū)動(dòng)的方法和Koopman算子（Koopman算子是一個(gè)對(duì)非線性動(dòng)力系統(tǒng)線性化的算子，但很難計(jì)算）實(shí)現(xiàn)對(duì)動(dòng)力學(xué)的模式分解（DynamicModeDecomposition）或者隱空間的學(xué)習(xí)。還有啟發(fā)于EFM，直接使用機(jī)器學(xué)習(xí)的降維方法（如VAE等將系統(tǒng)的變量降維后直接在隱空間學(xué)習(xí)動(dòng)力學(xué)——這被稱之為有效動(dòng)力學(xué)（effectivedynamics）——從而實(shí)現(xiàn)對(duì)系統(tǒng)更好的預(yù)測(cè)[14]。[12]KhazaeiH.Adata–drivenapproximationofthekoopmanoperator:extendingdynamicmodedecomposition.AIMS.2016;X(0):1-33.[13]LuschB,KutzJN,BruntonSL.Deeplearningforuniversallinearembeddingsofnonlineardynamics.NatCommun.2018;9(1).doi:10.1038/s41467-018-07210-0[14]VlachasPR,ArampatzisG,UhlerC,KoumoutsakosP.Multiscalesimulationsofcomplexsystemsbylearningtheireffectivedynamics.NatMachIntell.2022;4(4):359-366