時序時空大模型前沿綜述：面向時間序列和時空數(shù)據(jù)的大模型

時間數(shù)據(jù)，特別是時間序列和時空數(shù)據(jù)，在現(xiàn)實世界的應(yīng)用中普遍存在。這些數(shù)據(jù)捕獲動態(tài)系統(tǒng)的測量值，并由物理和虛擬傳感器大量產(chǎn)生。分析這些數(shù)據(jù)類型對于利用它們所包含的豐富信息至關(guān)重要，從而有益于各種下游任務(wù)。近年來，大語言模型和其他基礎(chǔ)模型的進步促使這些模型在時間序列和時空數(shù)據(jù)挖掘中的使用不斷增加。這些方法不僅增強了跨多個領(lǐng)域的模式識別和推理能力，而且為能夠理解和處理常見時間數(shù)據(jù)的通用人工智能奠定了基礎(chǔ)。本文介紹一篇關(guān)于時間序列和時空數(shù)據(jù)的大模型的調(diào)查綜述。在該論文中，作者強調(diào)了分析這些數(shù)據(jù)類型的重要性以及對各種下游任務(wù)的潛在好處。他們將現(xiàn)有文獻(xiàn)分為兩大類：時間序列分析的大模型（LM4TS）和時空數(shù)據(jù)挖掘（LM4STD）。此外，作者還提供了全面的資源收集，包括數(shù)據(jù)集、模型資產(chǎn)和工具，按主流應(yīng)用分類。論文強調(diào)了以大模型為中心的時間序列和時空數(shù)據(jù)的最新研究進展，以及該領(lǐng)域的未來研究機會。大模型（即語言和其他相關(guān)的基礎(chǔ)模型）既可以訓(xùn)練，也可以巧妙地重新調(diào)整用途，以處理一系列通用任務(wù)和專用領(lǐng)域應(yīng)用中的時間序列和時空數(shù)據(jù)。論文背景大模型在自然語言處理、計算機視覺和其他領(lǐng)域取得了顯著成果，但在傳統(tǒng)的時間序列和時空數(shù)據(jù)分析方法中，大模型的應(yīng)用相對較少。盡管最近在為時間序列和時空數(shù)據(jù)的大模型開發(fā)鋪平了道路，但在許多情況下，大規(guī)模數(shù)據(jù)集的缺乏仍然是一個重大的障礙。即便如此，我們已經(jīng)目睹了在不同任務(wù)和領(lǐng)域中成功嘗試數(shù)量的急劇增加，這充分證明了大模型在時間序列和時空數(shù)據(jù)分析中尚未發(fā)掘的潛力。在本文中，作者通過提供一個統(tǒng)一的、全面的和最新的綜述，滿足了這個需要，該綜述專門針對時間序列和時空數(shù)據(jù)分析的大模型，包括不同的數(shù)據(jù)類型、范圍、應(yīng)用領(lǐng)域和代表性任務(wù)中的LLMs和PFMs。此綜述的貢獻(xiàn)點總結(jié)如下：首個全面且最新的綜述統(tǒng)一和結(jié)構(gòu)化的分類法豐富的資源編譯未來的研究機會與其他調(diào)查相比，這份調(diào)查更為全面，不僅涵蓋了多個領(lǐng)域和數(shù)據(jù)模態(tài)，還對當(dāng)前最為熱門的大型模型和預(yù)訓(xùn)練策略進行了深入的探討。它為讀者提供了一個更為寬廣的視野，有助于更全面地理解時間序列、時空數(shù)據(jù)等領(lǐng)域的最新研究進展。模型介紹本文的主要工作集中于回顧近期采用大模型解決時間序列和時空數(shù)據(jù)任務(wù)的進展。具體來說，作者關(guān)注大模型中的兩個主流：大語言模型和預(yù)訓(xùn)練的基礎(chǔ)模型。以下是作者對這兩個模型及其相關(guān)內(nèi)容的介紹：01大語言模型（LLMs）語言建模是許多自然語言處理任務(wù)的基礎(chǔ)，而大語言模型（LLMs）的初衷是為了提高語言建模的性能。與傳統(tǒng)的神經(jīng)語言模型（NLMs）和小型預(yù)訓(xùn)練的語言模型（PLMs）相比，LLMs以其在解決各種復(fù)雜任務(wù)時的突發(fā)能力、上下文學(xué)習(xí)能力而為人所知，并重塑了我們使用AI的方式。隨著多模態(tài)大語言模型（MLLMs）的發(fā)展，LLMs的下游任務(wù)遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)的自然語言范圍，小型PLMs無法輕易解決這些問題。在最近的使用LLMs對時間序列和時空數(shù)據(jù)進行建模的過程中，我們將其分為兩大類：可見嵌入型LLMs和不可見嵌入型LLMs。前者通常開源，具有公開可訪問的內(nèi)部狀態(tài)，典型的例子包括BLOOM、Llama、Alpaca、Vicuna和Falcon等，這些模型通?？梢栽诓煌哪繕?biāo)任務(wù)上進行微調(diào)，并顯示出有前途的少樣本和零樣本能力，無需額外的再訓(xùn)練。后者通常是閉源的，沒有公開的內(nèi)部狀態(tài)，如PaLM、ChatGPT1和GPT-4，它們通常通過API調(diào)用中的提示進行推斷。下圖提供了一個關(guān)于大模型的簡要路線圖，概述了它們的發(fā)展歷程和研究焦點，清晰地揭示了大語言模型和預(yù)訓(xùn)練基礎(chǔ)模型之間的聯(lián)系和差異。見證了多模態(tài)大語言模型（MLLMs）的巨大成功后，作者主要的研究興趣之一是如何調(diào)整LLMs來解決時間序列和時空數(shù)據(jù)分析任務(wù)。在現(xiàn)有的文獻(xiàn)中，這通?？梢酝ㄟ^多模態(tài)再利用或基于API的提示來實現(xiàn)。這種方法通常用于激活嵌入可見LLMs的任務(wù)相關(guān)功能，通過在目標(biāo)和預(yù)訓(xùn)練（源）任務(wù)中對齊不同的模態(tài)來實現(xiàn)。這與LLMs的微調(diào)密切相關(guān)，例如適配器調(diào)諧和低秩適應(yīng)，以及模型重編程，這取決于在適應(yīng)過程中LLMs是微調(diào)還是凍結(jié)。這種方法允許更深入地利用LLMs的內(nèi)部狀態(tài)和任務(wù)相關(guān)功能，但可能需要更多的計算資源和訪問權(quán)限。另一方面，這種方法更直接，將目標(biāo)模態(tài)包裝成自然語言提示，并將其輸入到LLMs中進行生成推理。這類似于語言模型即服務(wù)（LMaaS）的黑盒調(diào)優(yōu)。證據(jù)表明，這種方法在跨多個領(lǐng)域的不同目標(biāo)任務(wù)中都適用，并顯示出有希望的結(jié)果，包括時間序列和時空數(shù)據(jù)的學(xué)習(xí)。02預(yù)訓(xùn)練基礎(chǔ)模型預(yù)訓(xùn)練基礎(chǔ)模型是指那些大規(guī)模預(yù)訓(xùn)練的模型，這些模型可適應(yīng)解決各種下游任務(wù)。從廣義上講，LLMs（以及MLLMs）也屬于PFMs，但它們更常用于解決自然語言導(dǎo)向的任務(wù)。PFMs構(gòu)成了一個更廣泛的模型類別，其特點是其突發(fā)能力和同質(zhì)化，可有效解決不同任務(wù)，并整合了構(gòu)建AI系統(tǒng)的方法論，與特定任務(wù)的模型有顯著不同。PFMs的能力主要表現(xiàn)在三個關(guān)鍵維度：模態(tài)橋接、推理和計劃以及交互。模態(tài)橋接：涉及多模態(tài)模型，例如視覺-語言模型等MLLMs，這類模型在統(tǒng)一語言和視覺模態(tài)方面取得了顯著成果。例如，CLIP最初提出彌合圖像和文本之間的差距，SAM進一步擴展了文本提示的概念到視覺提示。其他最近的工作，如NExT-GPT，進一步擴大了邊界，甚至允許橋接多種不同的模態(tài)。推理和計劃：PFMs也被設(shè)計用于進行復(fù)雜的推理和計劃任務(wù)。這些模型可以從大量的預(yù)訓(xùn)練數(shù)據(jù)中學(xué)習(xí)如何推理和解決復(fù)雜問題。交互：這些模型還能夠以更自然的方式與人類用戶進行交互，從而提供更好的用戶體驗。在現(xiàn)實世界中，數(shù)據(jù)本質(zhì)上是多模態(tài)的，例如在臨床醫(yī)學(xué)中，經(jīng)常涉及時間序列和時空數(shù)據(jù)。這也激發(fā)了最近對多模態(tài)時間序列和時空數(shù)據(jù)的研究興趣。盡管這些研究仍處于早期發(fā)展階段，但它們代表了PFMs的一個重要且充滿希望的分支。第二個方面突出了PFMs的推理和規(guī)劃能力。LLMs中的典型例子包括CoT、ToT和GoT，以及任務(wù)規(guī)劃代理。這些模型具備在不同任務(wù)和情境中進行邏輯推理和制定計劃的能力。最后一個方面定義了PFMs的交互能力，包括行動和通信。交互能力使得PFMs能夠與用戶或其他系統(tǒng)進行實時的信息交流，并根據(jù)需求進行相應(yīng)的行動。在本調(diào)查中，作者主要關(guān)注用于時間序列和時空數(shù)據(jù)的PFMs。這些模型在發(fā)展中大多仍處于早期階段，遠(yuǎn)未達(dá)到上述的第二和第三方面。對于PFMs的更多細(xì)節(jié)，我們建議讀者參考?？傊?，PFMs作為一種前沿的AI技術(shù)，它們的多模態(tài)橋接、推理規(guī)劃以及交互能力為我們解決復(fù)雜的問題提供了新的可能性。然而，對于時間序列和時空數(shù)據(jù)的PFMs研究仍處于初級階段，未來還有很大的發(fā)展空間。隨著技術(shù)的不斷進步，我們期待看到更多的創(chuàng)新和突破，以推動人工智能領(lǐng)域的發(fā)展。03時間序列和時空數(shù)據(jù)時間序列和時空數(shù)據(jù)作為時間相關(guān)的數(shù)據(jù)類別，在無數(shù)現(xiàn)實世界應(yīng)用中作為基礎(chǔ)數(shù)據(jù)出現(xiàn)。時間序列通常被定義為按時間順序排列的數(shù)據(jù)點序列。這些序列可以是單變量的，也可以是多變量的。例如，一個城市每天的溫度讀數(shù)將形成一個單變量時間序列，而結(jié)合每天的溫度和濕度數(shù)據(jù)將創(chuàng)建一個多變量時間序列。時間序列數(shù)據(jù)：這是按時間順序排列的數(shù)據(jù)，通常用于分析和預(yù)測某一現(xiàn)象隨時間的變化情況。代表任務(wù)包括時間序列預(yù)測、異常檢測等。時空數(shù)據(jù)：這類數(shù)據(jù)不僅包含時間信息，還包含空間信息。它們被廣泛用于地理位置相關(guān)的研究和應(yīng)用中。代表任務(wù)包括時空數(shù)據(jù)插補、時空預(yù)測等。1.時間序列任務(wù)這個領(lǐng)域通常包括四個主要的分析任務(wù)：預(yù)測、分類、異常檢測和填充。在預(yù)測中，目標(biāo)是預(yù)測時間序列的未來值，根據(jù)預(yù)測范圍，可以進一步分為短期和長期預(yù)測。在分類中，目標(biāo)是將輸入的時間序列分類到不同的類別中。時間序列的異常檢測也可以被理解為一種特殊的分類任務(wù)，我們的目標(biāo)是從正常的時間序列中識別出異常的時間序列。在填充任務(wù)中，目標(biāo)是填充時間序列中的缺失值。2.時空圖任務(wù)時空圖的主要下游任務(wù)是預(yù)測，該任務(wù)旨在通過參考?xì)v史屬性和結(jié)構(gòu)信息來預(yù)測未來的節(jié)點特征。典型的例子包括交通預(yù)測和一些按需服務(wù)。其他常見任務(wù)包括鏈接預(yù)測和節(jié)點/圖分類，其中鏈接預(yù)測的目標(biāo)是基于歷史信息預(yù)測邊的存在，而節(jié)點/圖分類的目標(biāo)是將節(jié)點或圖分類到不同的類別中。3.時間知識圖任務(wù)時間知識圖中有兩個重要任務(wù)：補全和預(yù)測。前者主要旨在填充圖中的缺失關(guān)系，而后者關(guān)注預(yù)測未來的關(guān)系。4.視頻任務(wù)在計算機視覺領(lǐng)域，視頻數(shù)據(jù)包含幾個核心任務(wù)，如檢測、標(biāo)注、預(yù)測和查詢。檢測的目的是識別視頻中的特定物體或動作。標(biāo)注試圖為視頻內(nèi)容生成自然語言描述。預(yù)測涉及預(yù)測視頻序列中的未來幀。最后，查詢的目的是檢索與特定查詢相關(guān)的視頻片段。值得注意的是，這些任務(wù)經(jīng)?？缭蕉喾N模態(tài)，與前面提到的數(shù)據(jù)類型相比，它們受到了相當(dāng)大的關(guān)注。概述與分類作者對時間序列和時空數(shù)據(jù)的大模型進行概述和分類。調(diào)查結(jié)構(gòu)遵循四個主要維度：數(shù)據(jù)類別、模型架構(gòu)、模型范圍和應(yīng)用領(lǐng)域或任務(wù)。相關(guān)工作的詳細(xì)概要可以在圖3和表2中找到。作者主要將現(xiàn)有的文獻(xiàn)分為兩大類：時間序列數(shù)據(jù)的大模型（LM4TS）和時空數(shù)據(jù)的大模型（LM4STD）。01時間序列數(shù)據(jù)的大模型（LM4TS）在LM4TS類別中，作者將研究細(xì)分為兩類：時間序列數(shù)據(jù)的LLMs(LLM4TS)和時間序列數(shù)據(jù)的PFMs(PFM4TS)。前者指的是利用LLMs解決時間序列任務(wù)，無論在適應(yīng)過程中LLMs是微調(diào)還是凍結(jié)。后者，另一方面，關(guān)注為各種時間序列任務(wù)顯式設(shè)計的PFMs的開發(fā)。值得注意的是，PFM4TS領(lǐng)域相對較新；現(xiàn)有模型可能沒有完全封裝定義在第2.2節(jié)的通用PFMs的潛力。然而，它們?yōu)檫@個領(lǐng)域的未來發(fā)展提供了有價值的見解。因此，作者還將它們包括在這個調(diào)查中，并將它們分類為PFM4TS。對于這些細(xì)分，作者進一步將它們分類為通用或特定領(lǐng)域的模型，取決于這些模型是設(shè)計用來解決一般時間序列分析任務(wù)還是限于特定領(lǐng)域，包括但不限于交通、金融和醫(yī)療保健。02時空數(shù)據(jù)的大模型（LM4STD）在LM4STD類別中，作者采用類似的分類法，定義時空數(shù)據(jù)的LLMs(LLM4STD)和時空數(shù)據(jù)的PFMs(PFM4STD)。與時間序列數(shù)據(jù)不同，時空數(shù)據(jù)包含多個領(lǐng)域的更廣泛的實體數(shù)組；因此作者明確地按照它們相關(guān)的領(lǐng)域分類LLM4STD和PFM4STD。在此，作者關(guān)注三個最突出的領(lǐng)域/模態(tài)，使用它們作為子類別：時空圖、時態(tài)知識圖和視頻數(shù)據(jù)。對于其中的每一個，作者總結(jié)代表性的任務(wù)作為葉節(jié)點，這與LM4TS相似。值得注意的是，與其時間序列對應(yīng)物相比，PFM4STD已經(jīng)得到了更廣泛的發(fā)展。當(dāng)前的研究主要針對STGs和視頻數(shù)據(jù)，通常具有如多模態(tài)橋接和推理等PFMs的增強功能。時間序列數(shù)據(jù)大模型近年來，大語言模型和預(yù)訓(xùn)練基礎(chǔ)模型在時間序列分析中的應(yīng)用取得了顯著的進展。這些模型具有強大的學(xué)習(xí)能力和表示能力，能夠有效地捕捉時間序列數(shù)據(jù)中的復(fù)雜模式和長期依賴關(guān)系。本節(jié)中，作者將分別討論大語言模型和預(yù)訓(xùn)練基礎(chǔ)模型在時間序列分析中的進展，并進一步根據(jù)模型的通用性和領(lǐng)域特異性進行分類討01大語言模型在時間序列分析中的應(yīng)用1.通用模型隨著時間的推移，大語言模型（LLMs）逐漸在時間序列分析領(lǐng)域展現(xiàn)出其潛力。作為從LLM角度處理通用時間序列預(yù)測的早期努力之一，有研究正式引入了一個新任務(wù)：基于提示的時間序列預(yù)測——PromptCast。由于輸入和輸出都是自然語言句子，PromptCast為時間序列預(yù)測提供了一種新穎的“無代碼”解決方案，這提供了一個全新視角，而不僅僅是專注于設(shè)計復(fù)雜的架構(gòu)。此外，為了應(yīng)對缺乏大規(guī)模訓(xùn)練數(shù)據(jù)的挑戰(zhàn)，有研究提出了一個基于部分凍結(jié)LLMs的統(tǒng)一框架，即只微調(diào)嵌入和歸一化層，同時保持自注意力和前饋層不變。這種方法在所有主要的時間序列分析任務(wù)中都達(dá)到了最先進或可比的性能，包括時間序列分類、短期/長期預(yù)測、插補、異常檢測、少樣本和零樣本預(yù)測。其他研究則更專注于時間序列預(yù)測的特定方面。例如，TEMPO專注于時間序列預(yù)測，但結(jié)合了額外的時間序列分解和軟提示等精細(xì)設(shè)計。還有研究利用LLMs進行時間序列預(yù)測，采用兩階段的微調(diào)過程：首先使用有監(jiān)督的微調(diào)引導(dǎo)LLM朝向時間序列數(shù)據(jù)，隨后轉(zhuǎn)向針對時間序列預(yù)測的下游微調(diào)。另有研究通過新的嵌入方法激活了LLM在時間序列上的能力，該方法通過實例、特征和文本原型對齊的方式進行數(shù)據(jù)的token化和編碼，然后創(chuàng)建提示傳遞給LLMs來執(zhí)行任務(wù)。2.特定領(lǐng)域模型交通運輸領(lǐng)域：時間序列預(yù)測在智能交通系統(tǒng)（IntelligentTransportationSystems，簡稱ITS）中發(fā)揮著關(guān)鍵作用。為了充分發(fā)掘大語言模型在交通運輸領(lǐng)域的應(yīng)用潛力，有研究提出了一種新穎的AuxMobLCast管道，利用LLM進行交通數(shù)據(jù)挖掘，例如人類移動性預(yù)測任務(wù)。AuxMobLCast將人類移動性數(shù)據(jù)轉(zhuǎn)化為自然語言句子，使得預(yù)訓(xùn)練的LLM可以直接應(yīng)用于微調(diào)階段來預(yù)測人類移動性。這項工作是首次嘗試微調(diào)現(xiàn)有的LLM，以預(yù)測交通運輸領(lǐng)域的數(shù)據(jù)，為LLM在交通運輸領(lǐng)域的應(yīng)用提供了新的思路和方法。金融領(lǐng)域：近年來，一些專注于金融領(lǐng)域的大語言模型（LLMs）的研究已在文獻(xiàn)中報道。其中一項研究提出了一種簡單而有效的指令調(diào)優(yōu)方法，用于金融領(lǐng)域的情感分析。通過這種方法，基于分類的情感分析數(shù)據(jù)集被轉(zhuǎn)化為生成任務(wù)，從而使LLMs能夠更有效地應(yīng)用其廣泛的訓(xùn)練和卓越的分析能力。除了NLP任務(wù)外，利用LLMs的卓越知識和推理能力進行金融時間序列預(yù)測也很吸引人。有研究使用GPT-4進行零樣本/少樣本推理，以及使用Llama進行基于指令的微調(diào)來進行可解釋的預(yù)測，盡管與GPT-4相比性能相對較差，但仍取得了合理的性能。還有研究使用了類似的方法來基于文本數(shù)據(jù)預(yù)測股票價格變動。這些研究展示了LLMs在金融領(lǐng)域的潛力和多樣性，為未來的金融應(yīng)用和研究提供了新的視角和工具。事件預(yù)測：與具有相等采樣間隔的同步（規(guī)則）時間序列數(shù)據(jù)不同，事件序列是具有不規(guī)則時間戳的異步時間序列。事件序列在現(xiàn)實世界中扮演著重要角色，如金融、在線購物、社交網(wǎng)絡(luò)等。時間點過程（TemporalPointProcesses，簡稱TPPs）已成為建模此類數(shù)據(jù)的標(biāo)準(zhǔn)方法。事件預(yù)測旨在根據(jù)過去預(yù)測未來的時間和事件類型。例如，在在線購物領(lǐng)域，作者想要建立用戶的時間戳訪問序列模型，并根據(jù)他們過去的購物評價來預(yù)測他們未來的購物行為。大語言模型（LLMs）在這種設(shè)置中潛在地有用，因為事件序列通常伴有豐富的文本信息，而LLMs擅長處理這些信息。醫(yī)療健康領(lǐng)域：醫(yī)療健康領(lǐng)域是事件序列中最重要的領(lǐng)域之一，臨床模型可幫助醫(yī)生和行政人員在日常實踐中做出決策?；诮Y(jié)構(gòu)化數(shù)據(jù)的臨床模型使用受限，但GatorTron和NYUTron等臨床LLM的擴展和改進，為醫(yī)學(xué)提供了與醫(yī)生一起閱讀和在護理點提供指導(dǎo)的潛力。LLMs還可以通過少樣本提示調(diào)優(yōu)，將來自可穿戴設(shè)備和臨床級傳感設(shè)備的數(shù)值時間序列數(shù)據(jù)作為基礎(chǔ)，在健康任務(wù)上帶來大的改進。02預(yù)訓(xùn)練基礎(chǔ)模型在時間序列分析中的應(yīng)用除了利用LLMs進行時間序列分析外，時間序列預(yù)訓(xùn)練和相關(guān)基礎(chǔ)模型的發(fā)展也充滿了希望。這些模型有助于識別在各種領(lǐng)域和后續(xù)任務(wù)中保持一致的一般時間序列模1.通用模型自2021年以來，已經(jīng)提出了大量的預(yù)訓(xùn)練基礎(chǔ)模型，其中大多數(shù)是通用模型。Voice2Series利用了預(yù)訓(xùn)練的語音處理模型的表示學(xué)習(xí)能力，使用語音數(shù)據(jù)作為單變量時間信號進行時間序列分類，它是能夠為時間序列任務(wù)進行重新編程的第一個框架。繼Voice2Series之后，基于對比學(xué)習(xí)技術(shù)的時間序列數(shù)據(jù)的預(yù)訓(xùn)練基礎(chǔ)模型相繼涌現(xiàn)，包括TF-C、TS2Vec和CLUDA。TF-C包含一個基于時間的組件和一個基于頻率的組件，每個組件都通過對比估計進行單獨訓(xùn)練，自監(jiān)督信號由時間和頻率組件之間的距離提供，即時間-頻率一致性。TS2Vec提出了一種通用的對比學(xué)習(xí)框架，用于學(xué)習(xí)時間序列領(lǐng)域中任意子序列在各種語義級別的上下文表示，通過分層方式對增強的上下文視圖進行處理。該框架支持多元輸入，可用于時間序列領(lǐng)域的各種任務(wù)。CLUDA是一種基于對比學(xué)習(xí)的無監(jiān)督時間序列域適應(yīng)模型。CLUDA有兩個新穎的組件，定制對比學(xué)習(xí)和最近鄰對比學(xué)習(xí)。使用對抗學(xué)習(xí)將它們在源域和目標(biāo)域之間進行對齊。CLUDA的對比學(xué)習(xí)組件旨在學(xué)習(xí)一個表示空間，其中語義相似的樣本更接近，不相似的樣本更遠(yuǎn)。因此，CLUDA可以學(xué)習(xí)多元時間序列中的域不變上下文表示，以適應(yīng)不同的領(lǐng)域。這些模型的出現(xiàn)為時間序列分析提供了更豐富和強大的工具。除了上述的模型和技術(shù)外，該領(lǐng)域還采用了許多其他技術(shù)。例如，STEP模型包含了一個預(yù)訓(xùn)練模型和一個時空圖神經(jīng)網(wǎng)絡(luò)（STGNN）。預(yù)訓(xùn)練模型被設(shè)計用于從長期歷史時間序列中高效學(xué)習(xí)時間模式，并生成片段級表示。這些表示為STGNNs的短期時間序列輸入提供了上下文信息，并有助于建模時間序列之間的依賴關(guān)系。（MAE）的預(yù)訓(xùn)練方法涉及一種新的塊嵌入，可以減少內(nèi)存使用，并允許模型處理更長的序列，以解決處理高信息密度的多元時間序列的挑戰(zhàn)。SimMTM也基于掩蔽建模技術(shù)，通過揭示流形的局部結(jié)構(gòu)，將預(yù)訓(xùn)練方法擴展到時間序列。為了提高掩蔽建模的性能，掩蔽的時間點通過流形外的多個鄰居的加權(quán)聚合進行恢復(fù)，這使得SimMTM能夠從多個掩蔽序列中組合互補的時間變化，并提高重建序列的質(zhì)量。PatchTST是一個基于Transformer的長期時間序列預(yù)測模型。為了克服其他模型在捕捉局部語義信息方面的局限性，PatchTST引入了一種用于提取局部語義信息的補丁機制，并設(shè)計了一種通道獨立性，使每個序列都能學(xué)習(xí)自己的注意力圖以進行預(yù)測。它也被應(yīng)用于預(yù)訓(xùn)練任務(wù)中。另外，TSMixer是一個輕量級的MLP-Mixer模型，用于多元時間序列預(yù)測。它引入了兩個新穎的在線調(diào)和頭，利用分層補丁聚合的內(nèi)在時間序列屬性和跨通道相關(guān)性來調(diào)整和改進預(yù)測。與基于Transformer的模型不同，TSMixer顯著增強了簡單MLP結(jié)構(gòu)的學(xué)習(xí)能力。2.特定領(lǐng)域模型PromptTPP提出了一種通用方法來預(yù)訓(xùn)練事件序列的基礎(chǔ)模型，并通過采用持續(xù)PromptTPP能夠在現(xiàn)實約束下連續(xù)學(xué)習(xí)一系列任務(wù)，而不會發(fā)生災(zāi)難性遺忘。相應(yīng)地，PromptTPP將基礎(chǔ)模型與連續(xù)時間檢索提示池相集成。這些提示是可學(xué)習(xí)的小參數(shù)，存儲在內(nèi)存空間中，并與基礎(chǔ)模型聯(lián)合優(yōu)化，確保模型能夠順序?qū)W習(xí)事件流，而無需緩沖過去的樣本或任務(wù)特定屬性。通過這種方式，PromptTPP不僅能適應(yīng)不斷變化的數(shù)據(jù)環(huán)境，還能有效地利用內(nèi)存資源，避免在持續(xù)學(xué)習(xí)過程中出現(xiàn)信息遺忘的問題。這種方法的提出為事件序列的連續(xù)學(xué)習(xí)開辟了新的可能性，也為解決相關(guān)的實際問題提供了有效的工具。時空數(shù)據(jù)的大模型在本節(jié)中，作者探討了大模型在時空數(shù)據(jù)分析中的進步，這些進步跨越了三個主要的數(shù)據(jù)類別：時空圖、時間知識圖和視頻。每一種都具有廣泛的現(xiàn)實世界應(yīng)用。01時空圖在深度學(xué)習(xí)的時代，時空圖神經(jīng)網(wǎng)絡(luò)（STGNNs）已經(jīng)成為時空圖預(yù)測事實上最受歡迎的方法。它們主要利用圖神經(jīng)網(wǎng)絡(luò)捕捉頂點之間的空間相關(guān)性，并利用其他模型（如RNN和CNN）學(xué)習(xí)不同時間步之間的時間依賴性。近年來，LLM（大語言模型）和PFM（預(yù)訓(xùn)練特征模型）的出現(xiàn)為時空表示學(xué)習(xí)領(lǐng)域的STGNN（時空圖神經(jīng)網(wǎng)絡(luò)）提供了寶貴的支持。這些模型在處理和上下文化文本數(shù)據(jù)方面表現(xiàn)出色，使它們具備從各種文本來源（包括新聞文章、社交媒體內(nèi)容到報告）中提取洞察力的能力。這些洞察力可以無縫地整合到時空結(jié)構(gòu)中，提高其上下文的豐富性。此外，它們促進了多種模態(tài)的融合，包括文本、圖像和結(jié)構(gòu)化數(shù)據(jù)，從而擴大了時空理解的深度和廣度。這些模型具有生成人類可解釋解釋的能力，提高了透明度和可靠性，特別是在城市規(guī)劃或災(zāi)害應(yīng)對等應(yīng)用中。此外，它們通過簡潔表示編碼高級信息，促進了計算效率，簡化了訓(xùn)練和推理過程。1.大語言模型在時空圖中的應(yīng)用與PFMs相比，利用LLMs增強STGNNs學(xué)習(xí)能力的文獻(xiàn)相對較少。第一種方法是使用LLMs學(xué)習(xí)頂點之間的關(guān)系。早期的一項研究可以在參考文獻(xiàn)[122]中找到，它提出了一個新穎的框架，利用LLM令人贊嘆的圖推理能力來增強STGNNs對股票價格變動的預(yù)測。在這種方法中，ChatGPT被用來從每日財經(jīng)新聞中提取不斷演變的網(wǎng)絡(luò)結(jié)構(gòu)，這些推斷出的圖結(jié)構(gòu)然后被無縫集成到GNNs中，為每個公司生成節(jié)點嵌入。這些嵌入證明了對提高與股票變動相關(guān)的下游任務(wù)的性能是有幫助的。此外，第二系列研究利用LLMs的先驗知識來支持STGNNs的下游應(yīng)用，如用于人類（GPR）拓?fù)浜拖闰烆悇e關(guān)系（CPR）拓?fù)洌x了節(jié)點之間的互聯(lián)。GPR作為生成新穎骨骼表示的指導(dǎo)框架，其主要目標(biāo)是突出從基礎(chǔ)數(shù)據(jù)中提取的關(guān)鍵節(jié)點信2.預(yù)訓(xùn)練基礎(chǔ)模型在時空圖中的應(yīng)用我們目前正在目睹為掌握各種現(xiàn)實世界應(yīng)用中的STGs（時空圖）而定制的預(yù)訓(xùn)練機器學(xué)習(xí)模型的激增。這些模型通過知識遷移顯著促進了STG學(xué)習(xí)。換句話說，它們實現(xiàn)了已學(xué)習(xí)表示形式的遷移，從而提高了STGs捕獲復(fù)雜模式的能力，導(dǎo)致了更有效和更高效的學(xué)習(xí)。一般領(lǐng)域的PFMs：對比學(xué)習(xí)是一種在圖像和文本領(lǐng)域被廣泛應(yīng)用的表示學(xué)習(xí)方法，它在時空圖學(xué)習(xí)領(lǐng)域也被證明是非常有效的。其中一種代表性方法是STGCL，它通過對比正樣本對與負(fù)樣本對，從復(fù)雜的時空圖數(shù)據(jù)中提取豐富和有意義的表示。這種方法使得對比學(xué)習(xí)在諸如交通預(yù)測和電力消耗預(yù)測等多樣化領(lǐng)域的實際應(yīng)用中變得可行。為了學(xué)習(xí)頂點間的有信息量的關(guān)系，SPGCL最大化了正鄰居和負(fù)鄰居之間的區(qū)分邊界，并用一種自我步調(diào)策略生成了最優(yōu)圖。氣象領(lǐng)域的PFMs：FourCastNet，這是一個利用自適應(yīng)傅里葉神經(jīng)算子實現(xiàn)高分辨率預(yù)測和快速推斷的氣候PFM。它的訓(xùn)練過程包括兩個階段——預(yù)訓(xùn)練和微調(diào)。在預(yù)訓(xùn)練期間，F(xiàn)ourCastNet接受監(jiān)督訓(xùn)練，以獲得從前一步到后一步的映射。在微調(diào)階段，它基于預(yù)訓(xùn)練模型進行構(gòu)建，將其優(yōu)化為以自回歸方式預(yù)測接下來的兩個時間步。PanGu通過多時間尺度模型組合方法，展示了比FourCastNet更強的中期預(yù)測能力，利用新穎的3D地球特定Transformer。這個3D深度網(wǎng)絡(luò)，增強了地球特定先驗，有效地處理復(fù)雜的氣象數(shù)據(jù)模式。ClimaX是一個適應(yīng)性強的深度學(xué)習(xí)模型，應(yīng)用于氣候和天氣科學(xué)，訓(xùn)練于多樣化數(shù)CMIP6氣候數(shù)據(jù)上進行預(yù)訓(xùn)練，ClimaX可以針對各種氣候和天氣任務(wù)進行微調(diào)，甚至涉及未見過的變量和時空尺度。W-MAE將自監(jiān)督預(yù)訓(xùn)練方法（即MaskedAutoencoder）整合到氣候預(yù)測任務(wù)中。這種整合使得模型能夠從大量的無標(biāo)簽氣象數(shù)據(jù)中提取關(guān)鍵的氣象相關(guān)特征和通用知識，有助于改善對多樣化數(shù)據(jù)源的處理。與上述方法不同，F(xiàn)engWu通過多模態(tài)和多任務(wù)方法解決中期氣候預(yù)測問題。它采用了一種深度學(xué)習(xí)架構(gòu)，具有模型特定的Transformer和跨模態(tài)融合策略。這種設(shè)計精心制作，納入了不確定性損失，用于各種預(yù)測器的區(qū)域自適應(yīng)優(yōu)化。交通運輸領(lǐng)域在交通運輸領(lǐng)域，CPPBTR是一個基于Transformer的新框架，用于人群流量預(yù)測，其特點是兩階段的解碼過程。在第一解碼階段，生成一個初步序列。隨后，在第二解碼階段，系統(tǒng)地遮蔽這個初始序列的每一個時間步，并將其輸入到Transformer編碼器中，以預(yù)測每個遮蔽位置的精細(xì)流量。在交通流量預(yù)測領(lǐng)域，TrafficBERT利用了受BERT啟發(fā)的關(guān)鍵特征。它采用與BERT類似的雙向Transformer結(jié)構(gòu)，可以預(yù)測整體交通流量，而不是單個時間步。與需要對每條特定道路進行單獨訓(xùn)練的常規(guī)模型相比，TrafficBERT通過使用來自多條道路的數(shù)據(jù)進行預(yù)訓(xùn)練，增強了模型的泛化能力。此外，Wang等人引入了交通基礎(chǔ)模型(TFM)，它將交通模擬納入到交通預(yù)測的領(lǐng)域中。TFM利用圖結(jié)構(gòu)和動態(tài)圖生成算法，巧妙地捕獲交通系統(tǒng)內(nèi)參與者之間的復(fù)雜動態(tài)和交互。這種數(shù)據(jù)驅(qū)動和無模型的模擬方法有效地解決了傳統(tǒng)系統(tǒng)在結(jié)構(gòu)復(fù)雜性和模型精度方面長期存在的問題，為使用真實世界數(shù)據(jù)解決復(fù)雜的交通問題奠定了堅實的基礎(chǔ)。02時間知識圖結(jié)構(gòu)化知識推理的應(yīng)用，如搜索引擎、問答系統(tǒng)、對話系統(tǒng)和社交網(wǎng)絡(luò)等一系列應(yīng)用都需要對基礎(chǔ)結(jié)構(gòu)化知識進行推理。特別是，知識圖譜(KGs)、作為研究這類知識的復(fù)雜多關(guān)系設(shè)置的重要模型，已經(jīng)引起了廣泛關(guān)注。KGs以三元組(s,p,o)的形式表示事實（事件），通常從文本數(shù)據(jù)中提取，其中s和o分別表示主體和客體實體，p作為關(guān)系類型表示謂詞。然而，在現(xiàn)實世界中，知識是不斷發(fā)展的，這激發(fā)了時間知識圖譜(TKGs)的構(gòu)建和應(yīng)用，其中事實從三元組(s,p,o)擴展到帶有時間戳t的四元組，即(s,p,o,t)。通過有效捕獲事實之間的時間依賴性和結(jié)構(gòu)依賴性，TKGs有助于更好地理解實體的行為以及它們?nèi)绾坞S著時間的推移促成事實的生成。因此，TKGs的應(yīng)用和改進對于提高這些系統(tǒng)的性能和準(zhǔn)確性具有重要的意義。由于近年來LLMs在許多文本推理任務(wù)中表現(xiàn)出驚人的性能，因此很自然地會主動研究LLMs在TKGs中的有效性。根據(jù)所執(zhí)行的任務(wù)，基于LLM的TKG模型可分為兩03視頻視頻是視覺信息的數(shù)字表示，通常由一系列圖像或幀組成，共同傳達(dá)動作和時間變化。這些數(shù)據(jù)在各種實際應(yīng)用中變得無處不在，包括監(jiān)控系統(tǒng)、娛樂平臺、社交媒體和駕駛員輔助系統(tǒng)。對于視頻理解的常規(guī)深度學(xué)習(xí)方法主要涉及兩個關(guān)鍵范式：(1)2DCNNs：在這個范式中，每個視頻幀通過2D卷積分別處理，然后在網(wǎng)絡(luò)頂部沿時間軸聚合。這種方法主要關(guān)注空間特征，時間特征的處理較為簡單。(2)3DCNNs：這種方法通過學(xué)習(xí)3D卷積來聚合空間和時間特征，從而學(xué)習(xí)視頻的時空表示。與2DCNNs相比，3DCNNs能夠更好地捕獲視頻中的時間動態(tài)。近年來，Transformers也因其捕獲長距離依賴的能力而被廣泛應(yīng)用于建模視頻的時空依賴，進行視頻識別。這種方法不依賴于卷積操作，而是通過自注意力機制來捕獲全局的時空依賴關(guān)系。然而，近年來LLMs（大語言模型）和PFMs（多模態(tài)模型）的發(fā)展為利用視頻固有的多模態(tài)性質(zhì)增強視頻理解鋪平了道路。這些模型，如OpenAI的CLIP和DALL-E，能夠通過聯(lián)合處理視覺和文本模態(tài)，有效地從視頻數(shù)據(jù)中提取豐富的上下文信息，實現(xiàn)對復(fù)雜場景和事件的更全面理解。此外，這些模型有潛力促進不同領(lǐng)域之間的有效遷移學(xué)習(xí)，提高視頻分析任務(wù)的泛化能力和魯棒性。資源與應(yīng)用本節(jié)匯總了與時間序列和時空數(shù)據(jù)相關(guān)的各種應(yīng)用中常見的數(shù)據(jù)集、模型和工具。這些數(shù)據(jù)集、模型和工具在下表中一一列出，為研究人員和實踐者提供了寶貴的資源和參考。通過這些數(shù)據(jù)集、模型和工具，我們能夠更深入地理解和分析時間序列和時空數(shù)據(jù)，進一步推動相關(guān)領(lǐng)域的發(fā)展和進步。展望與未來機遇本節(jié)討論了當(dāng)前研究的潛在局限性，并突出六個未來研究方向，旨在開發(fā)更強大、更透明、更可靠的時序數(shù)據(jù)分析大模型。01大模型的理論分析由于文本數(shù)據(jù)和時序數(shù)據(jù)的順序性質(zhì)，最近的研究已經(jīng)擴展了LLMs以處理時間序列和時空任務(wù)。這意味著可以從LLMs的文本數(shù)據(jù)中學(xué)習(xí)到的表示可以微調(diào)以捕獲時序數(shù)據(jù)的模式。然而，這仍然是一個非常高級的理解。與其他深度學(xué)習(xí)模型一樣，LLMs也由于其復(fù)雜性而被視為“黑箱”，這使得人們難以理解是哪些數(shù)據(jù)影響了其預(yù)測和決策。需要對LLMs進行更深入的理論分析，以研究語言和時序數(shù)據(jù)之間的潛在模式相似性，以及如何有效地將它們用于特定的時間序列和時空任務(wù)，如預(yù)測、異常檢測、分類等。02多模態(tài)模型的發(fā)展在現(xiàn)實世界的應(yīng)用中，許多時間序列和時空數(shù)據(jù)經(jīng)常附帶有補充信息，如文本描述。這在經(jīng)濟和金融領(lǐng)域等場景中尤其有用。例如，經(jīng)濟預(yù)測可以利用文本（如