時(shí)序時(shí)空大模型前沿綜述：面向時(shí)間序列和時(shí)空數(shù)據(jù)的大模型

時(shí)間數(shù)據(jù)，特別是時(shí)間序列和時(shí)空數(shù)據(jù)，在現(xiàn)實(shí)世界的應(yīng)用中普遍存在。這些數(shù)據(jù)捕獲動(dòng)態(tài)系統(tǒng)的測(cè)量值，并由物理和虛擬傳感器大量產(chǎn)生。分析這些數(shù)據(jù)類型對(duì)于利用它們所包含的豐富信息至關(guān)重要，從而有益于各種下游任務(wù)。近年來，大語言模型和其他基礎(chǔ)模型的進(jìn)步促使這些模型在時(shí)間序列和時(shí)空數(shù)據(jù)挖掘中的使用不斷增加。這些方法不僅增強(qiáng)了跨多個(gè)領(lǐng)域的模式識(shí)別和推理能力，而且為能夠理解和處理常見時(shí)間數(shù)據(jù)的通用人工智能奠定了基礎(chǔ)。本文介紹一篇關(guān)于時(shí)間序列和時(shí)空數(shù)據(jù)的大模型的調(diào)查綜述。在該論文中，作者強(qiáng)調(diào)了分析這些數(shù)據(jù)類型的重要性以及對(duì)各種下游任務(wù)的潛在好處。他們將現(xiàn)有文獻(xiàn)分為兩大類：時(shí)間序列分析的大模型（LM4TS）和時(shí)空數(shù)據(jù)挖掘（LM4STD）。此外，作者還提供了全面的資源收集，包括數(shù)據(jù)集、模型資產(chǎn)和工具，按主流應(yīng)用分類。論文強(qiáng)調(diào)了以大模型為中心的時(shí)間序列和時(shí)空數(shù)據(jù)的最新研究進(jìn)展，以及該領(lǐng)域的未來研究機(jī)會(huì)。大模型（即語言和其他相關(guān)的基礎(chǔ)模型）既可以訓(xùn)練，也可以巧妙地重新調(diào)整用途，以處理一系列通用任務(wù)和專用領(lǐng)域應(yīng)用中的時(shí)間序列和時(shí)空數(shù)據(jù)。論文背景大模型在自然語言處理、計(jì)算機(jī)視覺和其他領(lǐng)域取得了顯著成果，但在傳統(tǒng)的時(shí)間序列和時(shí)空數(shù)據(jù)分析方法中，大模型的應(yīng)用相對(duì)較少。盡管最近在為時(shí)間序列和時(shí)空數(shù)據(jù)的大模型開發(fā)鋪平了道路，但在許多情況下，大規(guī)模數(shù)據(jù)集的缺乏仍然是一個(gè)重大的障礙。即便如此，我們已經(jīng)目睹了在不同任務(wù)和領(lǐng)域中成功嘗試數(shù)量的急劇增加，這充分證明了大模型在時(shí)間序列和時(shí)空數(shù)據(jù)分析中尚未發(fā)掘的潛力。在本文中，作者通過提供一個(gè)統(tǒng)一的、全面的和最新的綜述，滿足了這個(gè)需要，該綜述專門針對(duì)時(shí)間序列和時(shí)空數(shù)據(jù)分析的大模型，包括不同的數(shù)據(jù)類型、范圍、應(yīng)用領(lǐng)域和代表性任務(wù)中的LLMs和PFMs。此綜述的貢獻(xiàn)點(diǎn)總結(jié)如下：首個(gè)全面且最新的綜述統(tǒng)一和結(jié)構(gòu)化的分類法豐富的資源編譯未來的研究機(jī)會(huì)與其他調(diào)查相比，這份調(diào)查更為全面，不僅涵蓋了多個(gè)領(lǐng)域和數(shù)據(jù)模態(tài)，還對(duì)當(dāng)前最為熱門的大型模型和預(yù)訓(xùn)練策略進(jìn)行了深入的探討。它為讀者提供了一個(gè)更為寬廣的視野，有助于更全面地理解時(shí)間序列、時(shí)空數(shù)據(jù)等領(lǐng)域的最新研究進(jìn)展。模型介紹本文的主要工作集中于回顧近期采用大模型解決時(shí)間序列和時(shí)空數(shù)據(jù)任務(wù)的進(jìn)展。具體來說，作者關(guān)注大模型中的兩個(gè)主流：大語言模型和預(yù)訓(xùn)練的基礎(chǔ)模型。以下是作者對(duì)這兩個(gè)模型及其相關(guān)內(nèi)容的介紹：01大語言模型（LLMs）語言建模是許多自然語言處理任務(wù)的基礎(chǔ)，而大語言模型（LLMs）的初衷是為了提高語言建模的性能。與傳統(tǒng)的神經(jīng)語言模型（NLMs）和小型預(yù)訓(xùn)練的語言模型（PLMs）相比，LLMs以其在解決各種復(fù)雜任務(wù)時(shí)的突發(fā)能力、上下文學(xué)習(xí)能力而為人所知，并重塑了我們使用AI的方式。隨著多模態(tài)大語言模型（MLLMs）的發(fā)展，LLMs的下游任務(wù)遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)的自然語言范圍，小型PLMs無法輕易解決這些問題。在最近的使用LLMs對(duì)時(shí)間序列和時(shí)空數(shù)據(jù)進(jìn)行建模的過程中，我們將其分為兩大類：可見嵌入型LLMs和不可見嵌入型LLMs。前者通常開源，具有公開可訪問的內(nèi)部狀態(tài)，典型的例子包括BLOOM、Llama、Alpaca、Vicuna和Falcon等，這些模型通?？梢栽诓煌哪繕?biāo)任務(wù)上進(jìn)行微調(diào)，并顯示出有前途的少樣本和零樣本能力，無需額外的再訓(xùn)練。后者通常是閉源的，沒有公開的內(nèi)部狀態(tài)，如PaLM、ChatGPT1和GPT-4，它們通常通過API調(diào)用中的提示進(jìn)行推斷。下圖提供了一個(gè)關(guān)于大模型的簡(jiǎn)要路線圖，概述了它們的發(fā)展歷程和研究焦點(diǎn)，清晰地揭示了大語言模型和預(yù)訓(xùn)練基礎(chǔ)模型之間的聯(lián)系和差異。見證了多模態(tài)大語言模型（MLLMs）的巨大成功后，作者主要的研究興趣之一是如何調(diào)整LLMs來解決時(shí)間序列和時(shí)空數(shù)據(jù)分析任務(wù)。在現(xiàn)有的文獻(xiàn)中，這通?？梢酝ㄟ^多模態(tài)再利用或基于API的提示來實(shí)現(xiàn)。這種方法通常用于激活嵌入可見LLMs的任務(wù)相關(guān)功能，通過在目標(biāo)和預(yù)訓(xùn)練（源）任務(wù)中對(duì)齊不同的模態(tài)來實(shí)現(xiàn)。這與LLMs的微調(diào)密切相關(guān)，例如適配器調(diào)諧和低秩適應(yīng)，以及模型重編程，這取決于在適應(yīng)過程中LLMs是微調(diào)還是凍結(jié)。這種方法允許更深入地利用LLMs的內(nèi)部狀態(tài)和任務(wù)相關(guān)功能，但可能需要更多的計(jì)算資源和訪問權(quán)限。另一方面，這種方法更直接，將目標(biāo)模態(tài)包裝成自然語言提示，并將其輸入到LLMs中進(jìn)行生成推理。這類似于語言模型即服務(wù)（LMaaS）的黑盒調(diào)優(yōu)。證據(jù)表明，這種方法在跨多個(gè)領(lǐng)域的不同目標(biāo)任務(wù)中都適用，并顯示出有希望的結(jié)果，包括時(shí)間序列和時(shí)空數(shù)據(jù)的學(xué)習(xí)。02預(yù)訓(xùn)練基礎(chǔ)模型預(yù)訓(xùn)練基礎(chǔ)模型是指那些大規(guī)模預(yù)訓(xùn)練的模型，這些模型可適應(yīng)解決各種下游任務(wù)。從廣義上講，LLMs（以及MLLMs）也屬于PFMs，但它們更常用于解決自然語言導(dǎo)向的任務(wù)。PFMs構(gòu)成了一個(gè)更廣泛的模型類別，其特點(diǎn)是其突發(fā)能力和同質(zhì)化，可有效解決不同任務(wù)，并整合了構(gòu)建AI系統(tǒng)的方法論，與特定任務(wù)的模型有顯著不同。PFMs的能力主要表現(xiàn)在三個(gè)關(guān)鍵維度：模態(tài)橋接、推理和計(jì)劃以及交互。模態(tài)橋接：涉及多模態(tài)模型，例如視覺-語言模型等MLLMs，這類模型在統(tǒng)一語言和視覺模態(tài)方面取得了顯著成果。例如，CLIP最初提出彌合圖像和文本之間的差距，SAM進(jìn)一步擴(kuò)展了文本提示的概念到視覺提示。其他最近的工作，如NExT-GPT，進(jìn)一步擴(kuò)大了邊界，甚至允許橋接多種不同的模態(tài)。推理和計(jì)劃：PFMs也被設(shè)計(jì)用于進(jìn)行復(fù)雜的推理和計(jì)劃任務(wù)。這些模型可以從大量的預(yù)訓(xùn)練數(shù)據(jù)中學(xué)習(xí)如何推理和解決復(fù)雜問題。交互：這些模型還能夠以更自然的方式與人類用戶進(jìn)行交互，從而提供更好的用戶體驗(yàn)。在現(xiàn)實(shí)世界中，數(shù)據(jù)本質(zhì)上是多模態(tài)的，例如在臨床醫(yī)學(xué)中，經(jīng)常涉及時(shí)間序列和時(shí)空數(shù)據(jù)。這也激發(fā)了最近對(duì)多模態(tài)時(shí)間序列和時(shí)空數(shù)據(jù)的研究興趣。盡管這些研究仍處于早期發(fā)展階段，但它們代表了PFMs的一個(gè)重要且充滿希望的分支。第二個(gè)方面突出了PFMs的推理和規(guī)劃能力。LLMs中的典型例子包括CoT、ToT和GoT，以及任務(wù)規(guī)劃代理。這些模型具備在不同任務(wù)和情境中進(jìn)行邏輯推理和制定計(jì)劃的能力。最后一個(gè)方面定義了PFMs的交互能力，包括行動(dòng)和通信。交互能力使得PFMs能夠與用戶或其他系統(tǒng)進(jìn)行實(shí)時(shí)的信息交流，并根據(jù)需求進(jìn)行相應(yīng)的行動(dòng)。在本調(diào)查中，作者主要關(guān)注用于時(shí)間序列和時(shí)空數(shù)據(jù)的PFMs。這些模型在發(fā)展中大多仍處于早期階段，遠(yuǎn)未達(dá)到上述的第二和第三方面。對(duì)于PFMs的更多細(xì)節(jié)，我們建議讀者參考。總之，PFMs作為一種前沿的AI技術(shù)，它們的多模態(tài)橋接、推理規(guī)劃以及交互能力為我們解決復(fù)雜的問題提供了新的可能性。然而，對(duì)于時(shí)間序列和時(shí)空數(shù)據(jù)的PFMs研究仍處于初級(jí)階段，未來還有很大的發(fā)展空間。隨著技術(shù)的不斷進(jìn)步，我們期待看到更多的創(chuàng)新和突破，以推動(dòng)人工智能領(lǐng)域的發(fā)展。03時(shí)間序列和時(shí)空數(shù)據(jù)時(shí)間序列和時(shí)空數(shù)據(jù)作為時(shí)間相關(guān)的數(shù)據(jù)類別，在無數(shù)現(xiàn)實(shí)世界應(yīng)用中作為基礎(chǔ)數(shù)據(jù)出現(xiàn)。時(shí)間序列通常被定義為按時(shí)間順序排列的數(shù)據(jù)點(diǎn)序列。這些序列可以是單變量的，也可以是多變量的。例如，一個(gè)城市每天的溫度讀數(shù)將形成一個(gè)單變量時(shí)間序列，而結(jié)合每天的溫度和濕度數(shù)據(jù)將創(chuàng)建一個(gè)多變量時(shí)間序列。時(shí)間序列數(shù)據(jù)：這是按時(shí)間順序排列的數(shù)據(jù)，通常用于分析和預(yù)測(cè)某一現(xiàn)象隨時(shí)間的變化情況。代表任務(wù)包括時(shí)間序列預(yù)測(cè)、異常檢測(cè)等。時(shí)空數(shù)據(jù)：這類數(shù)據(jù)不僅包含時(shí)間信息，還包含空間信息。它們被廣泛用于地理位置相關(guān)的研究和應(yīng)用中。代表任務(wù)包括時(shí)空數(shù)據(jù)插補(bǔ)、時(shí)空預(yù)測(cè)等。1.時(shí)間序列任務(wù)這個(gè)領(lǐng)域通常包括四個(gè)主要的分析任務(wù)：預(yù)測(cè)、分類、異常檢測(cè)和填充。在預(yù)測(cè)中，目標(biāo)是預(yù)測(cè)時(shí)間序列的未來值，根據(jù)預(yù)測(cè)范圍，可以進(jìn)一步分為短期和長(zhǎng)期預(yù)測(cè)。在分類中，目標(biāo)是將輸入的時(shí)間序列分類到不同的類別中。時(shí)間序列的異常檢測(cè)也可以被理解為一種特殊的分類任務(wù)，我們的目標(biāo)是從正常的時(shí)間序列中識(shí)別出異常的時(shí)間序列。在填充任務(wù)中，目標(biāo)是填充時(shí)間序列中的缺失值。2.時(shí)空?qǐng)D任務(wù)時(shí)空?qǐng)D的主要下游任務(wù)是預(yù)測(cè)，該任務(wù)旨在通過參考?xì)v史屬性和結(jié)構(gòu)信息來預(yù)測(cè)未來的節(jié)點(diǎn)特征。典型的例子包括交通預(yù)測(cè)和一些按需服務(wù)。其他常見任務(wù)包括鏈接預(yù)測(cè)和節(jié)點(diǎn)/圖分類，其中鏈接預(yù)測(cè)的目標(biāo)是基于歷史信息預(yù)測(cè)邊的存在，而節(jié)點(diǎn)/圖分類的目標(biāo)是將節(jié)點(diǎn)或圖分類到不同的類別中。3.時(shí)間知識(shí)圖任務(wù)時(shí)間知識(shí)圖中有兩個(gè)重要任務(wù)：補(bǔ)全和預(yù)測(cè)。前者主要旨在填充圖中的缺失關(guān)系，而后者關(guān)注預(yù)測(cè)未來的關(guān)系。4.視頻任務(wù)在計(jì)算機(jī)視覺領(lǐng)域，視頻數(shù)據(jù)包含幾個(gè)核心任務(wù)，如檢測(cè)、標(biāo)注、預(yù)測(cè)和查詢。檢測(cè)的目的是識(shí)別視頻中的特定物體或動(dòng)作。標(biāo)注試圖為視頻內(nèi)容生成自然語言描述。預(yù)測(cè)涉及預(yù)測(cè)視頻序列中的未來幀。最后，查詢的目的是檢索與特定查詢相關(guān)的視頻片段。值得注意的是，這些任務(wù)經(jīng)?？缭蕉喾N模態(tài)，與前面提到的數(shù)據(jù)類型相比，它們受到了相當(dāng)大的關(guān)注。概述與分類作者對(duì)時(shí)間序列和時(shí)空數(shù)據(jù)的大模型進(jìn)行概述和分類。調(diào)查結(jié)構(gòu)遵循四個(gè)主要維度：數(shù)據(jù)類別、模型架構(gòu)、模型范圍和應(yīng)用領(lǐng)域或任務(wù)。相關(guān)工作的詳細(xì)概要可以在圖3和表2中找到。作者主要將現(xiàn)有的文獻(xiàn)分為兩大類：時(shí)間序列數(shù)據(jù)的大模型（LM4TS）和時(shí)空數(shù)據(jù)的大模型（LM4STD）。01時(shí)間序列數(shù)據(jù)的大模型（LM4TS）在LM4TS類別中，作者將研究細(xì)分為兩類：時(shí)間序列數(shù)據(jù)的LLMs(LLM4TS)和時(shí)間序列數(shù)據(jù)的PFMs(PFM4TS)。前者指的是利用LLMs解決時(shí)間序列任務(wù)，無論在適應(yīng)過程中LLMs是微調(diào)還是凍結(jié)。后者，另一方面，關(guān)注為各種時(shí)間序列任務(wù)顯式設(shè)計(jì)的PFMs的開發(fā)。值得注意的是，PFM4TS領(lǐng)域相對(duì)較新；現(xiàn)有模型可能沒有完全封裝定義在第2.2節(jié)的通用PFMs的潛力。然而，它們?yōu)檫@個(gè)領(lǐng)域的未來發(fā)展提供了有價(jià)值的見解。因此，作者還將它們包括在這個(gè)調(diào)查中，并將它們分類為PFM4TS。對(duì)于這些細(xì)分，作者進(jìn)一步將它們分類為通用或特定領(lǐng)域的模型，取決于這些模型是設(shè)計(jì)用來解決一般時(shí)間序列分析任務(wù)還是限于特定領(lǐng)域，包括但不限于交通、金融和醫(yī)療保健。02時(shí)空數(shù)據(jù)的大模型（LM4STD）在LM4STD類別中，作者采用類似的分類法，定義時(shí)空數(shù)據(jù)的LLMs(LLM4STD)和時(shí)空數(shù)據(jù)的PFMs(PFM4STD)。與時(shí)間序列數(shù)據(jù)不同，時(shí)空數(shù)據(jù)包含多個(gè)領(lǐng)域的更廣泛的實(shí)體數(shù)組；因此作者明確地按照它們相關(guān)的領(lǐng)域分類LLM4STD和PFM4STD。在此，作者關(guān)注三個(gè)最突出的領(lǐng)域/模態(tài)，使用它們作為子類別：時(shí)空?qǐng)D、時(shí)態(tài)知識(shí)圖和視頻數(shù)據(jù)。對(duì)于其中的每一個(gè)，作者總結(jié)代表性的任務(wù)作為葉節(jié)點(diǎn)，這與LM4TS相似。值得注意的是，與其時(shí)間序列對(duì)應(yīng)物相比，PFM4STD已經(jīng)得到了更廣泛的發(fā)展。當(dāng)前的研究主要針對(duì)STGs和視頻數(shù)據(jù)，通常具有如多模態(tài)橋接和推理等PFMs的增強(qiáng)功能。時(shí)間序列數(shù)據(jù)大模型近年來，大語言模型和預(yù)訓(xùn)練基礎(chǔ)模型在時(shí)間序列分析中的應(yīng)用取得了顯著的進(jìn)展。這些模型具有強(qiáng)大的學(xué)習(xí)能力和表示能力，能夠有效地捕捉時(shí)間序列數(shù)據(jù)中的復(fù)雜模式和長(zhǎng)期依賴關(guān)系。本節(jié)中，作者將分別討論大語言模型和預(yù)訓(xùn)練基礎(chǔ)模型在時(shí)間序列分析中的進(jìn)展，并進(jìn)一步根據(jù)模型的通用性和領(lǐng)域特異性進(jìn)行分類討01大語言模型在時(shí)間序列分析中的應(yīng)用1.通用模型隨著時(shí)間的推移，大語言模型（LLMs）逐漸在時(shí)間序列分析領(lǐng)域展現(xiàn)出其潛力。作為從LLM角度處理通用時(shí)間序列預(yù)測(cè)的早期努力之一，有研究正式引入了一個(gè)新任務(wù)：基于提示的時(shí)間序列預(yù)測(cè)——PromptCast。由于輸入和輸出都是自然語言句子，PromptCast為時(shí)間序列預(yù)測(cè)提供了一種新穎的“無代碼”解決方案，這提供了一個(gè)全新視角，而不僅僅是專注于設(shè)計(jì)復(fù)雜的架構(gòu)。此外，為了應(yīng)對(duì)缺乏大規(guī)模訓(xùn)練數(shù)據(jù)的挑戰(zhàn)，有研究提出了一個(gè)基于部分凍結(jié)LLMs的統(tǒng)一框架，即只微調(diào)嵌入和歸一化層，同時(shí)保持自注意力和前饋層不變。這種方法在所有主要的時(shí)間序列分析任務(wù)中都達(dá)到了最先進(jìn)或可比的性能，包括時(shí)間序列分類、短期/長(zhǎng)期預(yù)測(cè)、插補(bǔ)、異常檢測(cè)、少樣本和零樣本預(yù)測(cè)。其他研究則更專注于時(shí)間序列預(yù)測(cè)的特定方面。例如，TEMPO專注于時(shí)間序列預(yù)測(cè)，但結(jié)合了額外的時(shí)間序列分解和軟提示等精細(xì)設(shè)計(jì)。還有研究利用LLMs進(jìn)行時(shí)間序列預(yù)測(cè)，采用兩階段的微調(diào)過程：首先使用有監(jiān)督的微調(diào)引導(dǎo)LLM朝向時(shí)間序列數(shù)據(jù)，隨后轉(zhuǎn)向針對(duì)時(shí)間序列預(yù)測(cè)的下游微調(diào)。另有研究通過新的嵌入方法激活了LLM在時(shí)間序列上的能力，該方法通過實(shí)例、特征和文本原型對(duì)齊的方式進(jìn)行數(shù)據(jù)的token化和編碼，然后創(chuàng)建提示傳遞給LLMs來執(zhí)行任務(wù)。2.特定領(lǐng)域模型交通運(yùn)輸領(lǐng)域：時(shí)間序列預(yù)測(cè)在智能交通系統(tǒng)（IntelligentTransportationSystems，簡(jiǎn)稱ITS）中發(fā)揮著關(guān)鍵作用。為了充分發(fā)掘大語言模型在交通運(yùn)輸領(lǐng)域的應(yīng)用潛力，有研究提出了一種新穎的AuxMobLCast管道，利用LLM進(jìn)行交通數(shù)據(jù)挖掘，例如人類移動(dòng)性預(yù)測(cè)任務(wù)。AuxMobLCast將人類移動(dòng)性數(shù)據(jù)轉(zhuǎn)化為自然語言句子，使得預(yù)訓(xùn)練的LLM可以直接應(yīng)用于微調(diào)階段來預(yù)測(cè)人類移動(dòng)性。這項(xiàng)工作是首次嘗試微調(diào)現(xiàn)有的LLM，以預(yù)測(cè)交通運(yùn)輸領(lǐng)域的數(shù)據(jù)，為L(zhǎng)LM在交通運(yùn)輸領(lǐng)域的應(yīng)用提供了新的思路和方法。金融領(lǐng)域：近年來，一些專注于金融領(lǐng)域的大語言模型（LLMs）的研究已在文獻(xiàn)中報(bào)道。其中一項(xiàng)研究提出了一種簡(jiǎn)單而有效的指令調(diào)優(yōu)方法，用于金融領(lǐng)域的情感分析。通過這種方法，基于分類的情感分析數(shù)據(jù)集被轉(zhuǎn)化為生成任務(wù)，從而使LLMs能夠更有效地應(yīng)用其廣泛的訓(xùn)練和卓越的分析能力。除了NLP任務(wù)外，利用LLMs的卓越知識(shí)和推理能力進(jìn)行金融時(shí)間序列預(yù)測(cè)也很吸引人。有研究使用GPT-4進(jìn)行零樣本/少樣本推理，以及使用Llama進(jìn)行基于指令的微調(diào)來進(jìn)行可解釋的預(yù)測(cè)，盡管與GPT-4相比性能相對(duì)較差，但仍取得了合理的性能。還有研究使用了類似的方法來基于文本數(shù)據(jù)預(yù)測(cè)股票價(jià)格變動(dòng)。這些研究展示了LLMs在金融領(lǐng)域的潛力和多樣性，為未來的金融應(yīng)用和研究提供了新的視角和工具。事件預(yù)測(cè)：與具有相等采樣間隔的同步（規(guī)則）時(shí)間序列數(shù)據(jù)不同，事件序列是具有不規(guī)則時(shí)間戳的異步時(shí)間序列。事件序列在現(xiàn)實(shí)世界中扮演著重要角色，如金融、在線購(gòu)物、社交網(wǎng)絡(luò)等。時(shí)間點(diǎn)過程（TemporalPointProcesses，簡(jiǎn)稱TPPs）已成為建模此類數(shù)據(jù)的標(biāo)準(zhǔn)方法。事件預(yù)測(cè)旨在根據(jù)過去預(yù)測(cè)未來的時(shí)間和事件類型。例如，在在線購(gòu)物領(lǐng)域，作者想要建立用戶的時(shí)間戳訪問序列模型，并根據(jù)他們過去的購(gòu)物評(píng)價(jià)來預(yù)測(cè)他們未來的購(gòu)物行為。大語言模型（LLMs）在這種設(shè)置中潛在地有用，因?yàn)槭录蛄型ǔ０橛胸S富的文本信息，而LLMs擅長(zhǎng)處理這些信息。醫(yī)療健康領(lǐng)域：醫(yī)療健康領(lǐng)域是事件序列中最重要的領(lǐng)域之一，臨床模型可幫助醫(yī)生和行政人員在日常實(shí)踐中做出決策。基于結(jié)構(gòu)化數(shù)據(jù)的臨床模型使用受限，但GatorTron和NYUTron等臨床LLM的擴(kuò)展和改進(jìn)，為醫(yī)學(xué)提供了與醫(yī)生一起閱讀和在護(hù)理點(diǎn)提供指導(dǎo)的潛力。LLMs還可以通過少樣本提示調(diào)優(yōu)，將來自可穿戴設(shè)備和臨床級(jí)傳感設(shè)備的數(shù)值時(shí)間序列數(shù)據(jù)作為基礎(chǔ)，在健康任務(wù)上帶來大的改進(jìn)。02預(yù)訓(xùn)練基礎(chǔ)模型在時(shí)間序列分析中的應(yīng)用除了利用LLMs進(jìn)行時(shí)間序列分析外，時(shí)間序列預(yù)訓(xùn)練和相關(guān)基礎(chǔ)模型的發(fā)展也充滿了希望。這些模型有助于識(shí)別在各種領(lǐng)域和后續(xù)任務(wù)中保持一致的一般時(shí)間序列模1.通用模型自2021年以來，已經(jīng)提出了大量的預(yù)訓(xùn)練基礎(chǔ)模型，其中大多數(shù)是通用模型。Voice2Series利用了預(yù)訓(xùn)練的語音處理模型的表示學(xué)習(xí)能力，使用語音數(shù)據(jù)作為單變量時(shí)間信號(hào)進(jìn)行時(shí)間序列分類，它是能夠?yàn)闀r(shí)間序列任務(wù)進(jìn)行重新編程的第一個(gè)框架。繼Voice2Series之后，基于對(duì)比學(xué)習(xí)技術(shù)的時(shí)間序列數(shù)據(jù)的預(yù)訓(xùn)練基礎(chǔ)模型相繼涌現(xiàn)，包括TF-C、TS2Vec和CLUDA。TF-C包含一個(gè)基于時(shí)間的組件和一個(gè)基于頻率的組件，每個(gè)組件都通過對(duì)比估計(jì)進(jìn)行單獨(dú)訓(xùn)練，自監(jiān)督信號(hào)由時(shí)間和頻率組件之間的距離提供，即時(shí)間-頻率一致性。TS2Vec提出了一種通用的對(duì)比學(xué)習(xí)框架，用于學(xué)習(xí)時(shí)間序列領(lǐng)域中任意子序列在各種語義級(jí)別的上下文表示，通過分層方式對(duì)增強(qiáng)的上下文視圖進(jìn)行處理。該框架支持多元輸入，可用于時(shí)間序列領(lǐng)域的各種任務(wù)。CLUDA是一種基于對(duì)比學(xué)習(xí)的無監(jiān)督時(shí)間序列域適應(yīng)模型。CLUDA有兩個(gè)新穎的組件，定制對(duì)比學(xué)習(xí)和最近鄰對(duì)比學(xué)習(xí)。使用對(duì)抗學(xué)習(xí)將它們?cè)谠从蚝湍繕?biāo)域之間進(jìn)行對(duì)齊。CLUDA的對(duì)比學(xué)習(xí)組件旨在學(xué)習(xí)一個(gè)表示空間，其中語義相似的樣本更接近，不相似的樣本更遠(yuǎn)。因此，CLUDA可以學(xué)習(xí)多元時(shí)間序列中的域不變上下文表示，以適應(yīng)不同的領(lǐng)域。這些模型的出現(xiàn)為時(shí)間序列分析提供了更豐富和強(qiáng)大的工具。除了上述的模型和技術(shù)外，該領(lǐng)域還采用了許多其他技術(shù)。例如，STEP模型包含了一個(gè)預(yù)訓(xùn)練模型和一個(gè)時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)（STGNN）。預(yù)訓(xùn)練模型被設(shè)計(jì)用于從長(zhǎng)期歷史時(shí)間序列中高效學(xué)習(xí)時(shí)間模式，并生成片段級(jí)表示。這些表示為STGNNs的短期時(shí)間序列輸入提供了上下文信息，并有助于建模時(shí)間序列之間的依賴關(guān)系。（MAE）的預(yù)訓(xùn)練方法涉及一種新的塊嵌入，可以減少內(nèi)存使用，并允許模型處理更長(zhǎng)的序列，以解決處理高信息密度的多元時(shí)間序列的挑戰(zhàn)。SimMTM也基于掩蔽建模技術(shù)，通過揭示流形的局部結(jié)構(gòu)，將預(yù)訓(xùn)練方法擴(kuò)展到時(shí)間序列。為了提高掩蔽建模的性能，掩蔽的時(shí)間點(diǎn)通過流形外的多個(gè)鄰居的加權(quán)聚合進(jìn)行恢復(fù)，這使得SimMTM能夠從多個(gè)掩蔽序列中組合互補(bǔ)的時(shí)間變化，并提高重建序列的質(zhì)量。PatchTST是一個(gè)基于Transformer的長(zhǎng)期時(shí)間序列預(yù)測(cè)模型。為了克服其他模型在捕捉局部語義信息方面的局限性，PatchTST引入了一種用于提取局部語義信息的補(bǔ)丁機(jī)制，并設(shè)計(jì)了一種通道獨(dú)立性，使每個(gè)序列都能學(xué)習(xí)自己的注意力圖以進(jìn)行預(yù)測(cè)。它也被應(yīng)用于預(yù)訓(xùn)練任務(wù)中。另外，TSMixer是一個(gè)輕量級(jí)的MLP-Mixer模型，用于多元時(shí)間序列預(yù)測(cè)。它引入了兩個(gè)新穎的在線調(diào)和頭，利用分層補(bǔ)丁聚合的內(nèi)在時(shí)間序列屬性和跨通道相關(guān)性來調(diào)整和改進(jìn)預(yù)測(cè)。與基于Transformer的模型不同，TSMixer顯著增強(qiáng)了簡(jiǎn)單MLP結(jié)構(gòu)的學(xué)習(xí)能力。2.特定領(lǐng)域模型PromptTPP提出了一種通用方法來預(yù)訓(xùn)練事件序列的基礎(chǔ)模型，并通過采用持續(xù)PromptTPP能夠在現(xiàn)實(shí)約束下連續(xù)學(xué)習(xí)一系列任務(wù)，而不會(huì)發(fā)生災(zāi)難性遺忘。相應(yīng)地，PromptTPP將基礎(chǔ)模型與連續(xù)時(shí)間檢索提示池相集成。這些提示是可學(xué)習(xí)的小參數(shù)，存儲(chǔ)在內(nèi)存空間中，并與基礎(chǔ)模型聯(lián)合優(yōu)化，確保模型能夠順序?qū)W習(xí)事件流，而無需緩沖過去的樣本或任務(wù)特定屬性。通過這種方式，PromptTPP不僅能適應(yīng)不斷變化的數(shù)據(jù)環(huán)境，還能有效地利用內(nèi)存資源，避免在持續(xù)學(xué)習(xí)過程中出現(xiàn)信息遺忘的問題。這種方法的提出為事件序列的連續(xù)學(xué)習(xí)開辟了新的可能性，也為解決相關(guān)的實(shí)際問題提供了有效的工具。時(shí)空數(shù)據(jù)的大模型在本節(jié)中，作者探討了大模型在時(shí)空數(shù)據(jù)分析中的進(jìn)步，這些進(jìn)步跨越了三個(gè)主要的數(shù)據(jù)類別：時(shí)空?qǐng)D、時(shí)間知識(shí)圖和視頻。每一種都具有廣泛的現(xiàn)實(shí)世界應(yīng)用。01時(shí)空?qǐng)D在深度學(xué)習(xí)的時(shí)代，時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)（STGNNs）已經(jīng)成為時(shí)空?qǐng)D預(yù)測(cè)事實(shí)上最受歡迎的方法。它們主要利用圖神經(jīng)網(wǎng)絡(luò)捕捉頂點(diǎn)之間的空間相關(guān)性，并利用其他模型（如RNN和CNN）學(xué)習(xí)不同時(shí)間步之間的時(shí)間依賴性。近年來，LLM（大語言模型）和PFM（預(yù)訓(xùn)練特征模型）的出現(xiàn)為時(shí)空表示學(xué)習(xí)領(lǐng)域的STGNN（時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)）提供了寶貴的支持。這些模型在處理和上下文化文本數(shù)據(jù)方面表現(xiàn)出色，使它們具備從各種文本來源（包括新聞文章、社交媒體內(nèi)容到報(bào)告）中提取洞察力的能力。這些洞察力可以無縫地整合到時(shí)空結(jié)構(gòu)中，提高其上下文的豐富性。此外，它們促進(jìn)了多種模態(tài)的融合，包括文本、圖像和結(jié)構(gòu)化數(shù)據(jù)，從而擴(kuò)大了時(shí)空理解的深度和廣度。這些模型具有生成人類可解釋解釋的能力，提高了透明度和可靠性，特別是在城市規(guī)劃或?yàn)?zāi)害應(yīng)對(duì)等應(yīng)用中。此外，它們通過簡(jiǎn)潔表示編碼高級(jí)信息，促進(jìn)了計(jì)算效率，簡(jiǎn)化了訓(xùn)練和推理過程。1.大語言模型在時(shí)空?qǐng)D中的應(yīng)用與PFMs相比，利用LLMs增強(qiáng)STGNNs學(xué)習(xí)能力的文獻(xiàn)相對(duì)較少。第一種方法是使用LLMs學(xué)習(xí)頂點(diǎn)之間的關(guān)系。早期的一項(xiàng)研究可以在參考文獻(xiàn)[122]中找到，它提出了一個(gè)新穎的框架，利用LLM令人贊嘆的圖推理能力來增強(qiáng)STGNNs對(duì)股票價(jià)格變動(dòng)的預(yù)測(cè)。在這種方法中，ChatGPT被用來從每日財(cái)經(jīng)新聞中提取不斷演變的網(wǎng)絡(luò)結(jié)構(gòu)，這些推斷出的圖結(jié)構(gòu)然后被無縫集成到GNNs中，為每個(gè)公司生成節(jié)點(diǎn)嵌入。這些嵌入證明了對(duì)提高與股票變動(dòng)相關(guān)的下游任務(wù)的性能是有幫助的。此外，第二系列研究利用LLMs的先驗(yàn)知識(shí)來支持STGNNs的下游應(yīng)用，如用于人類（GPR）拓?fù)浜拖闰?yàn)類別關(guān)系（CPR）拓?fù)洌x了節(jié)點(diǎn)之間的互聯(lián)。GPR作為生成新穎骨骼表示的指導(dǎo)框架，其主要目標(biāo)是突出從基礎(chǔ)數(shù)據(jù)中提取的關(guān)鍵節(jié)點(diǎn)信2.預(yù)訓(xùn)練基礎(chǔ)模型在時(shí)空?qǐng)D中的應(yīng)用我們目前正在目睹為掌握各種現(xiàn)實(shí)世界應(yīng)用中的STGs（時(shí)空?qǐng)D）而定制的預(yù)訓(xùn)練機(jī)器學(xué)習(xí)模型的激增。這些模型通過知識(shí)遷移顯著促進(jìn)了STG學(xué)習(xí)。換句話說，它們實(shí)現(xiàn)了已學(xué)習(xí)表示形式的遷移，從而提高了STGs捕獲復(fù)雜模式的能力，導(dǎo)致了更有效和更高效的學(xué)習(xí)。一般領(lǐng)域的PFMs：對(duì)比學(xué)習(xí)是一種在圖像和文本領(lǐng)域被廣泛應(yīng)用的表示學(xué)習(xí)方法，它在時(shí)空?qǐng)D學(xué)習(xí)領(lǐng)域也被證明是非常有效的。其中一種代表性方法是STGCL，它通過對(duì)比正樣本對(duì)與負(fù)樣本對(duì)，從復(fù)雜的時(shí)空?qǐng)D數(shù)據(jù)中提取豐富和有意義的表示。這種方法使得對(duì)比學(xué)習(xí)在諸如交通預(yù)測(cè)和電力消耗預(yù)測(cè)等多樣化領(lǐng)域的實(shí)際應(yīng)用中變得可行。為了學(xué)習(xí)頂點(diǎn)間的有信息量的關(guān)系，SPGCL最大化了正鄰居和負(fù)鄰居之間的區(qū)分邊界，并用一種自我步調(diào)策略生成了最優(yōu)圖。氣象領(lǐng)域的PFMs：FourCastNet，這是一個(gè)利用自適應(yīng)傅里葉神經(jīng)算子實(shí)現(xiàn)高分辨率預(yù)測(cè)和快速推斷的氣候PFM。它的訓(xùn)練過程包括兩個(gè)階段——預(yù)訓(xùn)練和微調(diào)。在預(yù)訓(xùn)練期間，F(xiàn)ourCastNet接受監(jiān)督訓(xùn)練，以獲得從前一步到后一步的映射。在微調(diào)階段，它基于預(yù)訓(xùn)練模型進(jìn)行構(gòu)建，將其優(yōu)化為以自回歸方式預(yù)測(cè)接下來的兩個(gè)時(shí)間步。PanGu通過多時(shí)間尺度模型組合方法，展示了比FourCastNet更強(qiáng)的中期預(yù)測(cè)能力，利用新穎的3D地球特定Transformer。這個(gè)3D深度網(wǎng)絡(luò)，增強(qiáng)了地球特定先驗(yàn)，有效地處理復(fù)雜的氣象數(shù)據(jù)模式。ClimaX是一個(gè)適應(yīng)性強(qiáng)的深度學(xué)習(xí)模型，應(yīng)用于氣候和天氣科學(xué)，訓(xùn)練于多樣化數(shù)CMIP6氣候數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，ClimaX可以針對(duì)各種氣候和天氣任務(wù)進(jìn)行微調(diào)，甚至涉及未見過的變量和時(shí)空尺度。W-MAE將自監(jiān)督預(yù)訓(xùn)練方法（即MaskedAutoencoder）整合到氣候預(yù)測(cè)任務(wù)中。這種整合使得模型能夠從大量的無標(biāo)簽氣象數(shù)據(jù)中提取關(guān)鍵的氣象相關(guān)特征和通用知識(shí)，有助于改善對(duì)多樣化數(shù)據(jù)源的處理。與上述方法不同，F(xiàn)engWu通過多模態(tài)和多任務(wù)方法解決中期氣候預(yù)測(cè)問題。它采用了一種深度學(xué)習(xí)架構(gòu)，具有模型特定的Transformer和跨模態(tài)融合策略。這種設(shè)計(jì)精心制作，納入了不確定性損失，用于各種預(yù)測(cè)器的區(qū)域自適應(yīng)優(yōu)化。交通運(yùn)輸領(lǐng)域在交通運(yùn)輸領(lǐng)域，CPPBTR是一個(gè)基于Transformer的新框架，用于人群流量預(yù)測(cè)，其特點(diǎn)是兩階段的解碼過程。在第一解碼階段，生成一個(gè)初步序列。隨后，在第二解碼階段，系統(tǒng)地遮蔽這個(gè)初始序列的每一個(gè)時(shí)間步，并將其輸入到Transformer編碼器中，以預(yù)測(cè)每個(gè)遮蔽位置的精細(xì)流量。在交通流量預(yù)測(cè)領(lǐng)域，TrafficBERT利用了受BERT啟發(fā)的關(guān)鍵特征。它采用與BERT類似的雙向Transformer結(jié)構(gòu)，可以預(yù)測(cè)整體交通流量，而不是單個(gè)時(shí)間步。與需要對(duì)每條特定道路進(jìn)行單獨(dú)訓(xùn)練的常規(guī)模型相比，TrafficBERT通過使用來自多條道路的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，增強(qiáng)了模型的泛化能力。此外，Wang等人引入了交通基礎(chǔ)模型(TFM)，它將交通模擬納入到交通預(yù)測(cè)的領(lǐng)域中。TFM利用圖結(jié)構(gòu)和動(dòng)態(tài)圖生成算法，巧妙地捕獲交通系統(tǒng)內(nèi)參與者之間的復(fù)雜動(dòng)態(tài)和交互。這種數(shù)據(jù)驅(qū)動(dòng)和無模型的模擬方法有效地解決了傳統(tǒng)系統(tǒng)在結(jié)構(gòu)復(fù)雜性和模型精度方面長(zhǎng)期存在的問題，為使用真實(shí)世界數(shù)據(jù)解決復(fù)雜的交通問題奠定了堅(jiān)實(shí)的基礎(chǔ)。02時(shí)間知識(shí)圖結(jié)構(gòu)化知識(shí)推理的應(yīng)用，如搜索引擎、問答系統(tǒng)、對(duì)話系統(tǒng)和社交網(wǎng)絡(luò)等一系列應(yīng)用都需要對(duì)基礎(chǔ)結(jié)構(gòu)化知識(shí)進(jìn)行推理。特別是，知識(shí)圖譜(KGs)、作為研究這類知識(shí)的復(fù)雜多關(guān)系設(shè)置的重要模型，已經(jīng)引起了廣泛關(guān)注。KGs以三元組(s,p,o)的形式表示事實(shí)（事件），通常從文本數(shù)據(jù)中提取，其中s和o分別表示主體和客體實(shí)體，p作為關(guān)系類型表示謂詞。然而，在現(xiàn)實(shí)世界中，知識(shí)是不斷發(fā)展的，這激發(fā)了時(shí)間知識(shí)圖譜(TKGs)的構(gòu)建和應(yīng)用，其中事實(shí)從三元組(s,p,o)擴(kuò)展到帶有時(shí)間戳t的四元組，即(s,p,o,t)。通過有效捕獲事實(shí)之間的時(shí)間依賴性和結(jié)構(gòu)依賴性，TKGs有助于更好地理解實(shí)體的行為以及它們?nèi)绾坞S著時(shí)間的推移促成事實(shí)的生成。因此，TKGs的應(yīng)用和改進(jìn)對(duì)于提高這些系統(tǒng)的性能和準(zhǔn)確性具有重要的意義。由于近年來LLMs在許多文本推理任務(wù)中表現(xiàn)出驚人的性能，因此很自然地會(huì)主動(dòng)研究LLMs在TKGs中的有效性。根據(jù)所執(zhí)行的任務(wù)，基于LLM的TKG模型可分為兩03視頻視頻是視覺信息的數(shù)字表示，通常由一系列圖像或幀組成，共同傳達(dá)動(dòng)作和時(shí)間變化。這些數(shù)據(jù)在各種實(shí)際應(yīng)用中變得無處不在，包括監(jiān)控系統(tǒng)、娛樂平臺(tái)、社交媒體和駕駛員輔助系統(tǒng)。對(duì)于視頻理解的常規(guī)深度學(xué)習(xí)方法主要涉及兩個(gè)關(guān)鍵范式：(1)2DCNNs：在這個(gè)范式中，每個(gè)視頻幀通過2D卷積分別處理，然后在網(wǎng)絡(luò)頂部沿時(shí)間軸聚合。這種方法主要關(guān)注空間特征，時(shí)間特征的處理較為簡(jiǎn)單。(2)3DCNNs：這種方法通過學(xué)習(xí)3D卷積來聚合空間和時(shí)間特征，從而學(xué)習(xí)視頻的時(shí)空表示。與2DCNNs相比，3DCNNs能夠更好地捕獲視頻中的時(shí)間動(dòng)態(tài)。近年來，Transformers也因其捕獲長(zhǎng)距離依賴的能力而被廣泛應(yīng)用于建模視頻的時(shí)空依賴，進(jìn)行視頻識(shí)別。這種方法不依賴于卷積操作，而是通過自注意力機(jī)制來捕獲全局的時(shí)空依賴關(guān)系。然而，近年來LLMs（大語言模型）和PFMs（多模態(tài)模型）的發(fā)展為利用視頻固有的多模態(tài)性質(zhì)增強(qiáng)視頻理解鋪平了道路。這些模型，如OpenAI的CLIP和DALL-E，能夠通過聯(lián)合處理視覺和文本模態(tài)，有效地從視頻數(shù)據(jù)中提取豐富的上下文信息，實(shí)現(xiàn)對(duì)復(fù)雜場(chǎng)景和事件的更全面理解。此外，這些模型有潛力促進(jìn)不同領(lǐng)域之間的有效遷移學(xué)習(xí)，提高視頻分析任務(wù)的泛化能力和魯棒性。資源與應(yīng)用本節(jié)匯總了與時(shí)間序列和時(shí)空數(shù)據(jù)相關(guān)的各種應(yīng)用中常見的數(shù)據(jù)集、模型和工具。這些數(shù)據(jù)集、模型和工具在下表中一一列出，為研究人員和實(shí)踐者提供了寶貴的資源和參考。通過這些數(shù)據(jù)集、模型和工具，我們能夠更深入地理解和分析時(shí)間序列和時(shí)空數(shù)據(jù)，進(jìn)一步推動(dòng)相關(guān)領(lǐng)域的發(fā)展和進(jìn)步。展望與未來機(jī)遇本節(jié)討論了當(dāng)前研究的潛在局限性，并突出六個(gè)未來研究方向，旨在開發(fā)更強(qiáng)大、更透明、更可靠的時(shí)序數(shù)據(jù)分析大模型。01大模型的理論分析由于文本數(shù)據(jù)和時(shí)序數(shù)據(jù)的順序性質(zhì)，最近的研究已經(jīng)擴(kuò)展了LLMs以處理時(shí)間序列和時(shí)空任務(wù)。這意味著可以從LLMs的文本數(shù)據(jù)中學(xué)習(xí)到的表示可以微調(diào)以捕獲時(shí)序數(shù)據(jù)的模式。然而，這仍然是一個(gè)非常高級(jí)的理解。與其他深度學(xué)習(xí)模型一樣，LLMs也由于其復(fù)雜性而被視為“黑箱”，這使得人們難以理解是哪些數(shù)據(jù)影響了其預(yù)測(cè)和決策。需要對(duì)LLMs進(jìn)行更深入的理論分析，以研究語言和時(shí)序數(shù)據(jù)之間的潛在模式相似性，以及如何有效地將它們用于特定的時(shí)間序列和時(shí)空任務(wù)，如預(yù)測(cè)、異常檢測(cè)、分類等。02多模態(tài)模型的發(fā)展在現(xiàn)實(shí)世界的應(yīng)用中，許多時(shí)間序列和時(shí)空數(shù)據(jù)經(jīng)常附帶有補(bǔ)充信息，如文本描述。這在經(jīng)濟(jì)和金融領(lǐng)域等場(chǎng)景中尤其有用。例如，經(jīng)濟(jì)預(yù)測(cè)可以利用文本（如