大語言模型通識微課課件：大模型預(yù)訓(xùn)練的數(shù)據(jù)來源

大語言模型通識微課

大模型預(yù)訓(xùn)練的數(shù)據(jù)來源一般情況下用于預(yù)訓(xùn)練的都是大模型，具備復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)，眾多參數(shù)量，以及在足夠大的數(shù)據(jù)集下進(jìn)行訓(xùn)練而產(chǎn)生的模型。在自然語言處理領(lǐng)域，預(yù)訓(xùn)練模型往往是語言模型，其訓(xùn)練是無監(jiān)督的，可以獲得大規(guī)模語料。同時，語言模型又是許多典型自然語言處理任務(wù)的基礎(chǔ)，如機(jī)器翻譯、文本生成、閱讀理解等。

圖5-1從語言模型嵌入微課5.1大模型預(yù)訓(xùn)練的數(shù)據(jù)（1）在RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）模型中，每一個詞嵌入的輸出是要參考前面已經(jīng)輸入過的數(shù)據(jù)，所以叫做上下文化詞嵌入。（2）不止要考慮每個詞嵌入前文，同時還要考慮后文，所以再從句尾向句首訓(xùn)練。（3）使用多層隱藏層后，最終的詞嵌入=該詞所有層的詞嵌入進(jìn)行加權(quán)平均。微課5.1大模型預(yù)訓(xùn)練的數(shù)據(jù)訓(xùn)練大語言模型需要數(shù)萬億的各類型數(shù)據(jù)。如何構(gòu)造海量“高質(zhì)量”數(shù)據(jù)對于大模型的訓(xùn)練至關(guān)重要。研究表明，預(yù)訓(xùn)練數(shù)據(jù)是影響大模型效果及樣本泛化能力的關(guān)鍵因素之一。大模型采用的預(yù)訓(xùn)練數(shù)據(jù)需要覆蓋盡可能多的領(lǐng)域、語言、文化和視角，通常來自網(wǎng)絡(luò)、圖書、論文、百科和社交媒體等。微課5.1大模型預(yù)訓(xùn)練的數(shù)據(jù)OpenAI訓(xùn)練GPT-3使用的主要數(shù)據(jù)來源，包含經(jīng)過過濾的CommonCravwl、WebText2、Books1、Books2及英文維基百科等數(shù)據(jù)集。通過詞元方式對數(shù)據(jù)進(jìn)行切分。為了保證模型使用更多高質(zhì)量數(shù)據(jù)進(jìn)行訓(xùn)練，在GPT-3訓(xùn)練時，根據(jù)數(shù)據(jù)來源的不同，設(shè)置不同的采樣權(quán)重。Meta公司研究人員在訓(xùn)練OPT模型時，采用了混合RoBERTa、Pile和PushShift.ioReddit數(shù)據(jù)的方法。微課5.1大模型預(yù)訓(xùn)練的數(shù)據(jù)大模型預(yù)訓(xùn)練所需的數(shù)據(jù)來源大體上分為通用數(shù)據(jù)和專業(yè)數(shù)據(jù)兩大類。通用數(shù)據(jù)在大模型訓(xùn)練數(shù)據(jù)中占比非常高，主要包括網(wǎng)頁、圖書、新聞、對話文本等不同類型的數(shù)據(jù)，具有規(guī)模大、多樣性和易獲取等特點，因此支持大模型的語言建模和泛化能力。專業(yè)數(shù)據(jù)包括多語言數(shù)據(jù)、科學(xué)文本數(shù)據(jù)、代碼及領(lǐng)域特有資料等。雖然專業(yè)數(shù)據(jù)在大模型中所占比例通常較低，但是其對改進(jìn)大模型在下游任務(wù)上的特定解決能力有著非常重要的作用。專業(yè)數(shù)據(jù)種類非常多，大模型使用的專業(yè)數(shù)據(jù)主要有三類，包括多語言數(shù)據(jù)、科學(xué)文本數(shù)