《人工智能基礎(chǔ)與應(yīng)用》課件-任務(wù)10 認(rèn)知智能-機(jī)器如何懂語(yǔ)義、會(huì)思考_第1頁(yè)
《人工智能基礎(chǔ)與應(yīng)用》課件-任務(wù)10 認(rèn)知智能-機(jī)器如何懂語(yǔ)義、會(huì)思考_第2頁(yè)
《人工智能基礎(chǔ)與應(yīng)用》課件-任務(wù)10 認(rèn)知智能-機(jī)器如何懂語(yǔ)義、會(huì)思考_第3頁(yè)
《人工智能基礎(chǔ)與應(yīng)用》課件-任務(wù)10 認(rèn)知智能-機(jī)器如何懂語(yǔ)義、會(huì)思考_第4頁(yè)
《人工智能基礎(chǔ)與應(yīng)用》課件-任務(wù)10 認(rèn)知智能-機(jī)器如何懂語(yǔ)義、會(huì)思考_第5頁(yè)
已閱讀5頁(yè),還剩26頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

AI遇見(jiàn)應(yīng)用

興趣引領(lǐng)未來(lái)項(xiàng)目三認(rèn)知人工智能的應(yīng)用技術(shù)任務(wù)三認(rèn)知智能——機(jī)器如何懂語(yǔ)義、會(huì)思考人工智能基礎(chǔ)與應(yīng)用

項(xiàng)目三認(rèn)知人工智能的應(yīng)用技術(shù)目錄人工智能基礎(chǔ)與應(yīng)用

項(xiàng)目三認(rèn)知人工智能的應(yīng)用技術(shù)任務(wù)三認(rèn)知智能——機(jī)器如何懂語(yǔ)義、會(huì)思考教學(xué)目標(biāo)教學(xué)要求內(nèi)容概覽相關(guān)知識(shí)3.3.1

認(rèn)知自然語(yǔ)言處理及應(yīng)用 3.3.2

走近知識(shí)圖譜3.3.3

數(shù)據(jù)智能推動(dòng)人機(jī)協(xié)同3.3.4大語(yǔ)言模型從量變到質(zhì)變

練習(xí)與思考 【教學(xué)目標(biāo)】1.理解并掌握自然語(yǔ)言處理的含義及常見(jiàn)應(yīng)用2.初步學(xué)習(xí)知識(shí)圖譜的內(nèi)涵、體系及應(yīng)用3.了解數(shù)據(jù)智能的定義、發(fā)展目標(biāo)及數(shù)據(jù)中臺(tái)的意義4.了解大語(yǔ)言模型及其訓(xùn)練方式

什么是自然語(yǔ)言處理?(NaturalLanguageProcessing,簡(jiǎn)稱NLP)自然語(yǔ)言處理的目標(biāo)是彌補(bǔ)人類交流(自然語(yǔ)言)與計(jì)算機(jī)理解(機(jī)器語(yǔ)言)之間的差距,最終實(shí)現(xiàn)計(jì)算機(jī)在理解自然語(yǔ)言上像人類一樣智能,使計(jì)算機(jī)擁有能夠理解、處理、并使用人類語(yǔ)言的能力。一、認(rèn)知自然語(yǔ)言處理及應(yīng)用

自然語(yǔ)言處理的常見(jiàn)應(yīng)用“機(jī)器翻譯”讓世界變成真正意義上的地球村,因其效率高、成本低滿足了全球各國(guó)多語(yǔ)言信息快速翻譯的需求?!扒楦蟹治觥笨梢詮拇罅繑?shù)據(jù)中識(shí)別和吸收相關(guān)信息,而且能夠判斷出一段文字所表達(dá)觀點(diǎn)和態(tài)度的正負(fù)面性?!爸悄軉?wèn)答”能夠指利用計(jì)算機(jī)自動(dòng)回答用戶所提出的問(wèn)題?!皞€(gè)性化推薦”可以依據(jù)大數(shù)據(jù)和歷史行為記錄,學(xué)習(xí)用戶興趣愛(ài)好,實(shí)現(xiàn)對(duì)用戶意圖的精準(zhǔn)理解,實(shí)現(xiàn)精準(zhǔn)匹配?!拔谋痉诸悺蓖ㄟ^(guò)分析郵件中的文本內(nèi)容,能夠相對(duì)準(zhǔn)確地判斷郵件是否為垃圾郵件。收集郵件中的特征詞生成垃圾詞庫(kù)和非垃圾詞庫(kù)。一、認(rèn)知自然語(yǔ)言處理及應(yīng)用

自然語(yǔ)言處理的常見(jiàn)應(yīng)用電子商務(wù)背后的自然語(yǔ)言處理應(yīng)用分析用戶詞句:對(duì)客戶精準(zhǔn)理解個(gè)性化推薦:幫助選擇困難癥顧客情感分析:分析評(píng)論,幫助產(chǎn)品分析智能問(wèn)答:回復(fù)客戶問(wèn)題一、認(rèn)知自然語(yǔ)言處理及應(yīng)用

自然語(yǔ)言處理的發(fā)展趨勢(shì)未來(lái)自然語(yǔ)言處理將朝著兩個(gè)互補(bǔ)式的方向發(fā)展:“大規(guī)模語(yǔ)言數(shù)據(jù)的分析處理能力”和“人-機(jī)交互方式”。1.大規(guī)模語(yǔ)言數(shù)據(jù)的分析處理能力:指的是建立在自然語(yǔ)言處理上對(duì)語(yǔ)言信息進(jìn)行獲取、分析、推理和整合的能力。一、認(rèn)知自然語(yǔ)言處理及應(yīng)用以智能車載為例:在汽車使用、運(yùn)維保養(yǎng)時(shí),會(huì)產(chǎn)生大量的數(shù)據(jù)(車聯(lián)網(wǎng)數(shù)據(jù)、車主數(shù)據(jù)特征包括駕駛行為、周邊環(huán)境、違章數(shù)據(jù)、運(yùn)維保養(yǎng)數(shù)據(jù)、習(xí)慣偏好)。

自然語(yǔ)言處理的發(fā)展趨勢(shì)2.人-機(jī)交互方式:指的是將自然語(yǔ)言作為人與機(jī)器交互的自然接口和統(tǒng)一的交互方式。不同的機(jī)器,通常要使用不同的開發(fā)語(yǔ)言或方式,這嚴(yán)重影響了人們對(duì)機(jī)器的開發(fā)與使用。只有通過(guò)采用自然語(yǔ)言處理,才能讓機(jī)器具有理解人類語(yǔ)言的能力,從而實(shí)現(xiàn)建立在自然語(yǔ)言基礎(chǔ)上的人機(jī)交互??偨Y(jié):自然語(yǔ)言處理作為一門新興學(xué)科,其最終目標(biāo)是為了彌補(bǔ)人類交流(自然語(yǔ)言)與計(jì)算機(jī)理解(機(jī)器語(yǔ)言)之間的差距,最終實(shí)現(xiàn)計(jì)算機(jī)在理解自然語(yǔ)言上像人類一樣智能。一、認(rèn)知自然語(yǔ)言處理及應(yīng)用

什么是知識(shí)圖譜?知識(shí)圖譜(KnowledgeGraph)是一門典型的多學(xué)科融合,通過(guò)將應(yīng)用數(shù)學(xué)、圖形學(xué)、信息科學(xué)等學(xué)科理論、方法與計(jì)量學(xué)、統(tǒng)計(jì)學(xué)等方法結(jié)合,并利用可視化的圖譜形象地展示出來(lái)。其核心目標(biāo)是把復(fù)雜的知識(shí)領(lǐng)域通過(guò)數(shù)據(jù)挖掘、信息處理、知識(shí)計(jì)量和圖形繪制顯示出來(lái),揭示知識(shí)的動(dòng)態(tài)發(fā)展規(guī)律。知識(shí)圖譜,本質(zhì)上,是一種揭示實(shí)體之間關(guān)系的語(yǔ)義網(wǎng)絡(luò)。二、走近知識(shí)圖譜

什么是知識(shí)圖譜?在信息的基礎(chǔ)上,建立實(shí)體之間的聯(lián)系,就能行成“知識(shí)”。知識(shí)圖譜是由一條條知識(shí)組成,每條知識(shí)表示為一個(gè)SPO三元組(Subject-Predicate-Object主謂賓,用來(lái)表示事物的一種方法和形式),而這個(gè)三元組集合可以抽象為一張圖。大量與之相關(guān)的實(shí)體信息會(huì)不斷關(guān)聯(lián)并結(jié)構(gòu)化地呈現(xiàn)出來(lái),實(shí)現(xiàn)了數(shù)據(jù)圖譜化。二、走近知識(shí)圖譜本體(Ontology):實(shí)體類型的分類體系(如“人物”“地點(diǎn)”“事件”)。關(guān)系模式:定義實(shí)體間允許的關(guān)系類型(如“人物-工作于-公司”)。約束規(guī)則:數(shù)據(jù)類型、值域、唯一性等約束(如“出生日期必須是日期類型”)

知識(shí)圖譜的體系架構(gòu)知識(shí)圖譜的體系架構(gòu)是指其構(gòu)建自身模式的結(jié)構(gòu)二、走近知識(shí)圖譜

知識(shí)圖譜的體系架構(gòu)共分為三個(gè)步驟:知識(shí)抽?。簭囊恍┕_的半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)中,抽取出可用的知識(shí)單元。知識(shí)單元主要包括實(shí)體抽取、關(guān)系抽取以及屬性抽取3個(gè)知識(shí)要素。知識(shí)表示:把知識(shí)客體中的知識(shí)因子與知識(shí)關(guān)聯(lián)起來(lái),便于人們識(shí)別和理解知識(shí),分為主觀知識(shí)表示和客觀知識(shí)表示兩種。知識(shí)融合:是高層次的知識(shí)組織,使來(lái)自不同知識(shí)源的知識(shí)在同一框架規(guī)范下進(jìn)行組織,實(shí)現(xiàn)數(shù)據(jù)、信息、經(jīng)驗(yàn)以及人的思想的融合,形成高質(zhì)量的知識(shí)庫(kù)。二、走近知識(shí)圖譜

知識(shí)圖譜的應(yīng)用包括:智能搜索、社交網(wǎng)絡(luò),網(wǎng)上購(gòu)物、新聞查詢等,知識(shí)圖譜已經(jīng)在我們的生活中、垂直行業(yè)應(yīng)用中發(fā)揮著日益重要的作用。二、走近知識(shí)圖譜

大數(shù)據(jù)的新篇章——數(shù)據(jù)智能數(shù)據(jù)智能的目標(biāo)是讓數(shù)據(jù)驅(qū)動(dòng)決策,讓機(jī)器具備推理等認(rèn)知能力。只有業(yè)務(wù)數(shù)據(jù)化進(jìn)程的完成,才能真正進(jìn)入到業(yè)務(wù)智能化,依靠數(shù)據(jù)去改變業(yè)務(wù)、指導(dǎo)決策。三、數(shù)據(jù)智能推動(dòng)人機(jī)協(xié)同大數(shù)據(jù)行業(yè)發(fā)展階段

大數(shù)據(jù)的新篇章——數(shù)據(jù)智能讓機(jī)器具備推理能力,意味著自然語(yǔ)言處理、知識(shí)圖譜等認(rèn)知技術(shù)需要不斷成熟。而數(shù)據(jù)驅(qū)動(dòng)決策、數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展的新需求,標(biāo)志著智能數(shù)據(jù)時(shí)代的興起。三、數(shù)據(jù)智能推動(dòng)人機(jī)協(xié)同不同階段大數(shù)據(jù)與業(yè)務(wù)的關(guān)系

數(shù)據(jù)智能的定義及數(shù)據(jù)中臺(tái)的價(jià)值數(shù)據(jù)智能核心分為兩個(gè)細(xì)分領(lǐng)域:中臺(tái)和應(yīng)用場(chǎng)景。其中,中臺(tái)包含技術(shù)中臺(tái)、數(shù)據(jù)中臺(tái)和業(yè)務(wù)中臺(tái),應(yīng)用場(chǎng)景則按照不同行業(yè)進(jìn)行劃分。數(shù)字化已不可抵擋,在企業(yè)數(shù)字化轉(zhuǎn)型進(jìn)程中,傳統(tǒng)企業(yè)需要具備互聯(lián)網(wǎng)公司那樣快速迭代升級(jí)的能力,因此,數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展的中臺(tái)建設(shè)至關(guān)重要。數(shù)據(jù)中臺(tái)的價(jià)值是將數(shù)據(jù)資產(chǎn)化,實(shí)現(xiàn)不同體系數(shù)據(jù)的打通,為下一步數(shù)據(jù)應(yīng)用打好基礎(chǔ)。數(shù)據(jù)中臺(tái)涵蓋了從數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析等環(huán)節(jié)的所有工具及平臺(tái),包括基礎(chǔ)平臺(tái)、用戶行為分析、數(shù)據(jù)報(bào)表可視化、數(shù)據(jù)科學(xué)平臺(tái)、自然語(yǔ)言處理和知識(shí)圖譜等諸多技術(shù)體系。三、數(shù)據(jù)智能推動(dòng)人機(jī)協(xié)同

數(shù)據(jù)智能的定義及數(shù)據(jù)中臺(tái)的價(jià)值基于數(shù)據(jù)中臺(tái)有三種應(yīng)用方式:數(shù)據(jù)集:主要是數(shù)據(jù)標(biāo)簽、用戶畫像等;數(shù)據(jù)模型:融合數(shù)據(jù)和算法,比如銷量預(yù)測(cè)、風(fēng)控建模等;數(shù)據(jù)應(yīng)用:將數(shù)據(jù)能力和軟件能力封裝,形成最終數(shù)據(jù)產(chǎn)品。而業(yè)務(wù)中臺(tái)則是指基于數(shù)據(jù)和技術(shù),結(jié)合行業(yè)應(yīng)用場(chǎng)景,從行業(yè)應(yīng)用切入,在大量服務(wù)垂直行業(yè)客戶,掌握大量場(chǎng)景需求后,逐步形成業(yè)務(wù)中臺(tái)能力??偨Y(jié):未來(lái)身處競(jìng)爭(zhēng)激烈的智能數(shù)據(jù)時(shí)代,誰(shuí)能更高效利用數(shù)據(jù),誰(shuí)才能贏得最后的果實(shí)與勝利,傳統(tǒng)產(chǎn)業(yè)數(shù)字化已在風(fēng)口,已在路上。而認(rèn)知智能的突破,一定不是由單個(gè)技術(shù)所完成,而是需要結(jié)合多種不同的技術(shù)持續(xù)完善和發(fā)展。三、數(shù)據(jù)智能推動(dòng)人機(jī)協(xié)同數(shù)據(jù)標(biāo)簽與用戶畫像什么是大語(yǔ)言模型?大語(yǔ)言模型(LargeLanguageModel,LLM)是一種人工智能模型,通?;谏疃葘W(xué)習(xí)架構(gòu),旨在理解和生成人類語(yǔ)言。大語(yǔ)言模型在大量文本數(shù)據(jù)上進(jìn)行訓(xùn)練,可執(zhí)行廣泛的任務(wù),包括文本總結(jié)、翻譯、情感分析等。其特點(diǎn)是規(guī)模龐大,包含數(shù)十億的參數(shù),能幫助機(jī)器學(xué)習(xí)文本數(shù)據(jù)中的復(fù)雜模式,有助于在各種自然語(yǔ)言處理任務(wù)上取得優(yōu)異的表現(xiàn)。ChatGPT的爆紅出圈吸引了更多人對(duì)于大語(yǔ)言模型的發(fā)展趨勢(shì)和現(xiàn)實(shí)應(yīng)用的關(guān)注。四、大語(yǔ)言模型從量變到質(zhì)變什么是大語(yǔ)言模型?常見(jiàn)的大語(yǔ)言模型有GPT-3(OpenAI):GPT-3(Generative

Pretrained

Transformer

3)是最著名的大語(yǔ)言模型之一,擁有1750億個(gè)參數(shù)。該模型在文本生成、翻譯和其他任務(wù)中表現(xiàn)出顯著的性能,在全球范圍內(nèi)引起了熱烈的反響,目前OpenAI已迭代到GPT-4版本。ERNIE3.0文心大模型(百度):百度推出的大語(yǔ)言模型ERNIE3.0首次在百億級(jí)和千億級(jí)預(yù)訓(xùn)練模型中引入大規(guī)模知識(shí)圖譜,提出了海量無(wú)監(jiān)督文本與大規(guī)模知識(shí)圖譜的平行預(yù)訓(xùn)練方法。Deepseek(深度求索):DeepSeek-R1:千億參數(shù)級(jí)對(duì)話模型,支持復(fù)雜邏輯推理與長(zhǎng)文本理解,中文表現(xiàn)對(duì)標(biāo)國(guó)際頂尖模型。DeepSeek-MoE:基于混合專家(MixtureofExperts)架構(gòu)的開源模型,兼顧性能與效率。DeepSeek-V2:輕量化模型,在同等參數(shù)量下推理速度提升30%,適合企業(yè)級(jí)部署。四、大語(yǔ)言模型從量變到質(zhì)變什么是大語(yǔ)言模型?大語(yǔ)言模型的快速發(fā)展從人工智能的發(fā)展歷程來(lái)看,模型和算法是其不斷成長(zhǎng)的核心驅(qū)動(dòng)力。10年前語(yǔ)言模型是自然語(yǔ)言處理的某個(gè)細(xì)分方向,并不為大眾所熟知,而ChatGPT的廣泛應(yīng)用則讓更多人體會(huì)到大語(yǔ)言模型的快速發(fā)展。四、大語(yǔ)言模型從量變到質(zhì)變ChatGPT發(fā)展歷程什么是大語(yǔ)言模型?大語(yǔ)言模型的快速發(fā)展2018年第一代GPT并沒(méi)有引起廣泛關(guān)注。但到了2020年5月,GPT-3一經(jīng)推出,情況就發(fā)生了非常大的變化,GPT-3的參數(shù)值從GPT-2的170億躍升到1750億,參數(shù)數(shù)量級(jí)是GPT-2的10倍以上,性能也有大幅提升,從而引起全球廣泛關(guān)注。大語(yǔ)言模型經(jīng)過(guò)大量的學(xué)習(xí),實(shí)現(xiàn)了從量變到質(zhì)變的飛躍,即當(dāng)數(shù)據(jù)量超過(guò)某個(gè)臨界點(diǎn)時(shí),模型實(shí)現(xiàn)顯著的性能提升,并出現(xiàn)了小模型中不存在的能力,如上下文學(xué)習(xí)能力等。因此,當(dāng)我們應(yīng)用GPT-3及GPT-4對(duì)話時(shí),越來(lái)越被其強(qiáng)大的互動(dòng)能力和解決問(wèn)題的能力所震驚,越來(lái)越感覺(jué)不到在和一個(gè)機(jī)器對(duì)話。這就是大語(yǔ)言模型快速發(fā)展所帶來(lái)的質(zhì)變。四、大語(yǔ)言模型從量變到質(zhì)變走近ChatGPTChatGPT是一個(gè)由OpenAI開發(fā)的大語(yǔ)言模型,它使用的是自然語(yǔ)言處理和深度學(xué)習(xí)技術(shù),可以理解語(yǔ)言內(nèi)容和語(yǔ)境,能夠基于在預(yù)訓(xùn)練階段所見(jiàn)的模式和統(tǒng)計(jì)規(guī)律來(lái)生成回答,還能根據(jù)聊天的上下文進(jìn)行互動(dòng),真正像人類一樣聊天交流,另外還能完成撰寫郵件、視頻腳本、文案、翻譯、代碼、論文等任務(wù)。GPT的全稱是Generative

Pre-trained

Transformer,從名稱可以看出,它是一種生成模型,擅長(zhǎng)生成輸出;它是預(yù)訓(xùn)練的,這意味著它已經(jīng)從大量文本數(shù)據(jù)中學(xué)習(xí)到了知識(shí),是Transformer的一種類型。因此,在了解GPT的原理之前,首先要認(rèn)識(shí)Transformer。四、大語(yǔ)言模型從量變到質(zhì)變走近ChatGPTTransformer架構(gòu)Transformer架構(gòu)是GPT的基礎(chǔ)。它是一種神經(jīng)網(wǎng)絡(luò),類似于人腦中的神經(jīng)元。Transformer能夠通過(guò)注意力機(jī)制和自注意力機(jī)制更好地理解文本、語(yǔ)音或音樂(lè)等順序數(shù)據(jù)的上下文。注意力機(jī)制允許模型通過(guò)學(xué)習(xí)元素之間的相關(guān)性或相似性(通常由數(shù)字向量表示)來(lái)關(guān)注輸入和輸出中最相關(guān)的部分。如果它關(guān)注的是同一序列,則稱為自注意力。四、大語(yǔ)言模型從量變到質(zhì)變組件功能嵌入(Embedding)位置編碼(PositionalEncoding)將單詞和它們的位置轉(zhuǎn)換為數(shù)字向量編碼器(Encoder)從輸入序列提取特征并分析其含義和上下文。它為每個(gè)輸入標(biāo)記輸出一個(gè)隱藏狀態(tài)的矩陣,以傳遞給解碼器解碼器(Decoder)根據(jù)編碼器和先前的輸入標(biāo)記生成輸出序列線性層和Softmax層將數(shù)字向量轉(zhuǎn)換為輸出單詞的概率分布表3-4Transformer組成走近ChatGPT從Transformer到GPT、GPT-2、GPT-3、GPT-4作為一種生成模型,GPT使用了Transformer架構(gòu)中的解碼器部分,而解碼器負(fù)責(zé)預(yù)測(cè)序列中的下一個(gè)詞。GPT通過(guò)使用先前生成的結(jié)果作為輸入,反復(fù)執(zhí)行此過(guò)程以生成較長(zhǎng)的文本,即自回歸。在訓(xùn)練第一個(gè)版本的GPT時(shí),研究人員使用了數(shù)據(jù)庫(kù)的無(wú)監(jiān)督預(yù)訓(xùn)練,數(shù)據(jù)庫(kù)中包含超過(guò)7000本未經(jīng)出版的書籍。在預(yù)訓(xùn)練的基礎(chǔ)上,針對(duì)特定任務(wù)使用有監(jiān)督的微調(diào),會(huì)向人工智能展示請(qǐng)求和正確答案的示例,并要求人工智能從這些示例中學(xué)習(xí)。在GPT-2中,研究人員擴(kuò)大了模型(15億個(gè)參數(shù))和給模型提供的語(yǔ)料庫(kù)的規(guī)模,在無(wú)監(jiān)督預(yù)訓(xùn)練中使用WebText,這是數(shù)百萬(wàn)個(gè)網(wǎng)頁(yè)的集合。在GPT-3中,模型進(jìn)一步擴(kuò)展,規(guī)模達(dá)到1750億個(gè)參數(shù),并使用了來(lái)自網(wǎng)絡(luò)、書籍和維基百科的數(shù)百億個(gè)單詞構(gòu)成的龐大語(yǔ)料庫(kù)。四、大語(yǔ)言模型從量變到質(zhì)變大語(yǔ)言模型的訓(xùn)練方式訓(xùn)練大語(yǔ)言模型需要向其提供大量的文本數(shù)據(jù),模型利用這些數(shù)據(jù)來(lái)學(xué)習(xí)人類語(yǔ)言的結(jié)構(gòu)、語(yǔ)法和語(yǔ)義。該過(guò)程通常使用自我監(jiān)督學(xué)習(xí)的技術(shù)實(shí)現(xiàn)無(wú)監(jiān)督學(xué)習(xí)。訓(xùn)練過(guò)程包括兩個(gè)主要步驟:預(yù)訓(xùn)練(Pre-training)和微調(diào)(Fine-tuning):在預(yù)訓(xùn)練階段,模型從一個(gè)巨大的、多樣化的數(shù)據(jù)集中學(xué)習(xí),通常包含來(lái)自不同來(lái)源的數(shù)十億詞匯,如網(wǎng)站、書籍、文章等。這個(gè)階段允許模型學(xué)習(xí)一般的語(yǔ)言模式和表征。在微調(diào)階段,模型在與目標(biāo)任務(wù)或領(lǐng)域相關(guān)的更具體、更小的數(shù)據(jù)集上進(jìn)一步訓(xùn)練。這有助于模型微調(diào)其理解,并適應(yīng)任務(wù)的特殊要求。四、大語(yǔ)言模型從量變到質(zhì)變大語(yǔ)言模型的訓(xùn)練方式通過(guò)訓(xùn)練,大語(yǔ)言模型涌現(xiàn)的能力如下:上下文學(xué)習(xí)。以GPT-3為例,其正式引入了上下文學(xué)習(xí)能力。假設(shè)語(yǔ)言模型已提供自然語(yǔ)言指令和多個(gè)任務(wù)描述,它可以通過(guò)完成輸入文本的詞序列來(lái)生成測(cè)試實(shí)例的預(yù)期輸出,而無(wú)需額外的訓(xùn)練或梯度更新。指令遵循。通過(guò)對(duì)自然語(yǔ)言描述(即指令)格式化的多任務(wù)數(shù)據(jù)集的混合進(jìn)行微調(diào),大語(yǔ)言模型在微小的任務(wù)上表現(xiàn)良好,這些任務(wù)也以指令的形式所描述。循序漸進(jìn)的推理。小語(yǔ)言模型通常很難解決涉及多個(gè)推

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論