《數(shù)智化技術(shù)應(yīng)用與創(chuàng)新》課件 第5、6章 應(yīng)用大語言模型；走進(jìn)多模態(tài)大模型新世界

大語言模型學(xué)習(xí)目標(biāo)概覽數(shù)智化技術(shù)應(yīng)用與創(chuàng)新5.1大語言模型原理5.1Principlesoflargelanguagemodels5.2大語言模型如何解決行業(yè)問題5.2Howlargelanguagemodelssolveindustryproblems5.3大語言模型如何影響生活5.3Howlargelanguagemodelsimpactourlives5.4DeepSeek進(jìn)階實(shí)操5.4AdvancedpracticaloperationsofDeepSeekCONTENT目錄5.5典型案例-中國首個(gè)孤獨(dú)癥垂直類大語言模型5.5Atypicalcase:China'sfirstverticallargelanguagemodelforautism知識(shí)目標(biāo)PART01基本概念與原理0102大語言模型定義定義與基本概念，對(duì)比傳統(tǒng)模型基本原理訓(xùn)練過程、模型架構(gòu)、算法特點(diǎn)03優(yōu)勢(shì)差異大語言模型相較于傳統(tǒng)模型的優(yōu)勢(shì)不同領(lǐng)域應(yīng)用，實(shí)際效果展示應(yīng)用案例應(yīng)用步驟、效果評(píng)估、實(shí)踐案例解決步驟案例分析具體案例分析應(yīng)用效果應(yīng)用案例與解決步驟技巧分解復(fù)雜任務(wù)，提高交互效率分解復(fù)雜任務(wù)方法添加語境，提升模型理解力添加相關(guān)語境給出明確指令，確保模型準(zhǔn)確回應(yīng)明確指令技巧有效交互方法能力目標(biāo)PART02選擇典型案例，評(píng)估效果與局限案例選擇與分析分享討論實(shí)踐案例，加深理解實(shí)踐案例討論0201全面評(píng)估案例效果，識(shí)別應(yīng)用局限效果與局限性評(píng)估03分析應(yīng)用案例采用策略確保方案有效性和效率分享優(yōu)化方案設(shè)計(jì)的成功案例針對(duì)具體問題，設(shè)計(jì)優(yōu)化應(yīng)用方案針對(duì)問題設(shè)計(jì)思路確保有效性策略案例分享設(shè)計(jì)優(yōu)化方案掌握模型生成內(nèi)容的基本步驟基本操作步驟運(yùn)用技巧生成高質(zhì)量文本內(nèi)容高質(zhì)量文本技巧掌握解答復(fù)雜問題的方法與技巧復(fù)雜問題解答方法操作模型生成內(nèi)容010203實(shí)驗(yàn)設(shè)計(jì)方法設(shè)計(jì)合理的實(shí)驗(yàn)驗(yàn)證模型表現(xiàn)根據(jù)結(jié)果調(diào)整優(yōu)化根據(jù)實(shí)驗(yàn)結(jié)果調(diào)整方案，持續(xù)優(yōu)化關(guān)注技術(shù)發(fā)展趨勢(shì)關(guān)注新興大語言模型，分析技術(shù)趨勢(shì)實(shí)驗(yàn)驗(yàn)證與趨勢(shì)關(guān)注素質(zhì)目標(biāo)PART03推動(dòng)技術(shù)邊界，拓展應(yīng)用領(lǐng)域探索新應(yīng)用意義持續(xù)研究，實(shí)踐驗(yàn)證，優(yōu)化模型推動(dòng)技術(shù)發(fā)展方法學(xué)習(xí)成功案例，激發(fā)創(chuàng)新思維創(chuàng)新案例分享010203技術(shù)探索與創(chuàng)新跨學(xué)科融合思維結(jié)合教育學(xué)、心理學(xué)等領(lǐng)域跨學(xué)科結(jié)合案例促進(jìn)技術(shù)創(chuàng)新，解決復(fù)雜問題融合思維重要性與其他學(xué)科共同研究，提升模型性能跨學(xué)科研究案例面對(duì)復(fù)雜問題策略分解問題，逐步解決靈活運(yùn)用工具結(jié)合多種工具，提高解決效率提出有效解決方案基于模型分析，提出針對(duì)性建議問題解決與決策確保技術(shù)安全，服務(wù)社會(huì)發(fā)展社會(huì)責(zé)任重要性遵循數(shù)據(jù)隱私，避免偏見歧視倫理規(guī)范遵守確保技術(shù)公正，維護(hù)公共利益技術(shù)應(yīng)用道德標(biāo)準(zhǔn)社會(huì)責(zé)任與倫理5.1大語言模型的原理大語言模型概述presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield語言模型基礎(chǔ)presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield大語言模型原理presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield大語言模型應(yīng)用前景presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield目錄大語言模型概述PART01由深度神經(jīng)網(wǎng)絡(luò)構(gòu)建，學(xué)習(xí)語言規(guī)則生成文本符合語法和語義要求生成自然語言文本，學(xué)習(xí)語言概率分布深度學(xué)習(xí)NLP模型基于大規(guī)模文本數(shù)據(jù)符合語法語義規(guī)則大語言模型定義對(duì)自然語言處理有重要影響NLP領(lǐng)域意義重大應(yīng)用于機(jī)器翻譯、文本摘要等多任務(wù)應(yīng)用廣泛0201生成對(duì)話系統(tǒng)、智能寫作助手等智能助手工具03大語言模型重要性語言模型基礎(chǔ)PART02估計(jì)句子或文本序列概率自然語言處理基礎(chǔ)在自然語言中的出現(xiàn)頻率計(jì)算句子出現(xiàn)概率由深度神經(jīng)網(wǎng)絡(luò)構(gòu)建學(xué)習(xí)語言分布基于深度學(xué)習(xí)語言模型定義應(yīng)用于翻譯、識(shí)別任務(wù)機(jī)器翻譯語音識(shí)別根據(jù)上下文生成符合語法文本文本生成NLP多個(gè)領(lǐng)域在自然語言處理中廣泛應(yīng)用語言模型應(yīng)用大語言模型原理PART03數(shù)據(jù)預(yù)處理大規(guī)模文本語料庫訓(xùn)練數(shù)據(jù)分割、分詞、數(shù)值表示預(yù)處理步驟批量數(shù)據(jù)組織組織數(shù)據(jù)循環(huán)神經(jīng)網(wǎng)絡(luò)RNN基本架構(gòu)記憶之前詞語信息RNN層功能生成下一個(gè)詞語概率輸出層功能模型架構(gòu)介紹訓(xùn)練過程解析0102前向傳播生成詞語概率分布反向傳播更新模型參數(shù)03訓(xùn)練周期多個(gè)周期，含多個(gè)批次文本生成方式采樣下一個(gè)詞語溫度參數(shù)控制生成文本多樣性生成結(jié)果符合語法和語義規(guī)則文本生成方法大語言模型應(yīng)用前景PART04010203NLP任務(wù)強(qiáng)大工具大語言模型提升任務(wù)性能模型規(guī)模擴(kuò)大模型規(guī)模增大改進(jìn)應(yīng)用前景訓(xùn)練技術(shù)改進(jìn)訓(xùn)練技術(shù)提升模型性能NLP領(lǐng)域進(jìn)展具體應(yīng)用任務(wù)對(duì)話生成模型為對(duì)話生成提供工具機(jī)器翻譯大語言模型助力翻譯任務(wù)01025.2大語言模型如何解決行業(yè)問題大語言模型基本概念與特點(diǎn)presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield大語言模型的實(shí)際應(yīng)用presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield知識(shí)問答的具體場(chǎng)景presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield應(yīng)用中的注意事項(xiàng)presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield目錄大語言模型基本概念與特點(diǎn)PART01基本概念0102深度學(xué)習(xí)模型基于深度學(xué)習(xí)，學(xué)習(xí)語言規(guī)律海量文本學(xué)習(xí)通過海量文本數(shù)據(jù)學(xué)習(xí)語言結(jié)構(gòu)03復(fù)雜規(guī)律掌握掌握語言的復(fù)雜規(guī)律和結(jié)構(gòu)依賴海量數(shù)據(jù)進(jìn)行學(xué)習(xí)和訓(xùn)練海量數(shù)據(jù)驅(qū)動(dòng)具有強(qiáng)大的語言表達(dá)和理解能力強(qiáng)大表達(dá)能力跨任務(wù)能力能夠跨越多個(gè)任務(wù)進(jìn)行應(yīng)用和處理特點(diǎn)概述大語言模型的實(shí)際應(yīng)用PART02智能客服應(yīng)用精準(zhǔn)識(shí)別用戶意圖，提升服務(wù)效率意圖識(shí)別提供即時(shí)、準(zhǔn)確的回答，增強(qiáng)用戶體驗(yàn)問答系統(tǒng)分析用戶情緒，優(yōu)化客服策略情感分析快速提取新聞報(bào)道、科技文獻(xiàn)關(guān)鍵信息關(guān)鍵信息提取縮短閱讀時(shí)間，提升信息傳播效率提高傳播效率0201摘要簡潔明了，提升讀者閱讀體驗(yàn)優(yōu)化閱讀體驗(yàn)03文本摘要應(yīng)用基于用戶興趣，智能推薦新聞內(nèi)容實(shí)現(xiàn)新聞內(nèi)容的實(shí)時(shí)多語言翻譯自動(dòng)生成新聞?wù)?，提高新聞產(chǎn)出速度自動(dòng)新聞生成智能新聞推薦實(shí)時(shí)新聞翻譯內(nèi)容創(chuàng)作應(yīng)用提供精準(zhǔn)、相關(guān)的搜索結(jié)果及詳細(xì)解釋搜索引擎優(yōu)化提供天氣、新聞、股票等知識(shí)問答服務(wù)智能助手服務(wù)解答學(xué)科問題，提供個(gè)性化學(xué)習(xí)資源推薦教育領(lǐng)域應(yīng)用知識(shí)問答應(yīng)用知識(shí)問答的具體場(chǎng)景PART03提供精準(zhǔn)、相關(guān)的搜索結(jié)果精準(zhǔn)搜索結(jié)果生成詳細(xì)的解釋和說明詳細(xì)解釋說明在搜索引擎中集成知識(shí)問答功能知識(shí)問答服務(wù)搜索引擎場(chǎng)景知識(shí)問答服務(wù)提供各種知識(shí)問答服務(wù)實(shí)用功能查詢包括查詢天氣、新聞、股票等跨場(chǎng)景應(yīng)用在不同場(chǎng)景下提供智能助手服務(wù)智能助手場(chǎng)景010203學(xué)科問題解答幫助學(xué)生解答各類學(xué)科問題個(gè)性化學(xué)習(xí)提供個(gè)性化的學(xué)習(xí)計(jì)劃和資源推薦輔助教學(xué)工具作為教師輔助教學(xué)的智能工具教育領(lǐng)域場(chǎng)景應(yīng)用中的注意事項(xiàng)PART04確保訓(xùn)練數(shù)據(jù)準(zhǔn)確無誤數(shù)據(jù)準(zhǔn)確性數(shù)據(jù)需覆蓋廣泛場(chǎng)景和語境數(shù)據(jù)多樣性海量數(shù)據(jù)驅(qū)動(dòng)模型效果數(shù)據(jù)量充足數(shù)據(jù)質(zhì)量與數(shù)量模型選擇與調(diào)整根據(jù)任務(wù)需求選合適模型模型選擇調(diào)整參數(shù)優(yōu)化模型性能參數(shù)設(shè)置集成部署后需不斷更新迭代持續(xù)優(yōu)化確保模型使用不侵犯隱私用戶隱私保護(hù)模型應(yīng)用需遵守相關(guān)法律法規(guī)合法合規(guī)使用避免模型生成內(nèi)容侵犯版權(quán)版權(quán)問題010203倫理與法律考量5.3大語言模型如何影響生活項(xiàng)目背景與挑戰(zhàn)presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield解決方案與實(shí)施presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield測(cè)試驗(yàn)證與項(xiàng)目成果presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield啟示與展望presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield目錄項(xiàng)目背景與挑戰(zhàn)PART01市民熱線事件概況0102熱線事件數(shù)量每月處理9萬余起事件事件處理流程坐席人員登記、分撥和跟進(jìn)03事件分類體系三級(jí)分類近600種準(zhǔn)確性不足70%首次分類準(zhǔn)確性低導(dǎo)致處理延遲錯(cuò)誤分類影響0201高峰時(shí)段事件易積壓手工分撥問題03面臨的挑戰(zhàn)分析解決方案與實(shí)施PART02利用LLM的NLP能力采用預(yù)訓(xùn)練LLM提高首次分類準(zhǔn)確性通過歷史數(shù)據(jù)微調(diào)提升運(yùn)營效率減少人工依賴采用大語言模型LLM對(duì)ChatGLM-6B模型微調(diào)使用LoRA技術(shù)微調(diào)首次分類準(zhǔn)確性提高20%以上分類準(zhǔn)確性提升分撥速度加快分撥速度縮短到一分鐘以內(nèi)使用LoRA技術(shù)微調(diào)模型數(shù)據(jù)探索與準(zhǔn)備過程熱線系統(tǒng)歷史數(shù)據(jù)數(shù)據(jù)來源熱線系統(tǒng)脫敏、清洗、分布調(diào)整數(shù)據(jù)預(yù)處理步驟根據(jù)標(biāo)題和內(nèi)容分類任務(wù)定義單卡訓(xùn)練環(huán)境訓(xùn)練環(huán)境單卡模式Lora_rank:16，學(xué)習(xí)率:1e-4主要參數(shù)設(shè)置每個(gè)迭代8~12小時(shí)訓(xùn)練時(shí)間微調(diào)訓(xùn)練與參數(shù)設(shè)置測(cè)試驗(yàn)證與項(xiàng)目成果PART03測(cè)試方法與結(jié)果結(jié)合LoRA權(quán)重測(cè)試數(shù)據(jù)集測(cè)試方法事件能夠被準(zhǔn)確分類測(cè)試結(jié)果分撥速度縮短到一分鐘以內(nèi)效率提升準(zhǔn)確性提升首次分撥準(zhǔn)確性提高20%以上減少人工依賴減少對(duì)人工的依賴，提升運(yùn)營效率模型適應(yīng)性驗(yàn)證了預(yù)訓(xùn)練模型的適應(yīng)性，低資源微調(diào)即可適應(yīng)項(xiàng)目成果展示啟示與展望PART04LLM實(shí)現(xiàn)情感識(shí)別，增強(qiáng)交互體驗(yàn)LLM用于數(shù)據(jù)標(biāo)簽與格式化文本生成，提高效率利用LLM分析客戶評(píng)價(jià)，提升服務(wù)質(zhì)量客戶評(píng)價(jià)分析情感識(shí)別數(shù)據(jù)標(biāo)簽與文本生成LLM的廣泛應(yīng)用未來優(yōu)化方向態(tài)勢(shì)感知利用LLM實(shí)現(xiàn)態(tài)勢(shì)感知，增強(qiáng)事件處理能力精確語義檢索發(fā)展精確語義檢索，提升信息獲取效率0102結(jié)論P(yáng)ART0501LLM成功應(yīng)用案例市民熱線事件分撥提升02分類準(zhǔn)確性提升首次分撥準(zhǔn)確性提高20%以上03處理效率提高分撥速度縮短到一分鐘以內(nèi)04減少人工依賴顯著提升運(yùn)營效率，減少人工應(yīng)用總結(jié)5.4DeepSeek進(jìn)階實(shí)操大語言模型使用技巧PART01先字面翻譯再意譯逐步完成提高任務(wù)完成準(zhǔn)確性將復(fù)雜任務(wù)拆分成子任務(wù)逐步完成拆分任務(wù)步驟示例翻譯任務(wù)提高準(zhǔn)確性分解復(fù)雜任務(wù)提供具體背景信息幫助模型生成準(zhǔn)確回答提供背景信息起草簡歷時(shí)提供職位需求和個(gè)人情況示例求職簡歷增強(qiáng)模型對(duì)任務(wù)的理解力增強(qiáng)理解力添加相關(guān)語境具體說明任務(wù)要求避免模糊指令具體說明要求修改時(shí)指明風(fēng)格和目標(biāo)受眾示例修改文章減少因指令模糊導(dǎo)致的誤解減少誤解給出明確指令讓模型提供多個(gè)版本選擇最符合需求的答案要求多個(gè)版本生成內(nèi)容時(shí)要求多種風(fēng)格或版本示例生成內(nèi)容0201增加任務(wù)完成的靈活性和多樣性增加靈活性03提供多種選項(xiàng)設(shè)定特定角色0102扮演特定角色讓模型扮演特定角色提供專業(yè)反饋示例寫作教練扮演寫作教練提供寫作建議03獨(dú)特視角提供不同于常規(guī)的專業(yè)視角和建議通過例子引導(dǎo)通過具體例子引導(dǎo)模型生成符合預(yù)期內(nèi)容示例制圖制圖時(shí)提供類似圖表的例子提高生成質(zhì)量提高模型生成內(nèi)容的質(zhì)量和準(zhǔn)確性提供具體例子010203指定輸出格式明確指定輸出格式如列表、閱讀水平示例關(guān)鍵發(fā)現(xiàn)要求用列表總結(jié)關(guān)鍵發(fā)現(xiàn)使用高中生能理解語言規(guī)范輸出規(guī)范模型輸出格式和內(nèi)容聲明輸出格式通過實(shí)驗(yàn)調(diào)整指令觀察模型表現(xiàn)實(shí)驗(yàn)調(diào)整指令通過實(shí)驗(yàn)不斷優(yōu)化指令提高模型表現(xiàn)優(yōu)化指令指令中加入“一步一步思考”觀察推理過程示例推理過程010203實(shí)驗(yàn)調(diào)整指令大語言模型訓(xùn)練步驟PART02數(shù)據(jù)收集與處理收集高質(zhì)量語料和數(shù)據(jù)集數(shù)據(jù)收集分詞、標(biāo)準(zhǔn)化、去除噪聲數(shù)據(jù)預(yù)處理確保數(shù)據(jù)多樣性和代表性數(shù)據(jù)要求單擊此處添加文本具體內(nèi)容，簡明扼要地闡述您的觀點(diǎn)。根據(jù)需要可酌情增減文字，以便觀者準(zhǔn)確地理解您傳達(dá)的思想。單擊此處添加文本具體內(nèi)容，簡明扼要地闡述您的觀點(diǎn)。根據(jù)需要可酌情增減文字，以便觀者準(zhǔn)確地理解您傳達(dá)的思想。單擊此處添加文本具體內(nèi)容，簡明扼要地闡述您的觀點(diǎn)。根據(jù)需要可酌情增減文字，以便觀者準(zhǔn)確地理解您傳達(dá)的思想。單擊此處添加文本具體內(nèi)容，簡明扼要地闡述您的觀點(diǎn)。根據(jù)需要可酌情增減文字，以便觀者準(zhǔn)確地理解您傳達(dá)的思想。單擊此處添加文本具體內(nèi)容，簡明扼要地闡述您的觀點(diǎn)。根據(jù)需要可酌情增減文字，以便觀者準(zhǔn)確地理解您傳達(dá)的思想。單擊此處添加文本具體內(nèi)容，簡明扼要地闡述您的觀點(diǎn)。根據(jù)需要可酌情增減文字，以便觀者準(zhǔn)確地理解您傳達(dá)的思想。單擊此處添加文本具體內(nèi)容構(gòu)建模型架構(gòu)模型訓(xùn)練選擇合適學(xué)習(xí)率、批量大小超參數(shù)調(diào)優(yōu)進(jìn)行正則化訓(xùn)練模型訓(xùn)練與調(diào)優(yōu)防止過擬合技術(shù)dropout技術(shù)采用dropout防止過擬合正則化技術(shù)使用L1或L2正則化01025.5典型案例-中國首個(gè)孤獨(dú)癥垂直類大語言模型Starlight模型介紹presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfieldAI幻覺體驗(yàn)分析presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield討論與反思presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield未來展望presentationandmakeitintoafilmtousedwiderfieldpresentationandmakeitintoafilmtousedwiderfield目錄Starlight模型介紹PART01發(fā)布背景與機(jī)構(gòu)中國科學(xué)院合肥創(chuàng)新工程院發(fā)布機(jī)構(gòu)2023年2月發(fā)布時(shí)間Starlight模型名稱先天性神經(jīng)發(fā)育障礙定義社會(huì)交往障礙、興趣局限特征0201患病率上升，病因不明影響03孤獨(dú)癥概述模型功能與技術(shù)0102功能無障礙提問與即時(shí)解答數(shù)據(jù)來源臨床研究信息匯總03技術(shù)深度學(xué)習(xí)、監(jiān)督微調(diào)通過委員會(huì)認(rèn)證行為分析師筆試認(rèn)證家長與行業(yè)從業(yè)者認(rèn)可公測(cè)反饋未來應(yīng)用患者家長、行業(yè)從業(yè)者、科研機(jī)構(gòu)認(rèn)證、公測(cè)與未來應(yīng)用AI幻覺體驗(yàn)分析PART02幻覺定義與分類無實(shí)際含義的感知無意義幻覺看似正確但錯(cuò)誤的感知看似合理幻覺聲稱有但實(shí)際無的能力聲稱具備能力幻覺對(duì)“幻覺”的看法內(nèi)容多樣性幻覺內(nèi)容多樣，需仔細(xì)辨別委婉與警惕用詞委婉，保持警惕性0102自信誤導(dǎo)與高級(jí)AI期望存在矛盾期望矛盾大語言模型自信導(dǎo)致誤導(dǎo)幻覺現(xiàn)象原因可能誤導(dǎo)用戶做出錯(cuò)誤行動(dòng)誤導(dǎo)用戶行動(dòng)幻覺信息可靠性存疑信息可靠性問題潛在風(fēng)險(xiǎn)與擔(dān)憂討論與反思PART03在多種情境下可發(fā)揮作用不必絕對(duì)準(zhǔn)確，足夠好即可大語言模型信息仍具價(jià)值有價(jià)值的信息知識(shí)應(yīng)用廣泛知識(shí)標(biāo)準(zhǔn)靈活“足夠好的知識(shí)”力量錯(cuò)誤可接受大語言模型錯(cuò)誤與其他來源相比可接受錯(cuò)誤影響評(píng)估需評(píng)估錯(cuò)誤對(duì)用戶行動(dòng)的影響容錯(cuò)機(jī)制需建立機(jī)制容忍并糾正錯(cuò)誤錯(cuò)誤的容忍度特定情境下，想象力比事實(shí)更重要想象力重要性非事實(shí)信息在創(chuàng)意等領(lǐng)域有價(jià)值非事實(shí)信息價(jià)值非事實(shí)信息與事實(shí)信息共同構(gòu)成知識(shí)多樣性信息多樣性非事實(shí)性信息有用性未來展望PART04賦智患者家長與行業(yè)從業(yè)者深度賦智相關(guān)人群探索AI在醫(yī)療領(lǐng)域的更多應(yīng)用AI醫(yī)療領(lǐng)域應(yīng)用加強(qiáng)合作，推動(dòng)模型發(fā)展科研機(jī)構(gòu)合作支持010203Starlight模型發(fā)展方向AI技術(shù)持續(xù)進(jìn)步幻覺現(xiàn)象管理改進(jìn)管理AI幻覺現(xiàn)象AI技術(shù)潛力挖掘AI在醫(yī)療與認(rèn)知領(lǐng)域的潛力針對(duì)幻覺現(xiàn)象進(jìn)行技術(shù)改進(jìn)改進(jìn)幻覺現(xiàn)象建立有效機(jī)制管理AI幻覺管理AI幻覺幻覺現(xiàn)象改進(jìn)與管理結(jié)論P(yáng)ART05010203孤獨(dú)癥領(lǐng)域應(yīng)用Starlight模型助力患者與家長行業(yè)從業(yè)者支持獲得家長與行業(yè)從業(yè)者認(rèn)可科研機(jī)構(gòu)合作未來將與科研機(jī)構(gòu)深入合作Starlight模型創(chuàng)新應(yīng)用存在誤導(dǎo)用戶與信息可靠性問題幻覺現(xiàn)象挑戰(zhàn)改進(jìn)幻覺現(xiàn)象，管理風(fēng)險(xiǎn)改進(jìn)管理機(jī)遇技術(shù)持續(xù)進(jìn)步AI技術(shù)持續(xù)進(jìn)步帶來新機(jī)遇AI幻覺挑戰(zhàn)與機(jī)遇AI技術(shù)醫(yī)療領(lǐng)域展望0102醫(yī)療領(lǐng)域潛力AI在醫(yī)療與認(rèn)知領(lǐng)域有潛力更多技術(shù)突破期待AI技術(shù)在醫(yī)療領(lǐng)域更多突破03深度賦智患者Starlight將深度賦智患者與家長多模態(tài)技術(shù)學(xué)習(xí)與發(fā)展目標(biāo)數(shù)智化技術(shù)應(yīng)用與創(chuàng)新6.1多模態(tài)技術(shù)發(fā)展6.1Developmentofmultimodaltechnology6.2圖像及視頻處理實(shí)戰(zhàn)6.2Practicalexercisesinimageandvideoprocessing6.3多模態(tài)大模型如何解決行業(yè)問題6.3Howmultimodallargemodelssolveindustryproblems6.4多模態(tài)大模型內(nèi)容創(chuàng)作6.4ContentcreationwithmultimodallargemodelsCONTENT目錄6.5典型案例-騰訊首個(gè)開源多模態(tài)大語言模型6.5Atypicalcase:Tencent'sfirstopen-sourcemultimodallargelanguagemodel知識(shí)目標(biāo)概覽PART01多模態(tài)技術(shù)術(shù)語與基礎(chǔ)定義術(shù)語及重要性多模態(tài)技術(shù)術(shù)語理解多模態(tài)技術(shù)基礎(chǔ)基礎(chǔ)概念介紹多模態(tài)技術(shù)架構(gòu)技術(shù)框架多模態(tài)基礎(chǔ)模型發(fā)展階段模型演變階段各階段的關(guān)鍵技術(shù)介紹關(guān)鍵技術(shù)0201最新技術(shù)突破與進(jìn)展技術(shù)突破03基礎(chǔ)模型演變及關(guān)鍵技術(shù)應(yīng)用案例與未來趨勢(shì)預(yù)測(cè)多模態(tài)技術(shù)實(shí)際應(yīng)用案例應(yīng)用案例預(yù)測(cè)多模態(tài)技術(shù)未來發(fā)展方向未來趨勢(shì)分析技術(shù)對(duì)行業(yè)的影響與變革技術(shù)影響能力目標(biāo)詳解PART02分析技術(shù)在實(shí)際場(chǎng)景中的適用性多模態(tài)技術(shù)適用性評(píng)估運(yùn)用指標(biāo)量化技術(shù)實(shí)施效果效果評(píng)估方法多領(lǐng)域應(yīng)用案例參考多領(lǐng)域成功案例進(jìn)行分析多模態(tài)技術(shù)應(yīng)用分析能力在圖像識(shí)別、視頻編輯中深化應(yīng)用通過模型優(yōu)化，提升圖像視頻處理質(zhì)量利用多模態(tài)大模型提升處理效率圖像視頻處理技巧多模態(tài)模型應(yīng)用處理質(zhì)量優(yōu)化圖像視頻處理能力提升運(yùn)用多模態(tài)技術(shù)加速創(chuàng)作流程高效內(nèi)容創(chuàng)作結(jié)合AI輔助，確保內(nèi)容原創(chuàng)性保持原創(chuàng)性策略利用模型優(yōu)化內(nèi)容，提升創(chuàng)作質(zhì)量創(chuàng)作質(zhì)量提升內(nèi)容創(chuàng)作創(chuàng)新與效率優(yōu)化010203跨領(lǐng)域知識(shí)結(jié)合將多模態(tài)技術(shù)與其他領(lǐng)域知識(shí)融合多模態(tài)技術(shù)融合案例分析多模態(tài)技術(shù)在跨領(lǐng)域中的實(shí)際應(yīng)用融合應(yīng)用創(chuàng)新探索多模態(tài)技術(shù)在跨領(lǐng)域中的創(chuàng)新應(yīng)用跨領(lǐng)域融合應(yīng)用實(shí)踐素質(zhì)目標(biāo)培養(yǎng)PART03多學(xué)科知識(shí)整合整合不同領(lǐng)域知識(shí)技術(shù)技術(shù)融合應(yīng)用實(shí)現(xiàn)多模態(tài)技術(shù)與其他領(lǐng)域結(jié)合創(chuàng)新解決方案提出跨學(xué)科的創(chuàng)新問題解決方案跨學(xué)科知識(shí)技術(shù)整合在多模態(tài)技術(shù)中運(yùn)用創(chuàng)新思維創(chuàng)新思維應(yīng)用制定高效的問題解決策略與方法問題解決策略在創(chuàng)新過程中保持技術(shù)與應(yīng)用的原創(chuàng)性原創(chuàng)性保持創(chuàng)新思維與問題解決策略團(tuán)隊(duì)成員間協(xié)作完成任務(wù)團(tuán)隊(duì)協(xié)作通過協(xié)作與溝通，高效執(zhí)行任務(wù)任務(wù)高效執(zhí)行確保團(tuán)隊(duì)成員間信息準(zhǔn)確傳遞有效溝通010203團(tuán)隊(duì)協(xié)作與有效溝通技術(shù)倫理與社會(huì)責(zé)任認(rèn)知理解技術(shù)應(yīng)用中的倫理問題技術(shù)倫理認(rèn)知技術(shù)對(duì)社會(huì)的影響與責(zé)任社會(huì)責(zé)任確保技術(shù)應(yīng)用符合法律法規(guī)與社會(huì)規(guī)范合規(guī)應(yīng)用面對(duì)技術(shù)變化，保持學(xué)習(xí)動(dòng)力持續(xù)學(xué)習(xí)不斷提升個(gè)人技術(shù)與能力自我提升快速適應(yīng)多模態(tài)技術(shù)的不斷發(fā)展與變革適應(yīng)技術(shù)變革持續(xù)學(xué)習(xí)與自我提升動(dòng)力6.1多模態(tài)技術(shù)發(fā)展多模態(tài)技術(shù)基礎(chǔ)PART01模態(tài)定義與來源信息的來源或形式模態(tài)定義如視覺、聽覺等感官體驗(yàn)如文本、圖像等信息載體圖像文本聯(lián)合分析增強(qiáng)信息豐富度使用MMD約束訓(xùn)練提高模型泛化能力如CLIP模型利用大規(guī)模無監(jiān)督數(shù)據(jù)提高精度與魯棒性途徑優(yōu)于單模態(tài)學(xué)習(xí)效果提供多種人機(jī)交互方式融合多種類型數(shù)據(jù)全面獲取信息提升學(xué)習(xí)效果豐富交互形式多模態(tài)技術(shù)優(yōu)勢(shì)利用未標(biāo)記數(shù)據(jù)提高泛化不完全監(jiān)督提供粗粒度標(biāo)簽不確切監(jiān)督多模態(tài)數(shù)據(jù)融合結(jié)合同質(zhì)或異質(zhì)數(shù)據(jù)弱監(jiān)督方法多模態(tài)基礎(chǔ)模型演變PART02從單一到多模態(tài)轉(zhuǎn)變0102單模態(tài)到多模態(tài)AI模型處理多種數(shù)據(jù)類型深度學(xué)習(xí)發(fā)展全面理解和處理復(fù)雜信息03技術(shù)進(jìn)步研究者探索綜合處理多種數(shù)據(jù)處理復(fù)雜推理任務(wù)適應(yīng)內(nèi)存受限設(shè)備場(chǎng)景改變數(shù)據(jù)處理方式為AI領(lǐng)域帶來新發(fā)展方向多模態(tài)整合處理和分析數(shù)據(jù)方式變革多模態(tài)大型語言模型應(yīng)用010203圖結(jié)構(gòu)整合復(fù)雜數(shù)據(jù)多模態(tài)圖卷積網(wǎng)絡(luò)應(yīng)用深度生成模型整合MultiVI模型預(yù)測(cè)生物學(xué)特性高質(zhì)量內(nèi)容識(shí)別圖結(jié)構(gòu)實(shí)現(xiàn)對(duì)復(fù)雜數(shù)據(jù)學(xué)習(xí)基于圖的多模態(tài)學(xué)習(xí)實(shí)際應(yīng)用與發(fā)展方向PART03結(jié)合醫(yī)學(xué)影像和文本診斷疾病醫(yī)療領(lǐng)域應(yīng)用整合多源信息提高決策安全性自動(dòng)駕駛應(yīng)用0201提供自然人性化交互方式人機(jī)交互體驗(yàn)03多模態(tài)技術(shù)實(shí)際應(yīng)用采集噪聲小的多模態(tài)對(duì)齊數(shù)據(jù)數(shù)據(jù)處理技術(shù)學(xué)習(xí)不同粒度的對(duì)齊和遷移能力算法設(shè)計(jì)能力優(yōu)化資源提高模型效率性能計(jì)算資源配置未來研究方向6.2圖像及視頻處理實(shí)戰(zhàn)圖像智能分析與處理PART01存在識(shí)別精度與泛化能力問題提升性能，擴(kuò)展應(yīng)用，增強(qiáng)學(xué)習(xí)能力歷經(jīng)多階段，深度學(xué)習(xí)應(yīng)用廣泛文檔識(shí)別發(fā)展歷程當(dāng)前技術(shù)不足與挑戰(zhàn)多模態(tài)大模型新方向文檔識(shí)別研究與發(fā)展涵蓋圖像描述、問答等視覺語言任務(wù)類型提高模型靈活性與效率基于適配器預(yù)訓(xùn)練模型加速模型適應(yīng)新任務(wù)，提升性能遷移學(xué)習(xí)方法優(yōu)勢(shì)視覺語言預(yù)訓(xùn)練模型多模態(tài)融合在視頻理解PART02多模態(tài)融合技術(shù)原理0102模態(tài)定義與分類區(qū)分不同模態(tài)數(shù)據(jù)模態(tài)特征提取提取各模態(tài)關(guān)鍵信息03多模態(tài)融合方法時(shí)空、低高、同步異步融合摘要、檢索、情感分析多樣視頻應(yīng)用多樣化數(shù)據(jù)處理、特征表示、融合、識(shí)別關(guān)鍵問題應(yīng)用挑戰(zhàn)技術(shù)實(shí)現(xiàn)與場(chǎng)景適應(yīng)難題視頻理解應(yīng)用與挑戰(zhàn)內(nèi)容識(shí)別與情感分析視頻內(nèi)容復(fù)雜多變內(nèi)容識(shí)別挑戰(zhàn)提高識(shí)別準(zhǔn)確性與魯棒性多模態(tài)融合優(yōu)勢(shì)電影預(yù)告片情感分類等情感分析應(yīng)用早中晚期融合策略多模態(tài)融合方法視頻描述、摘要、檢索、監(jiān)控行為識(shí)別應(yīng)用0201提高準(zhǔn)確性、增強(qiáng)魯棒性、降低成本事件檢測(cè)優(yōu)勢(shì)03行為識(shí)別與事件檢測(cè)6.3多模態(tài)大模型如何解決行業(yè)問題語料標(biāo)注規(guī)則制定PART01參考多模態(tài)語篇基礎(chǔ)層元素分析不同類型網(wǎng)站語篇基礎(chǔ)層查閱文獻(xiàn)，確定企業(yè)網(wǎng)站核心符號(hào)確定核心符號(hào)資源參考基礎(chǔ)層元素示例分析基礎(chǔ)層元素確定基礎(chǔ)層標(biāo)注規(guī)則查閱文獻(xiàn)，為規(guī)則制定提供基礎(chǔ)文獻(xiàn)回顧通過訪談完善標(biāo)注規(guī)則專家訪談0201參考15%樣本網(wǎng)站的預(yù)試標(biāo)注結(jié)果預(yù)試標(biāo)注參考03查閱文獻(xiàn)與參考示例語料標(biāo)注操作流程PART02標(biāo)注人員選拔與培訓(xùn)選拔兩位語言學(xué)博士生選拔有經(jīng)驗(yàn)博士生培訓(xùn)標(biāo)注軟件操作及規(guī)則標(biāo)注軟件使用培訓(xùn)詳細(xì)講解標(biāo)注規(guī)則內(nèi)容標(biāo)注規(guī)則說明對(duì)15%樣本進(jìn)行試標(biāo)注預(yù)試標(biāo)注樣本網(wǎng)站討論分歧，達(dá)成一致標(biāo)注意見討論達(dá)成一致意見正式標(biāo)注全部樣本按編碼表對(duì)全部樣本正式分析預(yù)試標(biāo)注與正式標(biāo)注010203標(biāo)注員間信度檢驗(yàn)采用簡單一致性系數(shù)檢驗(yàn)各模態(tài)元素信度系數(shù)信度系數(shù)均超過0.80多輪修改完善規(guī)則通過多輪修改，確保規(guī)則符合要求處理標(biāo)注分歧信度與效度檢驗(yàn)方法PART03信度系數(shù)均超0.80標(biāo)注員間信度檢驗(yàn)用于信度檢驗(yàn)的標(biāo)準(zhǔn)方法簡單一致性系數(shù)對(duì)全部樣本網(wǎng)站進(jìn)行正式分析全面樣本分析標(biāo)注信度檢驗(yàn)過程效度檢驗(yàn)及規(guī)則建立0102內(nèi)容效度檢驗(yàn)確保標(biāo)注規(guī)則符合研究要求標(biāo)注規(guī)則建立文獻(xiàn)回顧、專家訪談、預(yù)試標(biāo)注03多輪修改完善通過多輪修改，確保規(guī)則準(zhǔn)確性6.4多模態(tài)大模型內(nèi)容創(chuàng)作多模態(tài)大模型優(yōu)勢(shì)PART01生成內(nèi)容多樣，滿足用戶需求處理多種模態(tài)信息多模態(tài)信息激發(fā)創(chuàng)作者靈感提供創(chuàng)作靈感內(nèi)容多樣性更高，提升創(chuàng)作價(jià)值高多樣性內(nèi)容信息處理多樣性多模態(tài)大模型提高創(chuàng)作速度快速生成內(nèi)容自動(dòng)完成編輯校對(duì)，減輕負(fù)擔(dān)自動(dòng)編輯校對(duì)高效創(chuàng)作流程高效創(chuàng)作，提升整體效率內(nèi)容創(chuàng)作高效性內(nèi)容創(chuàng)新獨(dú)特性0102獨(dú)特創(chuàng)作風(fēng)格學(xué)習(xí)大量數(shù)據(jù)，掌握獨(dú)特風(fēng)格高創(chuàng)新性內(nèi)容生成內(nèi)容創(chuàng)新，吸引用戶關(guān)注03掌握表達(dá)方式掌握多樣表達(dá)方式，豐富創(chuàng)作多模態(tài)大模型應(yīng)用PART02豐富文本創(chuàng)作素材圖像生成文本描述融合圖像與文本，激發(fā)創(chuàng)意提供靈感和創(chuàng)意空間0201多模態(tài)大模型快速生成內(nèi)容高效內(nèi)容創(chuàng)作03圖像文本交融創(chuàng)作提供真實(shí)情感表達(dá)，增強(qiáng)體驗(yàn)結(jié)合語音與文本，提升分析精度融合語音文本，分析情感狀態(tài)語音情感準(zhǔn)確分析真實(shí)生動(dòng)情感表達(dá)多模態(tài)數(shù)據(jù)融合語音情感結(jié)合分析語音、圖像等輸入方式融合多種輸入方式融合多模態(tài)交互，加快創(chuàng)作速度提高創(chuàng)作效率融合多種模態(tài)，豐富創(chuàng)作趣味性豐富創(chuàng)作手段多模態(tài)交互升級(jí)體驗(yàn)6.5