【致廣大而盡精微】生成式AI企業(yè)應(yīng)用落地技術(shù)白皮書(shū)

致廣大而盡精微生成式AI企業(yè)應(yīng)用落地技術(shù)白皮書(shū)1生成式AI是一場(chǎng)技術(shù)范式變革2生成式AI的六層技術(shù)生態(tài)3生成式AI企業(yè)應(yīng)用落地實(shí)踐探索和總結(jié)4AI產(chǎn)業(yè)政策與發(fā)展趨勢(shì)3881422263538414142556565697374763信百會(huì)1生成式AI是一場(chǎng)技術(shù)范式變革2022年末ChatGPT的橫空出世及其之后的持續(xù)迭代，以一種人人可親身感知的方式，把人工智能在自然語(yǔ)言領(lǐng)域里的重大進(jìn)展在一夜之間展示在世人面前。而在企業(yè)應(yīng)用場(chǎng)景方面，之前的AI技術(shù)都集中在相對(duì)專業(yè)的應(yīng)用場(chǎng)景內(nèi)，如機(jī)器視覺(jué)、語(yǔ)音識(shí)別、或推薦系統(tǒng)、風(fēng)控管理等。但是語(yǔ)言，作為人類重要的思維工具以及知識(shí)組織和傳播的最主要手段，其“能力泛化”的可能性遠(yuǎn)遠(yuǎn)超出了其他領(lǐng)域。因此，當(dāng)ChatGPT能夠與人類進(jìn)行深入、富有深度的對(duì)話時(shí)，人們開(kāi)始想象一個(gè)真正能夠理解業(yè)務(wù)或?qū)I(yè)、思考解答專業(yè)問(wèn)題、甚至進(jìn)行業(yè)務(wù)的組織、管理和創(chuàng)新的機(jī)器的可能性。對(duì)企業(yè)的數(shù)字化轉(zhuǎn)型進(jìn)程而言，生成式AI技術(shù)帶來(lái)的潛在影響很容易讓在生成式AI技術(shù)出現(xiàn)之前的十多年間，數(shù)字化轉(zhuǎn)型一直是企業(yè)采取的一項(xiàng)重要戰(zhàn)略，來(lái)促進(jìn)企業(yè)在新的商的經(jīng)營(yíng)活動(dòng)中，產(chǎn)生的大量的數(shù)據(jù)無(wú)法被結(jié)構(gòu)化處理，比如內(nèi)部海量的會(huì)議紀(jì)要、周報(bào)、季報(bào)，其中包含大量所有這些包含的非常有價(jià)值的信息和知識(shí)，以往只能限于少數(shù)專家或管理者的隨機(jī)及離散地利用。傳統(tǒng)的數(shù)據(jù)處理和分析方法對(duì)這種非結(jié)構(gòu)化的文本數(shù)據(jù)無(wú)所適從。高價(jià)值的信息無(wú)法被有效提取，意味著企業(yè)可能錯(cuò)以大語(yǔ)言模型為代表的先進(jìn)的自然語(yǔ)言處理技術(shù)的出現(xiàn)，預(yù)示著這種情況開(kāi)始發(fā)生變化。企業(yè)有可能利用這些創(chuàng)新技術(shù)來(lái)自動(dòng)分析、歸類和抽取這些非結(jié)構(gòu)化數(shù)據(jù)中的關(guān)鍵知識(shí)，進(jìn)而為決策者提供有力的支持。例如，通過(guò)自動(dòng)分析銷售和客服的交互文本，企業(yè)可以更準(zhǔn)確地了解客戶的需求和不滿，進(jìn)一步優(yōu)化產(chǎn)品和服務(wù)。更4進(jìn)一步，企業(yè)還可以利用這些技術(shù)結(jié)合知識(shí)圖譜技術(shù)，將分散在不同文檔和系統(tǒng)中的信息連接起來(lái)，形成一個(gè)斯托克頓-達(dá)靈頓專線其實(shí)是在鐵軌上跑馬車。早期的蒸汽機(jī)的一個(gè)主要應(yīng)用場(chǎng)景是在枯水期將水引向高處蓄水目前我們?cè)O(shè)想的生成式AI的應(yīng)用場(chǎng)景，也處于早期狀態(tài)。生成式AI技術(shù)為企業(yè)數(shù)字化轉(zhuǎn)型帶來(lái)的會(huì)是更新域定”。新技術(shù)域?qū)?jīng)濟(jì)的影響也比單個(gè)技術(shù)對(duì)經(jīng)濟(jì)的影響要更深刻。作者認(rèn)為，經(jīng)濟(jì)并了一個(gè)新的技術(shù)體，而是遭遇（Encounters）了一個(gè)新的技術(shù)體。經(jīng)濟(jì)對(duì)新的技術(shù)體的出現(xiàn)會(huì)作出反應(yīng)，它會(huì)改變活動(dòng)方式、產(chǎn)業(yè)構(gòu)成以及制度安排，也就是說(shuō)，經(jīng)濟(jì)會(huì)因新的技術(shù)體而改變自身的結(jié)構(gòu)。如果改變的結(jié)果言的嚴(yán)格語(yǔ)法、清晰邏輯性和罕見(jiàn)的二義性，生成式AI技術(shù)在代碼生成和輔助編程方面的效果日益突出。展望未來(lái)，軟件開(kāi)發(fā)的重心將更多地傾向于需求分析和軟件架構(gòu)設(shè)計(jì)，而編碼和代碼質(zhì)量審核的流程，將在先進(jìn)的輔助編程工具的助力下，實(shí)現(xiàn)效率的飛躍性提升。在2017年，曾經(jīng)是OpenAI創(chuàng)始成員和研究科學(xué)家，擔(dān)任特斯拉技術(shù)總監(jiān)的AndrejKarpathy就預(yù)見(jiàn)到了引入AI之后的新軟件開(kāi)發(fā)范式，他在一篇技術(shù)博客中提出了軟件2.0的概念。在軟件1.0的模式下，由程序員設(shè)計(jì)軟件解決問(wèn)題的方法和細(xì)節(jié)邏輯，并通過(guò)編寫(xiě)顯示指令來(lái)實(shí)現(xiàn)雜的軟件庫(kù)、或者分析它們的性能。他們只負(fù)責(zé)收集、清理、操作、打標(biāo)簽、分析和可視化為神經(jīng)網(wǎng)絡(luò)提供信5信百會(huì)應(yīng)用會(huì)在價(jià)值和體驗(yàn)、安全和運(yùn)營(yíng)、架構(gòu)和交付等方面發(fā)生深刻變革，從而催生出企業(yè)應(yīng)用的大升級(jí)和大迭代。每一次技術(shù)的范式變革都深刻地重塑了經(jīng)濟(jì)格局和社會(huì)結(jié)構(gòu)，同時(shí)也催生出企業(yè)數(shù)字化的新浪潮。例如，以2010年為分水嶺，移動(dòng)互聯(lián)網(wǎng)和智能手機(jī)的快速滲透為眾多嶄新的應(yīng)用提供創(chuàng)新的土壤。在此背景下，移動(dòng)定位、身份綁定和移動(dòng)支付等技術(shù)場(chǎng)景快速落地，為企業(yè)開(kāi)辟了全新的移動(dòng)獲客渠道。不少企業(yè)敏銳地捕捉到這一趨勢(shì)，紛紛推出小程序或打造移動(dòng)應(yīng)用平臺(tái)，助力自身在激烈的市場(chǎng)競(jìng)爭(zhēng)中快速而精準(zhǔn)地獲取用戶、拓展由于對(duì)上一次的技術(shù)變革帶來(lái)的影響仍記憶猶新，使得這一輪人工智能的飛躍式進(jìn)展所產(chǎn)生的震撼和影響更為強(qiáng)烈。不僅技術(shù)層面的CIO、CDO和CTO表現(xiàn)出濃厚的興趣，企業(yè)的各個(gè)業(yè)務(wù)單元、包括CEO在內(nèi)的高而另一方面，在這場(chǎng)由生成式AI引領(lǐng)的技術(shù)范式變革中，相關(guān)的推動(dòng)力量從實(shí)驗(yàn)室快速走到了公眾輿論6中心。這些力量，不再僅僅局限于學(xué)術(shù)會(huì)議的探討。行業(yè)頭部公司、初創(chuàng)企業(yè)及各個(gè)研究團(tuán)隊(duì)，也在數(shù)字化的今天利用自媒體平臺(tái)和社區(qū)平臺(tái)積極互動(dòng)，并保持與主流媒體的溝通。開(kāi)源社區(qū)的貢獻(xiàn)和風(fēng)險(xiǎn)投資的活躍參與，企業(yè)在努力把握技術(shù)趨勢(shì)、評(píng)估技術(shù)進(jìn)展對(duì)自身業(yè)務(wù)的潛在影響時(shí)，往往陷入信息過(guò)載的困境，這不僅無(wú)法快速做出決策，更可能導(dǎo)致企業(yè)面臨選擇困惑，產(chǎn)生不必要的焦慮。而大量的粗粒度信息，也會(huì)對(duì)技術(shù)產(chǎn)生誤解在與眾多企業(yè)客戶深入交流的過(guò)程中，我們深刻地認(rèn)識(shí)到，對(duì)于當(dāng)前的技術(shù)進(jìn)展和各種應(yīng)用實(shí)踐進(jìn)行系統(tǒng)的梳理與小結(jié)是至關(guān)重要的。這不僅能為企業(yè)提供一個(gè)清晰的技術(shù)發(fā)展藍(lán)圖，同時(shí)也助于他們更好地了解趨勢(shì)，捕捉潛在機(jī)會(huì)，進(jìn)而制定更加科學(xué)、前瞻性的戰(zhàn)略計(jì)劃。此外，這樣的梳理還能推動(dòng)行業(yè)間的交流與合作，為幫助大家澄清概念、分析當(dāng)前的技術(shù)趨勢(shì)，預(yù)測(cè)未來(lái)可能的發(fā)展方向。我們深知，單憑一家之力難以捉摸整個(gè)行業(yè)生態(tài)中的地位，伴隨的倫理考量，以及對(duì)應(yīng)的監(jiān)管建議和未來(lái)發(fā)展趨勢(shì)。通過(guò)這三個(gè)章節(jié)，希望可以為讀者提供清晰的技術(shù)發(fā)展藍(lán)圖，幫助企業(yè)和研究者更好地理解、應(yīng)用并推動(dòng)技術(shù)的健康發(fā)展，從而應(yīng)對(duì)信息過(guò)載、7信百會(huì)據(jù)就緒、企業(yè)能力就緒等多個(gè)領(lǐng)域并行探索的局面。上述每一個(gè)領(lǐng)域既相互促進(jìn)，又相互制約，而在企業(yè)應(yīng)用緒意味著企業(yè)需要建立一套完整的數(shù)據(jù)管理和維護(hù)體系，來(lái)確保數(shù)據(jù)的質(zhì)量、完整性和安全性，當(dāng)大語(yǔ)言模型而最為重要的是，生成式AI的基礎(chǔ)技術(shù)研發(fā)還在快速進(jìn)展之中，制約其在真實(shí)業(yè)務(wù)場(chǎng)景使用范圍的問(wèn)題：例如在私域知識(shí)框架內(nèi)的對(duì)齊，包括幻覺(jué)消除，知識(shí)收斂，以及上下文長(zhǎng)度等，還在不斷探索和解決之中。其從來(lái)沒(méi)有哪一個(gè)時(shí)刻，使得企業(yè)在制定技術(shù)戰(zhàn)略時(shí)，需要理解如此復(fù)雜的技術(shù)趨勢(shì)，平衡考慮如此多的矛在點(diǎn)狀創(chuàng)新之后，需要認(rèn)真規(guī)劃新應(yīng)用的體系化開(kāi)發(fā)、部署、運(yùn)維和管理的平臺(tái)，以及大模型及其算力管理平神州數(shù)碼，作為中國(guó)IT生態(tài)的核心參與者，始終致力于促進(jìn)先進(jìn)技術(shù)在企業(yè)的系統(tǒng)化應(yīng)用。作為生態(tài)鏈的個(gè)關(guān)鍵的落地技術(shù)細(xì)節(jié)。持此信念，神州數(shù)碼將繼續(xù)匯聚各方力量，助力生成式AI技術(shù)為企業(yè)數(shù)字化轉(zhuǎn)型注入2生成式AI的六層技術(shù)生態(tài)GPT的成功，促成整個(gè)AI行業(yè)的技術(shù)生態(tài)正發(fā)生著巨大變革，并形成了激烈的準(zhǔn)自己的定位，形成自己的技術(shù)優(yōu)勢(shì)。激烈競(jìng)爭(zhēng)的同時(shí)也帶來(lái)了技術(shù)的快速發(fā)展，相關(guān)的論文和報(bào)告以驚人的影響著企業(yè)場(chǎng)景的落地。我們可以明顯觀察到生成式AI相關(guān)技術(shù)的發(fā)展已經(jīng)形成了六層技術(shù)生態(tài)體系，包含AI算力基礎(chǔ)設(shè)施、基礎(chǔ)大模型與相關(guān)技術(shù)、大模型與訓(xùn)練及評(píng)測(cè)數(shù)據(jù)、生成式AI應(yīng)用開(kāi)發(fā)技術(shù)、生成式AI安全與2.1AI算力基礎(chǔ)設(shè)施大模型的基礎(chǔ)算力設(shè)施是AI生態(tài)中不可或缺的核心組成部分，為大模型在企業(yè)場(chǎng)景中的實(shí)際應(yīng)用提供了關(guān)鍵的驅(qū)動(dòng)力。其中AI芯片是算力的核心來(lái)源，其選型會(huì)直接影響到后續(xù)大模型的開(kāi)發(fā)效率和性能。與此同時(shí)，AI服務(wù)器，作為AI芯片的主要承載平臺(tái)，其架構(gòu)設(shè)計(jì)和性能優(yōu)化也顯得尤為關(guān)鍵?；贏I服務(wù)器，各大廠商會(huì)根據(jù)所持有的算力資源，發(fā)展出不同的經(jīng)營(yíng)模式。一些廠商選擇采用“基礎(chǔ)設(shè)施即服務(wù)（IaaS）”模式，主要。9信百會(huì)提供硬件設(shè)施的使用權(quán)限；而一些廠商則采用“平臺(tái)即服務(wù)（PaaS）”模式，不僅提供算力，還為用戶提供了一系列與模型開(kāi)發(fā)相關(guān)的服務(wù)。為了更高效地管理這些AI服務(wù)器和算力資源，許多企業(yè)和政府機(jī)構(gòu)會(huì)選擇構(gòu)建智算中心，這是一種集中管理和優(yōu)化算力資源的方式，同時(shí)我們將深入探討大模型基礎(chǔ)設(shè)施的各個(gè)方面，包括AI芯片、AI服務(wù)器、AIIaaS、AIPaaS以及AI智算中AI芯片也稱為AI加速器，專門(mén)用于處理人工智能應(yīng)用中需要的大量計(jì)算任務(wù)的模塊，為AI任務(wù)提供基礎(chǔ)算AI芯片前身是GPU（GraphicsProcessingUnit，圖形處理單元），專門(mén)為游戲或者圖像軟件提供高效圖形渲染的處理器，之后在人工智能技術(shù)逐步發(fā)展的過(guò)程中發(fā)現(xiàn)GPU的獨(dú)特高效并行計(jì)算架構(gòu)同樣適用于人工智能計(jì)算加速過(guò)程。在人工智能理論知識(shí)逐漸豐富的過(guò)程中，芯片廠家也對(duì)AI芯片處理器的計(jì)算單元和架構(gòu)組成根據(jù)芯片的處理單元和可編程靈活性分類，AI芯片可以分為GPGPU、FPGA和ASIC以及類腦芯片。其中GPGPU（GeneralPurposeGraphicsProcessingUnit，通用圖形處理器）是GPU的衍生概念，保留了GPU的并行計(jì)算能力，去除了圖像渲染顯示部分。目前學(xué)術(shù)界和工業(yè)界普遍使用英偉達(dá)的AI芯片進(jìn)行人工智能模型和應(yīng)用開(kāi)發(fā)，考慮到模型應(yīng)用的普適性人們也都以GPGPU作為首選。FPGA（FieldProgrammableGateArray，現(xiàn)場(chǎng)可編程門(mén)陣列）可以通過(guò)配置文件重新定義門(mén)電路和存儲(chǔ)器之間的連線從而改變計(jì)算方式，與GPU相比具有高性能低功耗和可硬件編程的特點(diǎn)。ASIC（ApplicationSpecificIntegratedCircuit，專用集成電路），是一種專用芯片，是為了某種特定的需求而專門(mén)定制的芯片的統(tǒng)稱。在其所針對(duì)的特定的應(yīng)用領(lǐng)域，ASIC芯片的能效表現(xiàn)要遠(yuǎn)超GPU等通用型芯片以及半定制的FPGA。近幾年，顛覆傳統(tǒng)馮·諾依曼架構(gòu)模擬根據(jù)AI應(yīng)用場(chǎng)景分類芯片有云端、終端和邊緣端三種類型。云端芯片一般部署在公有云或私有云側(cè)，支持模型的訓(xùn)練和推理任務(wù)。其優(yōu)點(diǎn)是高性能、高計(jì)算密度，缺點(diǎn)是單價(jià)高、產(chǎn)品硬件形態(tài)單一。終端芯片通常部署在手機(jī)等移動(dòng)設(shè)備中，支持模型推理任務(wù)，其優(yōu)點(diǎn)是低功耗、高效能、成本低、產(chǎn)品最終硬件形態(tài)眾多。邊緣端芯片部署在邊緣設(shè)備上如路邊監(jiān)控控制通訊設(shè)備，其對(duì)功耗、性能、尺寸的要求介于終端和云端之間，同根據(jù)芯片在AI任務(wù)中的功能分為訓(xùn)練芯片和推理芯片。訓(xùn)練芯片支持大型模型的訓(xùn)練過(guò)程，通過(guò)大量數(shù)據(jù)的輸入訓(xùn)練構(gòu)建復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)模型。在模型訓(xùn)練的過(guò)程中涉及大量的訓(xùn)練參數(shù)和復(fù)雜的模型網(wǎng)絡(luò)結(jié)構(gòu)，需要巨大的運(yùn)算量，對(duì)處理器的計(jì)算能力、可處理數(shù)據(jù)精度和可拓展性的要求都很高。推理芯片支持使用訓(xùn)練算力是衡量AI芯片的重要指標(biāo)，常用的單位是TOPS和TFLOPS,分別代表芯片每秒能處理多少萬(wàn)億次的INT8的整型運(yùn)算或FP32單精度浮點(diǎn)運(yùn)算。AI芯片的算力越高代表它的運(yùn)算速度越快，性能越強(qiáng)。功耗是芯片運(yùn)行的電力消耗，由于模型推訓(xùn)耗時(shí)漫長(zhǎng)，大量的電力消耗進(jìn)而需要更大的資金投入，對(duì)使用者而言，AI芯片的功耗不容忽視。摩爾定律預(yù)言了芯片面積和利潤(rùn)的關(guān)系，通常來(lái)講相同工藝制程之下，芯片考慮到大數(shù)據(jù)并行訪問(wèn)的需求，AI和大數(shù)據(jù)處理需要高帶寬和大存儲(chǔ)容量的內(nèi)存。因此，大模型對(duì)于AI芯大模型的算力消耗受以下幾個(gè)因素影響，每參數(shù)每Token算力需求、模型參數(shù)規(guī)模、訓(xùn)練數(shù)據(jù)規(guī)模和算力以GPT-3(175B)為例，其模型的參數(shù)量是175B，假設(shè)訓(xùn)練數(shù)據(jù)為300Btokens，每參數(shù)每token對(duì)算力的消耗是6Flops，以NVIDIA80GBA100GPU為例,理論算力是312TFLOPS，Megatron利用張量并行和流水線并行技術(shù)能達(dá)到51.4%的利用率，即每秒能完成0.16PFLOPS，根據(jù)上述條件，結(jié)合模型算力消耗約等于（每參數(shù)每token的訓(xùn)練需求*訓(xùn)練數(shù)據(jù)規(guī)模*參數(shù)規(guī)模）/算力使用效率，推測(cè)單張A100完成一次迭代計(jì)算所需耗時(shí)約為65年，若采用1000張A100，訓(xùn)練時(shí)間大約可縮短為1個(gè)月左右。區(qū)別于傳統(tǒng)服務(wù)器，AI服務(wù)器搭載了各類AI加速卡，通過(guò)異構(gòu)的方式組成不同的AI服務(wù)器。其常見(jiàn)的組合形式是CPU+GPU、CPU+FPGA、CPU+TPU、CPU+ASIC或CPU+多種加速卡等。近期甚信百會(huì)至提出了“GPU+DPU的超異構(gòu)”設(shè)計(jì)，加入DPU的強(qiáng)大數(shù)據(jù)處理調(diào)度能力的AI服務(wù)器將更加適合大模型時(shí)代AI服務(wù)器根據(jù)應(yīng)用場(chǎng)景、芯片類型和GPU數(shù)量有不同的分類。根據(jù)深度學(xué)習(xí)應(yīng)用場(chǎng)景分為訓(xùn)練型服務(wù)器和分為“CPU+GPU”的異構(gòu)類型和“CPU+XPU”超異構(gòu)類型。最后，根據(jù)搭載GPU的數(shù)量分為多路AI服務(wù)器，大模型的訓(xùn)練和推理任務(wù)對(duì)算力和網(wǎng)絡(luò)都有了新的需求，超大參量的模型需要超高的算力，然而訓(xùn)練時(shí)間CPU、GPU和DPU多種芯片的AI服務(wù)器可以高效解決AI大模型計(jì)算中遇到的多種計(jì)算加速、可拓展性、數(shù)據(jù)池化提供給客戶?？蛻敉ㄟ^(guò)即用即付的方式獲取計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)等IT基礎(chǔ)設(shè)施資源的調(diào)度使用權(quán)限，并在此基礎(chǔ)上部署、維護(hù)和支持應(yīng)用程序。運(yùn)營(yíng)商負(fù)責(zé)運(yùn)營(yíng)維護(hù)基礎(chǔ)物理設(shè)施，采用依賴虛擬化、容器和自動(dòng)化技術(shù)AIIaaS的關(guān)鍵技術(shù)點(diǎn)是算力池化。算力池化基于傳統(tǒng)云計(jì)算技術(shù)（如Kubernetes、OpenStack）用軟件定義的方式，對(duì)GPU等AI算力資源進(jìn)行分時(shí)調(diào)度管理,并且采用GPU/AI芯片的Runtime提供的API劫持、應(yīng)AIIaaS通過(guò)高速無(wú)損網(wǎng)絡(luò)互連互通的CPU、GPU、ASIC芯片等算力資源進(jìn)行池化整合，實(shí)現(xiàn)資源的集中調(diào)度、按需分配，使資源充分利用，降低碎片概率，提高總體有效算力、降低智算中心購(gòu)置成本，能夠做到化整為零。革新傳統(tǒng)的整卡分配、“一虛多”的虛擬化分配等粗放式分配方式，使能精細(xì)化分配能力，根據(jù)AI任務(wù)的資源需求進(jìn)行按需分配，使資源可被充分利用，降低碎片概率，提高總體有效算力，降低基礎(chǔ)硬件設(shè)施購(gòu)2.1.4AIPaaSPaaS平臺(tái)架構(gòu)AI大模型的PaaS平臺(tái)主要提供以下五大功能：Docker或Kubernetes的容器技術(shù)，確保模型在不同的環(huán)境中都能一致、穩(wěn)定地運(yùn)行，并通過(guò)CI/CD流程，確2、模型庫(kù)與接口：提供統(tǒng)一的接口，支持多種預(yù)訓(xùn)練的NLP模型，如BERT、GPT、RoBERTa等。Transformer庫(kù)的API支持各種NLP任務(wù)，如文本分類、命名實(shí)體識(shí)別、文本生成等。通過(guò)API調(diào)用，開(kāi)發(fā)者3、數(shù)據(jù)管理與處理：Datasets庫(kù)可以提供NLP數(shù)據(jù)集的訪問(wèn)、管理和處理工具，Tokenizers庫(kù)可以支持部署和監(jiān)控。使用預(yù)訓(xùn)練模型并對(duì)其進(jìn)行微調(diào)已經(jīng)成為了AI領(lǐng)域的標(biāo)準(zhǔn)做法，尤其是在NLP中。這種方法結(jié)合5、模型共享：ModelHub和Space為用戶提供模型共享、代碼分享和協(xié)作環(huán)境。鼓勵(lì)開(kāi)發(fā)者之間的開(kāi)放合作，促進(jìn)NLP技術(shù)的快速發(fā)展。信百會(huì)多租戶應(yīng)用共享基礎(chǔ)資源和開(kāi)發(fā)者多平臺(tái)靈活訪問(wèn)的方案為企業(yè)和開(kāi)發(fā)者提供便捷服務(wù)。大模型的高算力和高開(kāi)發(fā)門(mén)檻要求PaaS平臺(tái)更加關(guān)注大模型的開(kāi)發(fā)部署流程的優(yōu)化。參考目前市場(chǎng)中成功的廠家案例，如GoogleAIPlatform、AWSSageMaker和HuggingFace等，這些廠家平臺(tái)在部署大量基礎(chǔ)設(shè)施資源的情況下為用戶提供大模型快捷開(kāi)發(fā)環(huán)境、大模型的全生命周期的監(jiān)控調(diào)優(yōu)，同時(shí)也會(huì)提供一些預(yù)訓(xùn)練模型和數(shù)據(jù)集。大模型PaaS平臺(tái)的上述功能優(yōu)勢(shì)也將為個(gè)人開(kāi)發(fā)者和一些微小企業(yè)的AI應(yīng)用開(kāi)發(fā)提供便利，大大降低大模型硬件基礎(chǔ)智算中心是基于最新人工智能理論，采用領(lǐng)先的人工智能計(jì)算架構(gòu)，提供人工智能應(yīng)用所需算力服務(wù)、數(shù)據(jù)服務(wù)和算法服務(wù)的公共算力新型基礎(chǔ)設(shè)施，通過(guò)算力的生產(chǎn)、聚合、調(diào)度和釋放，高效支撐數(shù)據(jù)開(kāi)放共享、智能生態(tài)建設(shè)、產(chǎn)業(yè)創(chuàng)新聚集，有力促進(jìn)AI產(chǎn)業(yè)化、產(chǎn)業(yè)AI化及政府治理智能化。智算中心作業(yè)環(huán)節(jié)是智算中心的支撐部分，智算中心通過(guò)作業(yè)環(huán)節(jié)實(shí)現(xiàn)了算力的生產(chǎn)、聚合、調(diào)度和釋放，是區(qū)別于其它數(shù)據(jù)中心的具體體現(xiàn)。功能部分是四大平臺(tái)和三大服務(wù)，四大平臺(tái)分別是算力生產(chǎn)供應(yīng)平臺(tái)、數(shù)標(biāo)是促進(jìn)AI產(chǎn)業(yè)化、產(chǎn)業(yè)AI化及政府治理智能化。1、投資主體：智算中心建設(shè)通常采用政府主導(dǎo)模式，政府作為投資主體加快推進(jìn)智算中心落地，以智算中AI智算中心不僅是一個(gè)高效的計(jì)算中心，更是一個(gè)綜合性的創(chuàng)新平臺(tái)，它結(jié)合“平臺(tái)+應(yīng)用+人才”的三合一策略，為新型AI產(chǎn)業(yè)的繁榮提供強(qiáng)大的算力支持、實(shí)際應(yīng)用開(kāi)發(fā)的鼓勵(lì)，以及頂尖AI專家的培養(yǎng)和吸引。此外，中心還強(qiáng)調(diào)“算力+生態(tài)”的雙輪驅(qū)動(dòng)，通過(guò)持續(xù)的硬件投資和開(kāi)放的AI生態(tài)合作，旨在吸引更多的企業(yè)和2017年Transformer模型提出并在機(jī)器翻譯領(lǐng)域取得巨大成功后，自然語(yǔ)言處理大模型進(jìn)入了爆發(fā)式的發(fā)展階段。自2018年以來(lái)，大型預(yù)訓(xùn)練語(yǔ)言模型的發(fā)展經(jīng)歷了幾個(gè)重要階段和突破：2018年，Google發(fā)布了BERT模型，引領(lǐng)了自然語(yǔ)言處理領(lǐng)域預(yù)訓(xùn)練范式的興起；2020年，OpenAI發(fā)布了GPT-3模型，展示了強(qiáng)大的文本生成能力和在少量標(biāo)注任務(wù)上的優(yōu)秀表現(xiàn)，然而基于提示詞學(xué)習(xí)的方法并未在大多數(shù)任務(wù)上超越預(yù)訓(xùn)練微調(diào)模型；2022年11月，ChatGPT的問(wèn)世展示了大語(yǔ)言模型的潛能，能夠完成復(fù)雜任務(wù)并在許多任務(wù)上超越有大語(yǔ)言模型的實(shí)現(xiàn)細(xì)節(jié)和訓(xùn)練過(guò)程仍存在許多復(fù)雜性，對(duì)研究人員提出了挑戰(zhàn)。同時(shí)，大語(yǔ)言模型的發(fā)展也帶來(lái)了一些挑戰(zhàn)和爭(zhēng)議，關(guān)于數(shù)據(jù)隱私、模型偏見(jiàn)和濫用等問(wèn)題引發(fā)了廣泛討論。為了解決這些問(wèn)題，研究更多的具備多模態(tài)功能的大模型也將很快推出，例如Google的Gemini，OpenAI的Gobi，開(kāi)源的NExT-信百會(huì)大模型與中小模型在未來(lái)幾年會(huì)并存。盡管大模型當(dāng)前表現(xiàn)優(yōu)異，但對(duì)于各行業(yè)使用者來(lái)說(shuō)，實(shí)際應(yīng)用于業(yè)務(wù)場(chǎng)景仍然存在較高的技術(shù)和成本門(mén)檻。從業(yè)務(wù)層面分析，一定會(huì)出現(xiàn)資源支持快速迭代對(duì)于用戶實(shí)際應(yīng)用來(lái)說(shuō)更為重要。用戶能夠在一個(gè)白盒大模型基礎(chǔ)上快速地、低成本地微調(diào)和迭代出定制化的小模型，才能高效地實(shí)現(xiàn)豐富場(chǎng)景的大模型應(yīng)用。模型需要持續(xù)迭代，表明了AI基礎(chǔ)軟件工具鏈當(dāng)前主流大模型是基于Transformer架構(gòu)進(jìn)行設(shè)計(jì)的。傳統(tǒng)的Transformer架構(gòu)通常具有二次計(jì)算復(fù)雜性，例如RWKV，RetNet等。Transformer，由于其架構(gòu)的出色并行性和容量，使得Transformer架構(gòu)已成為開(kāi)發(fā)各種大模型的事實(shí)標(biāo)準(zhǔn)骨干。一般來(lái)說(shuō)，主流大模型架構(gòu)可以分為4種類型，即Decoder-Only、Encoder-Only、Encoder-Decoder和MoE。Decoder-Only，典型代表是GPT和LLaMA等模型，Encoder-Only的典型代表是BERT和ALBERT等模型，Encoder-Decoder的典型代表是T5和BART等模型；值得特別注意的是，即使GPT-4的技術(shù)細(xì)節(jié)未公開(kāi)，業(yè)界的廣泛認(rèn)知是其使用了MRWKV，結(jié)合Transformer和RNN的優(yōu)勢(shì)，訓(xùn)練時(shí)能夠像Transformer那樣并行計(jì)算，推理時(shí)又能像RNN那樣高效。高效推理，對(duì)于降低模型成本，尤其是在端側(cè)部署有重要意義。RWKV的計(jì)算量與上下文長(zhǎng)度無(wú)關(guān)，對(duì)于更長(zhǎng)的上下文有更好的擴(kuò)展性。和RNN一樣，歷史信息是靠隱狀態(tài)（WKV）來(lái)記憶的，對(duì)于長(zhǎng)距離歷史信息的記憶不如Transformer，如何設(shè)計(jì)提示對(duì)模型的性能會(huì)有很大影響。RetNet，作為全新的神經(jīng)網(wǎng)絡(luò)架構(gòu)，同時(shí)實(shí)現(xiàn)了良好的擴(kuò)展性、并行訓(xùn)練、低成本部署和高效推理。在語(yǔ)言建模任務(wù)上RetNet可以達(dá)到與Transformer相當(dāng)?shù)睦Щ蠖龋╬er減少70%，具有良好的擴(kuò)展性，并且當(dāng)模型大小大于一定規(guī)模時(shí)，RetNet的性能表現(xiàn)會(huì)優(yōu)于Transformer。這些特性將使RetNet有可能成為T(mén)ransformer之后大語(yǔ)言模型基礎(chǔ)網(wǎng)絡(luò)架構(gòu)的有力繼承者。圖5RWKV網(wǎng)絡(luò)架構(gòu)基礎(chǔ)大模型是對(duì)世界知識(shí)的壓縮，從基礎(chǔ)模型到通用模型，模型的性能的構(gòu)建主要來(lái)源于包含四個(gè)階段：預(yù)訓(xùn)練、指令微調(diào)、獎(jiǎng)勵(lì)建模和對(duì)齊微調(diào)。這四個(gè)階段分別需要不同規(guī)模的數(shù)據(jù)集，采用不同的訓(xùn)練目標(biāo)，從預(yù)訓(xùn)練，在將大規(guī)模語(yǔ)料庫(kù)中的通用知識(shí)編碼到龐大的模型參數(shù)中起著關(guān)鍵作用。對(duì)于訓(xùn)練大模型，有兩指令微調(diào)，目標(biāo)是增強(qiáng)（或解鎖）大語(yǔ)言模型的能力，是一種提高大語(yǔ)言模型能力和可控性的有效技術(shù)。使用格式化的實(shí)例以有監(jiān)督的方式微調(diào)大語(yǔ)言模型（例如，使用序列到序列的損失進(jìn)行訓(xùn)練）。指令微調(diào)后，獎(jiǎng)勵(lì)建模，目標(biāo)是構(gòu)建一個(gè)模型，用于進(jìn)行文本質(zhì)量評(píng)價(jià)。在使用場(chǎng)景中，指令微調(diào)模型會(huì)根據(jù)一個(gè)提示信百會(huì)模型的對(duì)齊需要考慮不同的標(biāo)準(zhǔn)（例如有用性,誠(chéng)實(shí)性和無(wú)害性）。已有研究表明對(duì)齊微調(diào)可能會(huì)在某種程度上損害大語(yǔ)言模型的通用能力，這在相關(guān)研究中被稱為對(duì)齊稅。對(duì)齊微調(diào)是一項(xiàng)具有挑戰(zhàn)的工作。現(xiàn)有的很多ScalingLaw的指導(dǎo)意義OpenAI于2020年最先引入了語(yǔ)言模型縮放法則，他們認(rèn)為,增加模型大小比增加數(shù)據(jù)大小更重要。DeepMind于2022年提出幾乎完全相反的觀點(diǎn):以前的模型明顯訓(xùn)練不足,增加訓(xùn)練數(shù)據(jù)集的大小實(shí)際上會(huì)帶來(lái)影響模型性能最大的三個(gè)因素：計(jì)算量、數(shù)據(jù)集大小、模型參數(shù)量。當(dāng)其他因素不成為瓶頸時(shí)，這三個(gè)因OpenAI觀點(diǎn)：最佳計(jì)算效率訓(xùn)練是在相對(duì)適中的數(shù)據(jù)量上訓(xùn)練非常大的模型并在收斂之前EarlyStopping。影響模型性能的三個(gè)要素之間存在冪指數(shù)的關(guān)系，每個(gè)參數(shù)并受另外兩個(gè)參數(shù)影響。當(dāng)沒(méi)有其他兩個(gè)瓶頸時(shí)，性能會(huì)急劇上升，影響程度為計(jì)算量>參數(shù)>>數(shù)據(jù)集大小。訓(xùn)練要同時(shí)增大參數(shù)規(guī)模和數(shù)據(jù)集大DeepMind觀點(diǎn)：模型太小時(shí)，在較少數(shù)據(jù)上訓(xùn)練的較大模型將是一種改進(jìn)；模型太大時(shí)，在更多數(shù)據(jù)上可以通過(guò)ScalingLaw進(jìn)行模型性能的預(yù)測(cè)。隨著模型規(guī)模和復(fù)雜性的大幅增加，很難預(yù)測(cè)模型性能的變化。通過(guò)開(kāi)發(fā)更好的模型性能預(yù)測(cè)方法，或提出一些新架構(gòu)，使資源的利用更加高效，訓(xùn)練周期加速縮短。一些可能的方法包括：訓(xùn)練一個(gè)較小的“種子”模型并推斷其增長(zhǎng)，模擬IncreasedScale或ModelTweaks的效果，在不同規(guī)模上對(duì)模型進(jìn)行基準(zhǔn)測(cè)試以建立ScalingLaws。使用這些方法可以在模型構(gòu)建之前就洞察到模模型的可解釋性是指以人類可理解的方式解釋或呈現(xiàn)模型行為的能力。隨著大模型的不斷進(jìn)步，可解釋性將變得極其重要，以確保這些模型具有透明性、公平性和益處。大語(yǔ)言模型內(nèi)部機(jī)制仍然不明確，這種透明度的缺乏給下游應(yīng)用帶來(lái)了不必要的風(fēng)險(xiǎn)。因此，理解和解釋這些模型對(duì)于闡明其行為、消除局限性和降低社會(huì)模型的可解釋性從技術(shù)角度分為傳統(tǒng)微調(diào)范式的可解釋和提示范式的可解釋。傳統(tǒng)微調(diào)范式的解釋，用于解釋個(gè)體組件所學(xué)習(xí)的知識(shí)或語(yǔ)言屬性，解釋大語(yǔ)言模型如何為特定輸入做出預(yù)測(cè)。提示范式的解釋，目標(biāo)是為提高模型預(yù)測(cè)的理解度，幫助用戶建立適當(dāng)?shù)男湃?，同時(shí)也有助于研究人員和開(kāi)發(fā)者發(fā)現(xiàn)模型的潛在問(wèn)問(wèn)題。數(shù)據(jù)質(zhì)量、數(shù)據(jù)重復(fù)、數(shù)據(jù)不一致及模型對(duì)自身能力的高估是導(dǎo)致幻覺(jué)產(chǎn)生的重要原因。在文本生成等檢索、不確定度測(cè)量等方式緩解幻覺(jué)。盡管減少幻覺(jué)取得一定進(jìn)展，但可靠評(píng)估、多語(yǔ)言場(chǎng)景、模型安全性等一些研究表明大語(yǔ)言模型能與人類判斷高度對(duì)齊，在某些任務(wù)上甚至優(yōu)于人類判斷，讓我們看到了超級(jí)智能實(shí)現(xiàn)的曙光。超級(jí)智能是一把雙刃劍，有助于解決許多重要問(wèn)題，同時(shí)也可能削弱人類的權(quán)力并威脅我們的安全。為了治理這些風(fēng)險(xiǎn)，急需建立新的治理OpenAI于23年7月首次提出超級(jí)對(duì)齊的概念，認(rèn)為人類目前無(wú)法可靠地監(jiān)督那些比人類還聰明的人工智能系統(tǒng)。其將投入20%的計(jì)算資源，花費(fèi)4年的時(shí)間全力打造一個(gè)超級(jí)對(duì)齊系統(tǒng)，意在解決超級(jí)智能的對(duì)齊問(wèn)題。雖然當(dāng)前的技術(shù)進(jìn)展與這個(gè)理想仍有差距，但我們有理由相信研究者們能開(kāi)發(fā)出具有超級(jí)對(duì)齊能力的AI系信百會(huì)多模態(tài)大語(yǔ)言模型（MLLM）是近年來(lái)興起的一個(gè)新的研究熱點(diǎn)，它利用強(qiáng)大的大語(yǔ)言模型作為大腦來(lái)執(zhí)行多模態(tài)任務(wù)。其中，OpenAI宣布ChatGPT新增了圖片識(shí)別和語(yǔ)音能力，使得ChatGPT不僅可以進(jìn)行文字交流，還可以給它展示圖片并進(jìn)行互動(dòng)，這是ChatGPT向多模態(tài)進(jìn)化的一次重大升級(jí)。OpenAI聯(lián)合創(chuàng)始人，ChatGPT架構(gòu)師JohnSchulman認(rèn)為，添加多模態(tài)功能會(huì)給大模型帶來(lái)極大的性能提升，“如果擴(kuò)展出現(xiàn)邊際收益遞減，那么添加多模態(tài)就能讓模型獲得文本中無(wú)法獲得的知識(shí)，并有可能掌握純語(yǔ)言模型無(wú)法完成的任務(wù)。例如，通過(guò)觀看與物理世界甚至是與電腦屏幕互動(dòng)的視頻，模型能獲從發(fā)展通用人工智能的角度來(lái)看，MLLM可能比LLM向前更近了一步。MLLM更符合人類感知世界的方得益于多模態(tài)輸入的支持，用戶可以用更靈活的方式與智能助手進(jìn)行交互；MLLM是一個(gè)更全面的任務(wù)解決者。雖然LLM通?？梢詧?zhí)行NLP任務(wù)，但MLLM通常可以支持更大范圍的任務(wù)。目前的MLLM在感知能力方面仍然有限，導(dǎo)致視覺(jué)信息獲取不完整或錯(cuò)誤，這可能是由于信息容量和計(jì)算負(fù)擔(dān)之間的折衷產(chǎn)生的。MLLM的推理鏈很脆弱，改進(jìn)多模態(tài)推理的主題值得研究。MLLM的指令跟隨能力需要升級(jí)，指令調(diào)整可能需要涵蓋更多的任務(wù)來(lái)提高泛化能力?；糜X(jué)問(wèn)題很普遍，這在很大程度上影響了MLLM分詞算法與分詞器作作為大語(yǔ)言模型的基礎(chǔ)組件，是將字符序列轉(zhuǎn)化為數(shù)字序列，起到文本與模型間橋梁分詞算法大致經(jīng)歷了從Word/Char到Subword的進(jìn)化，當(dāng)前的主流分詞算法是BPE、WordPiece、Sentencepiece和Unigram等算法。注意力機(jī)制是Transformer的關(guān)鍵組成部分。它允許序列中的標(biāo)記相互交互，并計(jì)算輸入和輸出序列的表示。自注意力機(jī)制的時(shí)間和存儲(chǔ)復(fù)雜度與序列的長(zhǎng)度呈平方的關(guān)系，占用了大量的計(jì)算設(shè)備內(nèi)存并消耗大量計(jì)全注意力。在傳統(tǒng)的Transformer中，注意力機(jī)制以成對(duì)的方式進(jìn)行，考慮序列中所有標(biāo)記對(duì)之間的關(guān)系。同時(shí)，Transformer使用多頭注意力而不是單一注意力，將查詢、鍵和值分別投影到不同頭部的不同投影稀疏注意力。全注意力的一個(gè)重要挑戰(zhàn)是二次計(jì)算復(fù)雜度，在處理長(zhǎng)序列時(shí)會(huì)帶來(lái)負(fù)擔(dān)。因此，提出了各種高效的稀疏注意力來(lái)減少注意力機(jī)制的計(jì)算復(fù)雜度，每個(gè)查詢只能根據(jù)位置關(guān)系關(guān)注標(biāo)記的子集，而不是整多查詢/分組查詢注意力。多查詢注意力是指不同頭部在鍵和值上共享相同它可以顯著減少計(jì)算成本，只犧牲少量模型質(zhì)量。具有多查詢注意力的代表性模型包括PaLM和StarCoder。分組查詢注意力在多查詢注意力和多頭注意力之間進(jìn)行權(quán)衡，頭部被分配到不同的組中，屬于同一組的頭部將共享相同的變換矩陣。特別地，分組查詢注意力在LLaMA2模型中得到了采用和經(jīng)驗(yàn)驗(yàn)證。FlashAttention。與大多數(shù)現(xiàn)有的近似注意力方法不同，這些方法在提高計(jì)算效率的同時(shí)犧牲了模型質(zhì)量，F(xiàn)lashAttention從IO感知的角度優(yōu)化了GPU上注意力模塊的速度和內(nèi)存消耗。FlashAttention作為CUDA中的融合核心實(shí)現(xiàn)，已經(jīng)集成到PyTorch、DeepSpeed和Megatron-LM中。更新的FlashAttention-2進(jìn)一步優(yōu)化了GPU線程塊和warp的工作劃分，相比原始FlashAttention，速度提高了約2倍。PagedAttention。將每個(gè)序列劃分為子序列，并將這些子序列的相應(yīng)KV緩存分配到非連續(xù)的物理塊中。分頁(yè)技術(shù)提高了GPU利用率，并實(shí)現(xiàn)了并行采樣中的高效內(nèi)存共享。PagedAttention解決了因輸入長(zhǎng)度經(jīng)常變擴(kuò)張注意力。設(shè)計(jì)原則是隨著token之間距離的增長(zhǎng)，注意力分配呈指數(shù)級(jí)下降。因此具有線性的計(jì)算復(fù)雜性和對(duì)token之間的對(duì)數(shù)依賴性，可以解決有限的注意力資源和token可訪問(wèn)性之間的矛盾。預(yù)訓(xùn)練在大語(yǔ)言模型編碼一般知識(shí)方面起關(guān)鍵作用，是大模型獲取能力的基礎(chǔ)。通過(guò)在大規(guī)模語(yǔ)料庫(kù)上進(jìn)行預(yù)訓(xùn)練，大語(yǔ)言模型可以獲得基本的語(yǔ)言理解和生成能力。在這個(gè)過(guò)程中，預(yù)訓(xùn)練語(yǔ)料庫(kù)的規(guī)模和質(zhì)量對(duì)于信百會(huì)從一些數(shù)據(jù)上可以看出，模型預(yù)訓(xùn)練是一項(xiàng)高成本的工作，需要不斷進(jìn)行優(yōu)化。例如：GPT-3175B單次訓(xùn)練花費(fèi)460萬(wàn)美元；訓(xùn)練PaLM兩個(gè)月左右耗費(fèi)約3.4Gwh；GPT-3175B訓(xùn)練了4990億個(gè)Token；OpenAI訓(xùn)練集群包括285kCPU和10kHigh-EndGPU。隨著語(yǔ)言模型參數(shù)量和所需訓(xùn)練數(shù)據(jù)量的急速增長(zhǎng)，單個(gè)機(jī)器上有限的資源已無(wú)法滿足大語(yǔ)言模型訓(xùn)練的要求。需要設(shè)計(jì)分布式訓(xùn)練系統(tǒng)來(lái)解決海量的計(jì)算和內(nèi)存資源要求問(wèn)題。在分布式訓(xùn)練系統(tǒng)環(huán)境下需要將一個(gè)模型訓(xùn)練任務(wù)拆分成多個(gè)子任務(wù)，并將子任務(wù)分發(fā)給多個(gè)計(jì)算設(shè)備，從而解決資源瓶頸。但是如何才能利用包括數(shù)萬(wàn)計(jì)算加速芯片的集群，訓(xùn)練參數(shù)量千億甚至是萬(wàn)億的大規(guī)模語(yǔ)言模型？這其中涉及到集群架構(gòu)、并行策訓(xùn)練數(shù)十億參數(shù)的大語(yǔ)言模型通常是一個(gè)高度實(shí)驗(yàn)性的過(guò)程,需要進(jìn)行大量的試錯(cuò)。隨著模型和數(shù)據(jù)的規(guī)模增加，有限的計(jì)算資源下高效地訓(xùn)練大語(yǔ)言模型變得具有挑戰(zhàn)性。有兩個(gè)主要的技術(shù)問(wèn)題需要解決，即提高訓(xùn)練吞吐量和加載更大模型到顯存中。當(dāng)前的優(yōu)化方案包括3D并行，ZeRO和混合精度訓(xùn)練。大語(yǔ)言模型推理面臨計(jì)算資源的巨大需求和計(jì)算效率的挑戰(zhàn)。大語(yǔ)言模型的推理速度每提高1%，都將比擬谷歌搜索引擎推理速度提高1%的經(jīng)濟(jì)價(jià)值（--英偉達(dá)JimFan）。優(yōu)化推理性能不僅可以減少硬件成本，大模型推理主要是考慮延遲和吞吐量。模型推理一般是自回歸型的任務(wù)，往往是顯存密集型的任務(wù)，除了模型占用顯存外，KVcache本身也會(huì)占用大量的顯存；大模型太大的時(shí)候，單機(jī)無(wú)法存放，這時(shí)候需要分布式主流推理框架有vLLM、TextGenerationInference、FasterTransformer。推理的計(jì)算優(yōu)化有算子融合，高性能算子編寫(xiě)。推理的分布式優(yōu)化有Tensor并行，Pipeline并行等。低精度優(yōu)化有FP16、INT8、INT4量化推理，WeightOnly量化等。推理算法優(yōu)化可以通過(guò)去除無(wú)效算子，減少不必要的算子執(zhí)行等方式；批量推理優(yōu)化可以使用ContinuousBatch，DynamicBatch等方式；解碼方式優(yōu)化有投機(jī)解碼，多解碼頭解碼上下文長(zhǎng)度是大模型的關(guān)鍵限制之一。大型上下文窗口可讓模型更加準(zhǔn)確、流暢，提升模型創(chuàng)造力。大部分模型的長(zhǎng)度為2k，Claude擴(kuò)展到了10k，LongNet更是將上下文長(zhǎng)度擴(kuò)展到了10億。增加上下文長(zhǎng)度，可以從不同角度進(jìn)行實(shí)現(xiàn)：更好外推能力的位置編碼，注意力計(jì)算優(yōu)化，模型參數(shù)的條件計(jì)算，增加GPU顯存等。通過(guò)位置插值擴(kuò)展大語(yǔ)言模型上下文窗口相對(duì)容易。位置插值通過(guò)小代價(jià)的微調(diào)來(lái)顯著擴(kuò)展大模型的上下文窗口，在保持原有擴(kuò)展模型任務(wù)能力的基礎(chǔ)上，顯著增加模型對(duì)于長(zhǎng)文本的建模能力。另一個(gè)優(yōu)勢(shì)是，通過(guò)位置插值擴(kuò)展的模型可以充分重用現(xiàn)有的預(yù)訓(xùn)練大語(yǔ)言模型和優(yōu)化方法，這在實(shí)際應(yīng)用中具有很大吸引力。使用原模型預(yù)訓(xùn)練數(shù)據(jù)規(guī)模大約0.1%的代表性樣本進(jìn)行微調(diào)，就能實(shí)現(xiàn)當(dāng)前最佳的上下文窗口擴(kuò)展性能。以GPT-175B模型為例，它擁有1750億參數(shù)，至少需要320GB（以1024的倍數(shù)計(jì)算）的半精度（FP16）格大模型壓縮技術(shù)的最新進(jìn)展，主要分布在模型剪枝、知識(shí)蒸餾、低秩因式分解、模型量化等領(lǐng)域。在進(jìn)行大模型壓縮評(píng)估的主要衡量標(biāo)準(zhǔn)，是對(duì)比未壓縮大模型的壓縮有效性、推理效率和準(zhǔn)確性。模型壓縮的核心指標(biāo)包括模型的型號(hào)尺寸、壓縮率、推理時(shí)間、浮點(diǎn)運(yùn)算等，分別從模型的磁盤(pán)或內(nèi)存空間占用，性能不變時(shí)的有效壓縮占比，推理時(shí)處理和生成輸入數(shù)據(jù)的響應(yīng)時(shí)間，處理輸入數(shù)據(jù)時(shí)浮點(diǎn)數(shù)的運(yùn)算量這些方面進(jìn)行指大模型與數(shù)據(jù)的相互作用確保了模型的初始性能，并且可以通過(guò)數(shù)據(jù)對(duì)大模型進(jìn)行微調(diào)以使其適應(yīng)新的任務(wù)，這同時(shí)驅(qū)動(dòng)了整個(gè)AI生態(tài)系統(tǒng)，包括硬件、優(yōu)化技術(shù)和數(shù)據(jù)處理等領(lǐng)域的不斷進(jìn)步。大模型和訓(xùn)練數(shù)據(jù)共信百會(huì)在AI領(lǐng)域的百模大戰(zhàn)中，大型語(yǔ)言模型的訓(xùn)練成為了一個(gè)關(guān)鍵的競(jìng)爭(zhēng)領(lǐng)域。數(shù)據(jù)、算法和算力作為大模型訓(xùn)練的三駕馬車，在這場(chǎng)競(jìng)爭(zhēng)中發(fā)揮著至關(guān)重要的作用。其中，數(shù)據(jù)集作為大模型訓(xùn)練的基石，對(duì)于模型性能1、開(kāi)源數(shù)據(jù)集：各個(gè)研究領(lǐng)域都存在一些廣為人知的開(kāi)源數(shù)據(jù)集，如圖像領(lǐng)域的ImageNet、MNIST，或間，主要利用不完全或模糊的標(biāo)簽，而不是完全標(biāo)注的數(shù)據(jù)。與傳統(tǒng)的有監(jiān)督學(xué)習(xí)需要為每個(gè)樣本提供明確標(biāo)簽不同，弱監(jiān)督學(xué)習(xí)可以利用少量標(biāo)注數(shù)據(jù)和大量未標(biāo)注數(shù)據(jù)。這種方法在現(xiàn)實(shí)中尤為重要，因?yàn)楂@取大量標(biāo)注數(shù)據(jù)既昂貴又耗時(shí)。其工作原理包括使用啟發(fā)式或基于規(guī)則的方法為未標(biāo)注數(shù)據(jù)生成標(biāo)簽，利用半監(jiān)督學(xué)習(xí)而非傳統(tǒng)收集方式，尤其適用于原始數(shù)據(jù)難獲得或涉及隱私的場(chǎng)景。它能解決數(shù)據(jù)不足問(wèn)題，增強(qiáng)數(shù)據(jù)集多樣在數(shù)據(jù)的使用上，企業(yè)必須確保數(shù)據(jù)的合法性、隱私和安全。數(shù)據(jù)收集、處理和使用應(yīng)遵守法律，保護(hù)用戶隱私，在追求技術(shù)創(chuàng)新的同時(shí)，確保數(shù)據(jù)的合法性、隱私保護(hù)和倫理問(wèn)題的考量也應(yīng)當(dāng)?shù)玫阶銐蛑匾暎瑪?shù)據(jù)來(lái)源的知識(shí)產(chǎn)權(quán)已經(jīng)成為大模型發(fā)展的一個(gè)問(wèn)題。同時(shí)，數(shù)據(jù)和隱私的平衡是大模型應(yīng)用面臨的一個(gè)重要問(wèn)題，用于生成式人工智能大模型的預(yù)訓(xùn)練、優(yōu)化數(shù)據(jù)，應(yīng)符合相關(guān)法律法規(guī)的要求，不含有侵犯知識(shí)產(chǎn)權(quán)的內(nèi)容，可以揭示數(shù)據(jù)背后的信息，但恰是因?yàn)檫@種廣闊性，它們需要大量、多樣化且有代表性的數(shù)據(jù)來(lái)防止過(guò)度擬合多種結(jié)構(gòu)和模式的學(xué)習(xí)，為大模型打下良好全面的基礎(chǔ)。進(jìn)入微調(diào)或任務(wù)特定訓(xùn)練階段，數(shù)據(jù)需要高度相關(guān)和有代表性，確保模型能夠?qū)Ｗ⒂谔囟ㄈ蝿?wù)的細(xì)節(jié)和特征。在驗(yàn)證與測(cè)試階段，數(shù)據(jù)集應(yīng)當(dāng)獨(dú)立、多樣且真實(shí)，可以全面評(píng)估模型在未知數(shù)據(jù)上的性能。在整個(gè)流程中，數(shù)據(jù)的質(zhì)量、時(shí)評(píng)估大模型的通用能力不僅是對(duì)其在特定任務(wù)上的性能進(jìn)行度量，還應(yīng)當(dāng)探究大模型在廣泛、多樣化的任務(wù)和場(chǎng)景中的適應(yīng)性和魯棒性。多任務(wù)學(xué)習(xí)評(píng)測(cè)能夠檢測(cè)模型是否能在多種任務(wù)上保持其性能，從而真實(shí)地反的解釋性和可視化評(píng)測(cè)可以提供模型決策過(guò)大模型的評(píng)測(cè)模式也有多種：通用數(shù)據(jù)集的選擇題評(píng)分；GPT4更優(yōu)模型評(píng)分；競(jìng)技場(chǎng)模式評(píng)分；單項(xiàng)能力的評(píng)分；通用測(cè)試的場(chǎng)景測(cè)試評(píng)分。評(píng)測(cè)數(shù)據(jù)分為通用數(shù)據(jù)和場(chǎng)景數(shù)據(jù)。但目前大模型的評(píng)測(cè)任務(wù)仍然缺少評(píng)測(cè)榜單的數(shù)據(jù)多樣性：國(guó)內(nèi)眾多評(píng)測(cè)榜單，如SuperCLUE、OpenCompass和智源的FlagEval，雖然在某些數(shù)據(jù)集上有所交集，例如C-Eval、CMMLU和MMLU，但它們也都有各自獨(dú)特的數(shù)據(jù)集特點(diǎn)。這種多樣性評(píng)測(cè)策略的多變性：同一數(shù)據(jù)集可能因?yàn)樵u(píng)測(cè)策略的不同而導(dǎo)致模型得分的巨大差異。例如，OpenCompass和智源的FlagEval在Qwen-Chat數(shù)據(jù)集上的評(píng)測(cè)方法可能存在細(xì)微差別，從而導(dǎo)致了不同的評(píng)評(píng)測(cè)得分的真實(shí)性挑戰(zhàn)：一些評(píng)測(cè)題目，特別是選擇題，可能并不完全反映模型的真實(shí)理解能力。模型可信百會(huì)盡管評(píng)測(cè)是基于涵蓋廣泛類別的綜合測(cè)試集，如《麻省理工科技評(píng)論》的600道題目，涵蓋了多個(gè)類別和子類別；或是IDC的多層次評(píng)測(cè)方法，將大模型分為服務(wù)生態(tài)、產(chǎn)品技術(shù)和行業(yè)應(yīng)用三層，去評(píng)測(cè)每一層的能力。但由于大模型領(lǐng)域和應(yīng)用廣泛，不同的領(lǐng)域和應(yīng)用需要不同的評(píng)測(cè)標(biāo)準(zhǔn)和方法，大模型的評(píng)測(cè)仍面臨著諸多挑戰(zhàn)。例如，評(píng)測(cè)結(jié)果可能會(huì)被用于營(yíng)銷的工具，從而導(dǎo)致測(cè)評(píng)的真實(shí)意義被忽視；開(kāi)源和閉源之間的選擇權(quán)衡帶來(lái)的公正性問(wèn)題，開(kāi)源測(cè)評(píng)可能會(huì)導(dǎo)致受試模型提前訓(xùn)練以提高分?jǐn)?shù)，而閉源測(cè)評(píng)可能會(huì)引發(fā)對(duì)評(píng)測(cè)的公正性的質(zhì)疑；并且，目前行業(yè)內(nèi)缺乏統(tǒng)一評(píng)測(cè)標(biāo)準(zhǔn)，尚未出現(xiàn)一個(gè)廣泛認(rèn)可的大模型評(píng)測(cè)標(biāo)準(zhǔn)或方法，各評(píng)盡管如此，行業(yè)普遍認(rèn)為評(píng)測(cè)為用戶提供了選擇大模型的選擇參考，并期待大模型的評(píng)測(cè)技術(shù)可以綜合評(píng)2.4生成式AI應(yīng)用開(kāi)發(fā)技術(shù)生成式AI技術(shù)落地企業(yè)需要圍繞大模型進(jìn)行應(yīng)用的開(kāi)發(fā)，隨著大模型相關(guān)應(yīng)用開(kāi)發(fā)流程逐漸標(biāo)準(zhǔn)化，應(yīng)用中不同功能的組成部分逐漸被抽象成大模型的應(yīng)用組件，這類模塊化的組件易于添加和更改，能夠快速敏捷地根據(jù)場(chǎng)景需要進(jìn)行組合及適配，每種組件都有與之對(duì)應(yīng)的技術(shù)。一個(gè)大模型應(yīng)用在設(shè)計(jì)時(shí)除大模型本身外可能提示工程（PromptEngineering）是一門(mén)較新的學(xué)科，關(guān)注提示詞開(kāi)發(fā)和優(yōu)化，幫助用戶將大語(yǔ)言模型用于各場(chǎng)景和研究領(lǐng)域。提示是一種自然語(yǔ)言文本，要求生成式AI執(zhí)行特定任務(wù)，其每個(gè)組成部分都會(huì)對(duì)最終輸出產(chǎn)生影響，因此提示需要模板來(lái)進(jìn)行設(shè)計(jì)與編排，用于幫助模型生成理想的輸出。提示模板整合了模型任務(wù)信百會(huì)身認(rèn)知范圍外的問(wèn)題。外部知識(shí)的使用不需要改變大模型自身的權(quán)重參數(shù)，因此相比于通過(guò)微調(diào)來(lái)增強(qiáng)模型的零樣本（Zero-Shot）上下文學(xué)習(xí)，有效的單樣本和少樣本學(xué)習(xí)（One-Shot/Few-ShotLearning）的輸出更加有時(shí)需要先判斷用戶輸入所對(duì)應(yīng)的意圖，然后再根據(jù)用戶的意圖選擇對(duì)應(yīng)的工作流程，用于整合編排出模型的覺(jué)”是指模型生成不正確，無(wú)意義或不真實(shí)的文本的現(xiàn)象。大模型的底層原理是基于概率，如果大模型的專業(yè)除此之外的信息模型無(wú)從知曉。同樣的，一些非公開(kāi)數(shù)據(jù)，比如企業(yè)內(nèi)部數(shù)據(jù)，知識(shí)素材，從而在保證數(shù)據(jù)安全的基礎(chǔ)上控制輸出內(nèi)容。以下將分別介紹三種企業(yè)私域知識(shí)管理和應(yīng)用的方法：圖像、文本和音視頻等非結(jié)構(gòu)化數(shù)據(jù)都可以通過(guò)數(shù)據(jù)提取(Loading)、分塊(Chunking)和嵌入學(xué)習(xí)轉(zhuǎn)化為語(yǔ)義向量(Embedding)，變成計(jì)算機(jī)可以理解的格式，這一過(guò)程被稱為向量化。由此一來(lái)，兩個(gè)語(yǔ)義的相似度就能根據(jù)語(yǔ)義以及上下文含義查找最相似或相關(guān)的數(shù)據(jù)，而不是使用基于精確匹配或預(yù)定義標(biāo)準(zhǔn)查詢數(shù)據(jù)庫(kù)的量數(shù)據(jù)庫(kù)也是一種數(shù)據(jù)庫(kù)，除了管理向量數(shù)據(jù)外，還支持對(duì)傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)的管理。另一方面，向量數(shù)據(jù)庫(kù)在一是用做外部知識(shí)庫(kù)，存儲(chǔ)企業(yè)中的非結(jié)構(gòu)化數(shù)據(jù)。使用時(shí)，通過(guò)檢索所需要的企業(yè)內(nèi)部知識(shí)，以提示的方式注入給模型，就能通過(guò)大語(yǔ)言模型的上下文學(xué)習(xí)能力，加強(qiáng)模型的知識(shí)與信息范圍。如何保證召回知識(shí)的二是用作記憶庫(kù)，存儲(chǔ)模型的輸出結(jié)果。將大模型的交互記錄存儲(chǔ)起來(lái)，在需要的場(chǎng)景中，作為外部知識(shí)值得注意的是接入外部知識(shí)時(shí)，由于現(xiàn)階段大模型對(duì)輸入文本長(zhǎng)度有一定的限制要求，所以對(duì)于長(zhǎng)文本，不能一次性將所有內(nèi)容輸入給大模型。需要對(duì)文本進(jìn)行分割，分別處理后合并。目前常見(jiàn)的三種方法包括Map-Reduce方法,Refine方法和Map-Rerank方法。信百會(huì)是一個(gè)符號(hào)推理系統(tǒng)，側(cè)重模擬人的心智，研究怎樣用計(jì)算機(jī)符號(hào)表示人腦中的知識(shí)并模擬心智的推理過(guò)程，其中知識(shí)圖譜就是其典型代表。連接主義則認(rèn)為智能活動(dòng)是由大量簡(jiǎn)單的單元通過(guò)復(fù)雜的相互連接后并行運(yùn)行圖譜概念最初被提出時(shí)，由于在設(shè)計(jì)、維護(hù)和標(biāo)準(zhǔn)化等方面的成本過(guò)高，這項(xiàng)技術(shù)并沒(méi)有受到人們的廣泛關(guān)注。而在大模型時(shí)代，人們?cè)谑褂弥邪l(fā)現(xiàn)大模型性能強(qiáng)大但難以被控制，而知識(shí)圖譜這種結(jié)構(gòu)化，高密度的知識(shí)表達(dá)形式，恰好適合彌補(bǔ)大模型推理與輸出結(jié)果的低可解釋性。同時(shí)，大模型可以在知識(shí)圖譜的設(shè)計(jì)、維護(hù)和標(biāo)準(zhǔn)化等方面提供解決方案，降低成本。由此，大模型與知識(shí)圖譜的組合，漸漸被引入各個(gè)應(yīng)用場(chǎng)景。知知識(shí)圖譜搭建時(shí)必需的本體結(jié)構(gòu)設(shè)計(jì)、信息抽取、實(shí)體消歧、實(shí)體對(duì)齊、關(guān)系挖掘等需要處理文本的地方，并2、知識(shí)圖譜增強(qiáng)大語(yǔ)言模型：在給定文本輸入的情況下，用大模型生成邏輯查詢，然后在知識(shí)圖譜上執(zhí)行該查詢以獲取需要的子圖，生成結(jié)構(gòu)化上下文。最后，將結(jié)構(gòu)化上下文與文本信息融合以生成最終的輸出。如上下文學(xué)習(xí)讓大模型能夠通過(guò)檢索知識(shí)庫(kù)來(lái)獲得某一特定知識(shí)或者擁有某一特定記憶。而如果通過(guò)監(jiān)督微隨著模型變得越來(lái)越大，在消費(fèi)級(jí)硬件上對(duì)模型進(jìn)行全部參數(shù)的微調(diào)變得不可行。此外，為每個(gè)下游任務(wù)獨(dú)立存儲(chǔ)和部署微調(diào)模型變得非常昂貴，因?yàn)槲⒄{(diào)模型與原始預(yù)訓(xùn)練模型的大小相同。參數(shù)高效微調(diào)(PEFT)方當(dāng)下流行的PEFT方法包括AdaptorTuning,、PromptTuning、PrefixTuning、P-Tuning等。但需要注意的是，信百會(huì)強(qiáng)大的邏輯推理能力是大模型“智能涌現(xiàn)”出的核心能力之一，讓AI如同具備人的意識(shí)，而其中的關(guān)鍵在于思維鏈（ChainofThought，CoT）技術(shù)。在思維鏈中，問(wèn)題被拆解為多個(gè)推理步驟，每一步的輸出都作為下一步的上下文輸入，從而使模型能夠逐步推導(dǎo)出答案。此外，思維鏈可以基于零樣本或少樣本的方式來(lái)設(shè)計(jì)，提供有效樣例的思維鏈能生成更穩(wěn)定的推理步驟，適用于自由度較小的應(yīng)用場(chǎng)景，但同時(shí)也受到模型理解能力和上下文窗口長(zhǎng)度的限制。思維鏈有助于解決各類復(fù)雜的問(wèn)題，但受限于模型性能，模型并不總能得到正確的中間推理步驟，從而難以穩(wěn)定地生成準(zhǔn)確的最終結(jié)果，由此需要更加穩(wěn)定的思維過(guò)程?；谒季S鏈的概念，近幾個(gè)月提出了許多基于自一致性思維鏈CoT-SC（Self-Consistency單一路徑的思維鏈難免會(huì)生成失敗的中間推理步驟，并導(dǎo)致推理的失敗。因此，生成多條推理路徑，并從眾多的推理結(jié)果中選擇最一致的答案，能夠提高模型輸出的準(zhǔn)思維樹(shù)ToT（TreeofThoughts通過(guò)將樹(shù)狀推理結(jié)構(gòu)引入思維鏈，從而得到思維樹(shù)。思維樹(shù)的特點(diǎn)是在每個(gè)中間推理步驟都會(huì)引出不同的分支并檢測(cè)其正確性，在失敗的時(shí)候結(jié)束這個(gè)分支并在需要時(shí)退回到上一正確節(jié)點(diǎn)。在眾多分支推理完成后，和多鏈路的CoT相似，從多個(gè)推理結(jié)果中選擇最優(yōu)的或者最一致的答案。思維圖GoT（GraphofThoughts思維圖是思維樹(shù)的一個(gè)變種。思維樹(shù)的每條分支推理路徑和其他路徑互不關(guān)聯(lián)，是一種相對(duì)更加獨(dú)立的推理方式，而思維圖中每個(gè)的中間推理步驟都會(huì)結(jié)合上一層其他的推理步驟。以上這些思維鏈的加強(qiáng)策略主要是通過(guò)增加推理的路徑和分支來(lái)提升模型推理的準(zhǔn)確性和穩(wěn)定性。但由于使用了多條思維路徑，大模型的推理次數(shù)也會(huì)有所增加，在設(shè)計(jì)應(yīng)用的時(shí)候需要根據(jù)場(chǎng)景選擇性能與成本合適在大模型解決對(duì)應(yīng)的任務(wù)時(shí)，有時(shí)候大模型并不具備完成特定任務(wù)的能力，或者難以通過(guò)自身獲得準(zhǔn)確有效的答案。因此在實(shí)際的應(yīng)用落地時(shí)，大模型會(huì)經(jīng)常需要外部工具的輔助來(lái)解決對(duì)應(yīng)問(wèn)題。通過(guò)將工具使用和思維鏈技術(shù)結(jié)合，從而得到以ReAct為代表的基于思考+行動(dòng)（Reasoning+Acting）的工具鏈。工具鏈通過(guò)觀察在行動(dòng)中使用工具得到的輸出，結(jié)合宏觀任務(wù)目標(biāo)來(lái)思考并計(jì)劃下一步驟的行動(dòng)計(jì)劃。在此處，工具也可以被視為處理特定任務(wù)的專家模塊，大模型作為路由器將任務(wù)的每個(gè)步驟路由到最合適的專家模塊來(lái)完成，這種模塊化推理、知識(shí)和語(yǔ)言的系統(tǒng)最早由AI21Labs公司所提出，被稱作MRKL式神經(jīng)符號(hào)架構(gòu)，適用于復(fù)雜推符號(hào)類工具通常是函數(shù)或者API接口，例如數(shù)學(xué)計(jì)算器、聯(lián)網(wǎng)查詢器、計(jì)時(shí)器等等。通過(guò)將代碼封裝成函數(shù)或者API并對(duì)這些工具進(jìn)行功能描述，就可以讓大模型在行動(dòng)中調(diào)用對(duì)應(yīng)的工具，從而解決模型本身難以解神經(jīng)類工具是一些參數(shù)規(guī)模通常更小、用于完成特定任務(wù)的小模型或者專業(yè)知識(shí)領(lǐng)域的大模型，例如OCR模型、關(guān)鍵詞提取模型、意圖識(shí)別模型、圖像識(shí)別模型等等，這些模型通用性不強(qiáng)，但在專業(yè)領(lǐng)域上的表現(xiàn)強(qiáng)對(duì)于實(shí)際的應(yīng)用場(chǎng)景來(lái)說(shuō)，工具鏈讓模型擁有了解決自身能力外任務(wù)的可能性。工具的使用不僅可以拓展信百會(huì)智能體Agent在大模型時(shí)代之前，智能體（Agent）的概念就已經(jīng)出現(xiàn)在強(qiáng)化學(xué)習(xí)領(lǐng)域，能通過(guò)感知環(huán)境的狀態(tài)并根據(jù)已有的行動(dòng)策略選擇對(duì)應(yīng)的動(dòng)作，并影響環(huán)境狀態(tài)的變化。在大模型時(shí)代，智能體得到了大模型強(qiáng)大的生成能力的加持，對(duì)自身與環(huán)境的理解相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)更加深刻，能夠在自由度更高的情況下生根據(jù)宏觀目標(biāo)生基礎(chǔ)的智能體結(jié)構(gòu)包含了三類主要功能組件：規(guī)劃器、感知器、以及執(zhí)行器。這三個(gè)組件的相互結(jié)合為智規(guī)劃器：大語(yǔ)言模型驅(qū)動(dòng)的規(guī)劃器通過(guò)對(duì)宏觀任務(wù)的理解、環(huán)境與自身的感知、以及先前行動(dòng)結(jié)果反饋的記憶與解析，綜合思考并規(guī)劃出下一步驟的行動(dòng)。其背后的設(shè)計(jì)方法類似于思維鏈的設(shè)計(jì)思路且有多種，例如：ReAct式的逐步規(guī)劃、BabyAGI式的統(tǒng)一規(guī)劃、多路徑式的最優(yōu)路徑規(guī)劃等等。在計(jì)劃生成之后，后續(xù)可以通過(guò)觀察行動(dòng)執(zhí)行結(jié)果對(duì)計(jì)劃進(jìn)行反思及優(yōu)化（ReflectionandRefinement）。規(guī)劃器對(duì)模型文本理解與生成能力的要求較高，需要有良好的上下文理解能力、指令遵循能力和步驟推理能力，以便綜合考慮所有相關(guān)信息、基于感知器所能提供的不同種類的信息來(lái)源，規(guī)劃器才能不斷地在環(huán)境中做出正確的判斷與決策，生成適執(zhí)行器：在智能體的工作流程中，計(jì)劃中每步的行動(dòng)都基于工具的使用。執(zhí)行器需要將來(lái)自規(guī)劃器的行動(dòng)指令轉(zhuǎn)化成工具的選擇以及符合規(guī)范的工具輸入，因?yàn)榇蟛糠止ぞ唠y以直接解析模型輸出的非結(jié)構(gòu)化的文本。在行動(dòng)完成后，需要執(zhí)行器及使用的工具生成行動(dòng)結(jié)果的反饋，并傳遞至規(guī)劃器用于生成或調(diào)整下一步的行動(dòng)智能體的組件在設(shè)計(jì)的過(guò)程中可以根據(jù)應(yīng)用場(chǎng)景的需要選擇不同的設(shè)計(jì)方法，就例如規(guī)劃器可以使用逐步規(guī)劃或者統(tǒng)一規(guī)劃、單一路徑或者多路徑的方式，感知器可以基于不同的模態(tài)或不同的解析方式，執(zhí)行器則可以使用現(xiàn)有的API接口或者自己設(shè)計(jì)的工具。設(shè)計(jì)者能根據(jù)場(chǎng)在自由度較高的應(yīng)用場(chǎng)景中，可以通過(guò)讓智能體獲得學(xué)習(xí)能力來(lái)提升其環(huán)境適應(yīng)性。智能體通過(guò)記錄與對(duì)象交互的方式和結(jié)果，在未來(lái)處于相似的場(chǎng)景時(shí)能夠做出更好的判斷與行動(dòng)。目前，智能體可以通過(guò)長(zhǎng)期記憶和編排新工具的方式來(lái)進(jìn)行學(xué)習(xí)。長(zhǎng)期記憶的實(shí)現(xiàn)是通過(guò)向量數(shù)據(jù)庫(kù)，記錄多輪對(duì)話的模型輸出與用戶輸入，智能體會(huì)回憶先前相似場(chǎng)景下的會(huì)話記憶，并綜合用戶的反應(yīng)生成更加符合用戶意圖的輸出。編排新工具則是根據(jù)任務(wù)、環(huán)境和自身狀態(tài)，通過(guò)利用現(xiàn)有工具來(lái)構(gòu)建有效的工具使用流程。將這些流程連同其功能描述一起儲(chǔ)存到工具庫(kù)中，以便智能體在未來(lái)的類似情境中能夠重復(fù)使用這些新工具，這種方法也是智能體學(xué)習(xí)的一種方式，工具在此處可以是由代碼或者提示組成，都是通過(guò)編排基礎(chǔ)的工具來(lái)創(chuàng)造新的工具。先前英偉達(dá)和多所美國(guó)大學(xué)聯(lián)合研究的Voyager項(xiàng)目中就提到了這種能夠讓智能體在自由環(huán)境中根據(jù)宏觀目標(biāo)終身學(xué)習(xí)的方式。 有所不同。用戶可以作為任務(wù)發(fā)布者，給智能體發(fā)布任務(wù)或者向智能體提問(wèn)，而智能體需要把任務(wù)或問(wèn)題作為信百會(huì)與智能體交互：在與智能體的交互場(chǎng)景中，智能體的交互對(duì)象包括智能體自己以及其他智能體。與智能體自身的交互更加類似于思維鏈，通過(guò)自問(wèn)自答的方式引導(dǎo)自身達(dá)成復(fù)雜的任務(wù)目標(biāo)。另一種則是多智能體間的交互，是目前關(guān)于智能體的重點(diǎn)研究方向之一，其中根據(jù)有無(wú)共同的宏觀目標(biāo)劃分成兩種交互方式：一是，當(dāng)智能體之間沒(méi)有統(tǒng)一的宏觀目標(biāo)時(shí)，每個(gè)智能體都處于相對(duì)自由的狀態(tài)，智能體的行動(dòng)通常不會(huì)過(guò)多受到其他智能體的影響，例如斯坦福大學(xué)AI小鎮(zhèn)的相關(guān)研究。這類場(chǎng)景通常有助于觀察智能體間的協(xié)作，偏向于游戲場(chǎng)景以及生物生態(tài)與社會(huì)學(xué)的科學(xué)研究。而另一種則是智能體之間有著統(tǒng)一的宏觀目標(biāo)，近期熱門(mén)的多智能體項(xiàng)目MetaGPT的核心實(shí)現(xiàn)方式就是通過(guò)多個(gè)智能體之間相互的協(xié)作來(lái)完成用戶輸入需求的理解，雖然每個(gè)智能體所分配到的任務(wù)會(huì)有所不同，但宏觀的目標(biāo)都是相似的：完成用戶輸入的需求。這對(duì)于涉及生產(chǎn)流程的在設(shè)計(jì)應(yīng)用時(shí)，設(shè)計(jì)者需要根據(jù)場(chǎng)景制定智能體的交互對(duì)象與方式。其中人類用戶也可以被視為特殊的智能體，智能體可以和人類協(xié)作共同完成由人類或智能體所發(fā)布的任務(wù)，主要根據(jù)場(chǎng)景的需要和智能體的性能而2.5生成式AI安全和監(jiān)控生成式AI在近年來(lái)已經(jīng)取得了顯著的進(jìn)展，但隨之而來(lái)的是一系列的安全痛點(diǎn)和挑戰(zhàn)。以下是一些主要的對(duì)抗性攻擊是一種特定的攻擊方式，其中攻擊者會(huì)對(duì)模型的原始輸入進(jìn)行微小的修改，這些修改對(duì)人類來(lái)說(shuō)幾乎是不可察覺(jué)的。但是，這些微小的擾動(dòng)可以導(dǎo)致模型產(chǎn)生完全不同、甚至是錯(cuò)誤的輸出。這種現(xiàn)象是由例如，在圖像識(shí)別任務(wù)中，攻擊者可以向圖像添加幾乎不可見(jiàn)的噪聲，使得原本被正確分類的圖像被誤分類為另一個(gè)完全不同的類別。這種攻擊的關(guān)鍵在于選擇和產(chǎn)生對(duì)抗擾動(dòng)，這些擾動(dòng)是經(jīng)過(guò)精心設(shè)計(jì)的，目的是對(duì)抗樣本攻擊的目標(biāo)是向輸入數(shù)據(jù)添加最少量的擾動(dòng)，從而導(dǎo)致所需的錯(cuò)誤分類。這種攻擊方式對(duì)于驗(yàn)證為了增強(qiáng)模型對(duì)抗對(duì)抗性攻擊的魯棒性，研究者和工程師采它在訓(xùn)練過(guò)程中同時(shí)使用正常數(shù)據(jù)和被擾動(dòng)的數(shù)據(jù)，使模型能夠識(shí)別并抵抗這些擾動(dòng)。此外，模型集成方法通過(guò)組合多個(gè)模型的預(yù)測(cè)來(lái)提高魯棒性，即使某個(gè)模型受到攻擊，其他模型也可能做出正確預(yù)測(cè)。在數(shù)據(jù)輸入模型前，可以進(jìn)行預(yù)處理如去噪或平滑來(lái)降低對(duì)抗性擾動(dòng)的影響。在訓(xùn)練過(guò)程中，加入正則化或約束也可以使模型更魯棒。動(dòng)態(tài)防御策略，如隨機(jī)化技術(shù)，可以在模型推斷時(shí)引入隨機(jī)性，使攻擊者難以精確預(yù)測(cè)模型行為。模型的內(nèi)部結(jié)構(gòu)和工作原理往往是其核心競(jìng)爭(zhēng)力。但隨著技術(shù)的發(fā)展，攻擊者也開(kāi)始嘗試復(fù)制或了解這些（1）模型竊?。汗粽邥?huì)嘗試復(fù)制模型的功能，而不必知道其具體的結(jié)（2）黑盒攻擊：在這種情況下，攻擊者無(wú)法直接訪問(wèn)模型的內(nèi)部結(jié)構(gòu)或參數(shù)，和輸出。攻擊者可以利用這些信息來(lái)推測(cè)模型的工作原理。例如，基于查詢的方法和基于模型遷移的方法是兩這些攻擊方法對(duì)于模型的所有者來(lái)說(shuō)都是一個(gè)安全風(fēng)險(xiǎn)，因?yàn)樗鼈兛赡軐?dǎo)致知識(shí)產(chǎn)權(quán)的喪失、模型的濫用為了抵御模型竊取與反向工程的威脅，專家提出了多種策略。比如通過(guò)引入差分隱私技術(shù)，在模型訓(xùn)練中加入隨機(jī)性，確保模型的輸出不會(huì)暴露過(guò)多關(guān)于單個(gè)數(shù)據(jù)點(diǎn)的信息，從而維護(hù)用戶隱私。此外，通過(guò)模型混淆，對(duì)模型的權(quán)重和結(jié)構(gòu)進(jìn)行細(xì)微調(diào)整，雖然不影響其性能，但使攻擊者難以復(fù)制。為了進(jìn)一步加強(qiáng)安全性，他們還限制了對(duì)模型的查詢次數(shù)，避免攻擊者收集大量數(shù)據(jù)，并對(duì)模型的輸出加入隨機(jī)噪聲，使其難以推斷模型的內(nèi)部結(jié)構(gòu)。利用同態(tài)加密技術(shù)，能夠在加密數(shù)據(jù)上執(zhí)行計(jì)算，無(wú)需解密即可進(jìn)行模型推斷，確保了數(shù)據(jù)和模型的雙重安全。同時(shí)，在模型中植入獨(dú)特的水印，一旦模型被非法復(fù)制，都可以通過(guò)這個(gè)標(biāo)識(shí)進(jìn)行追蹤。最后，信百會(huì)隨著機(jī)器學(xué)習(xí)和人工智能的廣泛應(yīng)用，模型的安全性和隱私保護(hù)成為了一個(gè)重要的研究領(lǐng)域。攻擊者可能量來(lái)恢復(fù)或預(yù)測(cè)訓(xùn)練數(shù)據(jù)中的人臉圖像，從而導(dǎo)致用戶的肖像隱私泄露。此外，醫(yī)療數(shù)據(jù)、個(gè)人偏好和其他敏為了防止這種隱私泄露，研究者提出了多種防御方法，如模型結(jié)構(gòu)防御、信息混淆防御和查詢控制防御。但隨著攻擊技術(shù)的進(jìn)步，新的隱私威脅也不斷出現(xiàn)。模型在提供強(qiáng)大的功能的同時(shí)，也帶來(lái)了隱私泄露的風(fēng)險(xiǎn)。模型的預(yù)測(cè)和決策主要依賴于其訓(xùn)練數(shù)據(jù)。當(dāng)這些數(shù)據(jù)存在偏見(jiàn)或不平衡時(shí)，模型可能會(huì)反映這些偏見(jiàn)，導(dǎo)致如招聘模型因性別或種族偏見(jiàn)而不公平地選擇候選人，或金融和醫(yī)療領(lǐng)域的模型對(duì)某些群體產(chǎn)生歧視性待遇。此外，如果訓(xùn)練數(shù)據(jù)對(duì)某些群體的代表性不足，模型的決策可能不準(zhǔn)確。更為嚴(yán)重的是，模型還可能會(huì)放模型在分析數(shù)據(jù)和預(yù)測(cè)時(shí)可能面臨不確定性或不可預(yù)測(cè)的輸出，這些不確定性可能因模型的訓(xùn)練數(shù)據(jù)、結(jié)構(gòu)或其他因素而產(chǎn)生。特別是當(dāng)模型在訓(xùn)練時(shí)沒(méi)有接觸到某些特定的輸入數(shù)據(jù)時(shí)，其輸出可能會(huì)變得不確定。這種不確定性可能導(dǎo)致用戶對(duì)模型的信任度降低，尤其是在關(guān)鍵領(lǐng)域如醫(yī)療和金融中，不確定的輸出可能導(dǎo)致時(shí)，他們可能對(duì)其輸出持懷疑態(tài)度，特別是在如醫(yī)療和金融等關(guān)鍵領(lǐng)域。同時(shí)，對(duì)于某些需要遵循法規(guī)的應(yīng)用，模型的決策可能必須受到審查或驗(yàn)證，而模型的不透明性使這一過(guò)程變得困難。這種不透明的決策可能掩蓋了模型的偏見(jiàn)或錯(cuò)誤，可能導(dǎo)致不公或不準(zhǔn)確的結(jié)果，進(jìn)而觸發(fā)倫理和安全問(wèn)題。為了應(yīng)對(duì)這些挑戰(zhàn)，研究者們2.6生成式AI應(yīng)用設(shè)計(jì)在設(shè)計(jì)完整個(gè)AI應(yīng)用的工作流程之后，需要將工作流的最終輸出以某種方式呈現(xiàn)給用戶并進(jìn)行交互?；谲浖?以軟件為載體的AI應(yīng)用通常是將大模型能力以及配套的工作流程打包成一個(gè)APP，并直接上架于各平臺(tái)的應(yīng)用市場(chǎng)當(dāng)中。由于大模型目前對(duì)于算力仍然有較大的要求，所以以軟件為載體的AI大模型應(yīng)用大多數(shù)大模型能夠綜合多條返回的搜索結(jié)果，并生成更加符合用戶意圖的答案。其中舉例來(lái)說(shuō)，LangChain官方使用文檔網(wǎng)站上就應(yīng)用了AI智能搜索，通過(guò)一個(gè)搜索框?qū)⒋竽Ｐ团c用戶的問(wèn)題對(duì)接，并通過(guò)查詢知識(shí)庫(kù)反饋出對(duì)應(yīng)彈窗與數(shù)字人-彈窗通常在各個(gè)網(wǎng)站上被用作客服，能互。隨著生成式AI技術(shù)的發(fā)展，AI數(shù)字人技術(shù)隨之出現(xiàn)且日益完善，通過(guò)一個(gè)虛擬形象與用戶交互，能提供更虛擬賬戶-在企業(yè)微信、釘釘、飛書(shū)等辦公協(xié)同軟件中，可以通過(guò)添加虛擬賬戶的方式來(lái)交互，虛擬賬戶背后接入的則是生成式AI大模型。與用戶交互之外，虛擬賬戶還可以設(shè)置在群聊當(dāng)中，對(duì)群聊中的信息進(jìn)行管應(yīng)用插件-大模型不一定要替代現(xiàn)有的工作流程，也可以在現(xiàn)有流程的基礎(chǔ)上提供增值服務(wù)，或者幫助優(yōu)隨著生成式AI技術(shù)的日益成熟，其在各種應(yīng)用場(chǎng)景中的交互方式也變得多樣化，這些交互方式不僅增強(qiáng)了現(xiàn)有工作流程的效率和功能，還為企業(yè)和開(kāi)發(fā)者打開(kāi)了無(wú)限的可能性，目前生成式AI仍然難以避免地會(huì)出現(xiàn)幻覺(jué)等影響模型生成可靠性的問(wèn)題，所以為了讓?xiě)?yīng)用的使用更加穩(wěn)定，在設(shè)計(jì)不同場(chǎng)景下的AI應(yīng)用時(shí)，需要考慮AI是否擁有直接對(duì)環(huán)境操作的能力。在企業(yè)場(chǎng)景中，除了提出計(jì)劃、分析與建議之外，通過(guò)設(shè)置大模型是否擁有執(zhí)行行動(dòng)的權(quán)力，可以將AI應(yīng)用分類成超級(jí)助理和超級(jí)員工，信百會(huì)超級(jí)助理：現(xiàn)階段大部分的大模型應(yīng)用都是以助理的方式，以一種“輔助駕駛”的方式輔助員工進(jìn)行分析，但最終的選擇、執(zhí)行和判斷仍然基于員工。超級(jí)助理通常不直接執(zhí)行任務(wù)，而是為用戶提供信息、建議或分析，幫助用戶做出決策。這種AI應(yīng)用的目的是輔助員工，而不是替代員工。超級(jí)助理在企業(yè)的應(yīng)用場(chǎng)景十分超級(jí)員工：超級(jí)員工指的是可以自主執(zhí)行任務(wù)，并對(duì)環(huán)境造成影響與改變的AI應(yīng)用，例如郵件智能回復(fù)、工單自動(dòng)處理、智能客服機(jī)器人等。相比于超級(jí)助理、這種AI應(yīng)用需要更多的權(quán)限和決策權(quán)，整個(gè)工作流程自動(dòng)化程度高，人工僅在輸入和輸出的部分提供信息和監(jiān)管。在設(shè)計(jì)超級(jí)員工類型的AI應(yīng)用時(shí)，更需要考慮模型AI應(yīng)用流程的高自動(dòng)化程度意味著在資源充足的情況下，整個(gè)流程運(yùn)作更高效，能夠敏捷地應(yīng)對(duì)快速變化的場(chǎng)景。但由于減少了人工的參與，需要更加穩(wěn)定的模型來(lái)驅(qū)動(dòng)整個(gè)工作流程，并通過(guò)設(shè)置輸出檢測(cè)等方式來(lái)提升模型的安全性。目前AI大模型大部分難以直接勝任超級(jí)員工的職責(zé)，因此更多地是做為超級(jí)助理為員工提不同的場(chǎng)景需要模型生成不同模態(tài)的生成物。根據(jù)模型的模態(tài)，AI大模型不僅能生成文本，同時(shí)也能夠根文本-大語(yǔ)言模型能夠根據(jù)提示來(lái)生成對(duì)應(yīng)的文本生成物，其中最為普遍的是非結(jié)構(gòu)化的文本內(nèi)容，例如文本續(xù)寫(xiě)和對(duì)話。非結(jié)構(gòu)化的文本通常作為最終的輸出呈現(xiàn)給用戶，或者通過(guò)人工或者大模型解析其中的信息并生成下一步的輸出，例如思維鏈的中間步驟。但為了能夠更好地和后續(xù)工作流程結(jié)耦，在工作流程當(dāng)中更多會(huì)生成符合一定規(guī)范的文本、以及結(jié)構(gòu)化的文本內(nèi)容。在LangChain所采用的ReAct鏈中，每一步中間步驟都代碼-代碼的分析與生成也是大模型領(lǐng)域重點(diǎn)的研究方向之一。對(duì)于代碼模型，通過(guò)單個(gè)大模型或者多個(gè)智能體的方式，能完成代碼編寫(xiě)、代碼補(bǔ)全、代碼注釋等任務(wù)。CodeGeeX就是國(guó)內(nèi)知名的代碼生成應(yīng)用，能夠以插件的方式加入到VSCode中，并以助理的方式幫助用戶編寫(xiě)代碼，生成的代碼可以自動(dòng)在環(huán)境中測(cè)試與圖像與視頻-通過(guò)文字與圖像多模態(tài)的模型，用戶能夠通過(guò)自然語(yǔ)言的描述來(lái)生成圖片。處理生成圖片之外，多模態(tài)的模型也可以通過(guò)圖像來(lái)生成對(duì)應(yīng)的文字描述。對(duì)圖像的解析能夠?yàn)楣ぷ髁鞒烫峁┎糠忠曈X(jué)的理解能力，能夠完成更多領(lǐng)域的工作任務(wù)。同時(shí)，將時(shí)間作為維度之一，通過(guò)結(jié)合先前的圖片來(lái)生成下一幀的圖其他序列數(shù)據(jù)-大模型能夠預(yù)測(cè)一條數(shù)據(jù)序列中的下一個(gè)數(shù)據(jù)。大模型通過(guò)訓(xùn)練能夠預(yù)測(cè)并生成各種種類的序列數(shù)據(jù)，例如蛋白質(zhì)序列數(shù)據(jù)、天氣預(yù)報(bào)數(shù)據(jù)等。序列數(shù)據(jù)預(yù)測(cè)生成能夠應(yīng)用于多種場(chǎng)景，例如金融、科AI大模型在多模態(tài)數(shù)據(jù)生成方面展現(xiàn)出了廣泛的應(yīng)用潛力。不僅可以生成文本，還能產(chǎn)生代碼、圖像、視頻和其他序列數(shù)據(jù)。這種多模態(tài)生成能力使得AI更為靈活，能夠適應(yīng)各種場(chǎng)景需求。此外，多模態(tài)模型通過(guò)文字描述生成圖像或反之，為AI賦予了視覺(jué)理解能力。這種跨模態(tài)的交互為金融、科研、醫(yī)療等領(lǐng)域帶來(lái)了巨大信百會(huì)3生成式AI企業(yè)應(yīng)用落地實(shí)踐探索和總結(jié)3.1生成式AI與企業(yè)數(shù)字化轉(zhuǎn)型數(shù)字化轉(zhuǎn)型是近十多年來(lái)促進(jìn)經(jīng)濟(jì)社會(huì)發(fā)展和企業(yè)創(chuàng)新成長(zhǎng)長(zhǎng)盛不衰的主題，其重要的推動(dòng)力量，就是數(shù)字化領(lǐng)域方面的技術(shù)迭代持續(xù)不斷，創(chuàng)新浪潮一浪接一浪。從大的趨勢(shì)來(lái)說(shuō)，如我們?cè)诘谝徽绿岬降?，最初推?dòng)數(shù)字化轉(zhuǎn)型的，是移動(dòng)互聯(lián)網(wǎng)和云計(jì)算這兩項(xiàng)重大的技術(shù)范式變革，它在企業(yè)乃至全社會(huì)的快速普及，使得數(shù)字技術(shù)資源的獲取的便易程度比以前大幅提升，帶來(lái)的是企業(yè)的業(yè)務(wù)數(shù)字化的速度大幅度提升，企業(yè)的邊界得以大幅拓展，接觸客戶的方式從線下的實(shí)體渠道為主在業(yè)務(wù)活動(dòng)大量數(shù)字化之后，海量的數(shù)據(jù)積累和云化大數(shù)據(jù)平臺(tái)以及機(jī)器學(xué)習(xí)技術(shù)的快速成熟與普及，使得企業(yè)數(shù)字化轉(zhuǎn)型進(jìn)入到了數(shù)云融合的第二階段，這也是當(dāng)前大多數(shù)企業(yè)正在經(jīng)歷的數(shù)字化轉(zhuǎn)型階段。在這一階段，基于數(shù)據(jù)的客戶畫(huà)像、精準(zhǔn)營(yíng)銷、服務(wù)定制、故障預(yù)判、工藝優(yōu)化、風(fēng)險(xiǎn)控制、供應(yīng)鏈優(yōu)化等等場(chǎng)景，形成了數(shù)據(jù)對(duì)業(yè)務(wù)流程的反向優(yōu)化支持。而基于海量數(shù)據(jù)形成的各種機(jī)器學(xué)習(xí)AI業(yè)務(wù)模型，或者通過(guò)隱私計(jì)算而這一輪的生成式AI的技術(shù)浪潮，可以看作是對(duì)企業(yè)數(shù)字化轉(zhuǎn)型的又一輪重大的技術(shù)推動(dòng)力。如我們?cè)诘谝徽绿岬降?，企業(yè)的大量的非流程化的高價(jià)值知識(shí)，是以非結(jié)構(gòu)化的文本、圖像和視頻數(shù)據(jù)格式海量積淀的。以具有泛化能力的生成式AI技術(shù)對(duì)其進(jìn)行加工處理，能夠系統(tǒng)化地提煉出散落在員工腦中的知識(shí)體系，甚至生成人工難以覺(jué)察和萃取的更高價(jià)值的知識(shí)（這一點(diǎn)可以比照AlphaGo在和人類頂級(jí)棋手對(duì)弈中走出人類無(wú)法解隨著生成式AI技術(shù)的不斷的進(jìn)步和完善，它對(duì)企業(yè)知識(shí)的處理能力會(huì)從精度、廣度和深度這三個(gè)維度上不年時(shí)間，GenAI可以在不同的崗位上提供知識(shí)輔助的超級(jí)員工助理，會(huì)是GenAI技術(shù)在企業(yè)落地的主要形態(tài)。潮在大多數(shù)企業(yè)內(nèi)部是交織疊加在一起的。對(duì)于一個(gè)具體的企業(yè)的數(shù)字化轉(zhuǎn)型的節(jié)奏，不會(huì)是按照這三股技術(shù)生成式AI的相關(guān)技術(shù)嘗試和引入，則成為一項(xiàng)重要的舉措，而支持生成式AI技術(shù)的應(yīng)用開(kāi)發(fā)框架和平臺(tái)，則需本白皮書(shū)雖然聚焦于生成式AI企業(yè)應(yīng)用落地的技術(shù)相關(guān)問(wèn)題，但我們深知技術(shù)的迅速發(fā)展將要求組織的轉(zhuǎn)生成式AI的核心特征，有助于我們理解對(duì)人才在生成式AI的戰(zhàn)略實(shí)施過(guò)程中，人才的角色多學(xué)科交叉人才需求：AI的應(yīng)用價(jià)值發(fā)揮，需要結(jié)合多個(gè)領(lǐng)域的知識(shí)，因此需要擁有跨學(xué)科知識(shí)和經(jīng)驗(yàn)背另外在推進(jìn)生成式AI的過(guò)程中，組織需要確保技術(shù)的發(fā)展和應(yīng)用符合道德倫理和法規(guī)要求。要確保AI系以及策略的變革，以適應(yīng)不斷變化的市場(chǎng)環(huán)境和技術(shù)發(fā)展。通過(guò)構(gòu)建一個(gè)靈活、學(xué)習(xí)型的組織，我們能夠充分3.2企業(yè)應(yīng)用落地的關(guān)鍵問(wèn)題與應(yīng)對(duì)方法隨著生成式AI技術(shù)的蓬勃發(fā)展，許多企業(yè)紛紛展示了強(qiáng)烈的關(guān)注和興趣，積極擁抱這一新興技術(shù)。盡管我信百會(huì)建設(shè)的方法論和技術(shù)架構(gòu)仍在不斷變化和調(diào)整中。這部分的原因歸因于生成式AI技術(shù)自身的固有限制，例如不暇接，眾多的學(xué)術(shù)論文堆積如山，使得企業(yè)需要組建專門(mén)的研究團(tuán)隊(duì)以跟進(jìn)最新的技術(shù)進(jìn)展。更為關(guān)鍵的一點(diǎn)在于，生成式AI項(xiàng)目的落地實(shí)施有許多未曾遇到的挑戰(zhàn)，也是本文討論的焦點(diǎn)。在生成式AI技術(shù)的實(shí)施過(guò)程中，企業(yè)面對(duì)著從模型的選擇與定制，場(chǎng)景價(jià)值的深入挖掘，到成本的優(yōu)化、算力配置、知識(shí)權(quán)威、用戶體驗(yàn)優(yōu)化、安全合規(guī)保障、現(xiàn)有技術(shù)的整合利用和學(xué)習(xí)成本控制等一系列挑戰(zhàn)。因此，企業(yè)急切需要一個(gè)有WholePicture的生成式AI架構(gòu)，在這個(gè)架構(gòu)Picture下，不僅能夠看到快速搭建考下圖）在一個(gè)平臺(tái)上，為企業(yè)提供模型、算力、數(shù)據(jù)和應(yīng)用的連接能力，它既是企業(yè)的大模型集成平臺(tái)也是企業(yè)的大模型運(yùn)營(yíng)平臺(tái)。神州問(wèn)學(xué)從模型、數(shù)據(jù)、算力、應(yīng)用四個(gè)角度打通各項(xiàng)資源，屏蔽繁縟的技術(shù)細(xì)節(jié)，神州問(wèn)學(xué)不僅在神州數(shù)碼自身的數(shù)字化轉(zhuǎn)型過(guò)程中，成功實(shí)施了“神州數(shù)碼超級(jí)員工”（如下圖），也指神州問(wèn)學(xué)著眼解決企業(yè)生成式AI落地過(guò)程中的六大核心問(wèn)題，打通生成式AI技術(shù)落地到企業(yè)應(yīng)用的最后一信百會(huì)“場(chǎng)景-痛點(diǎn)-方案-價(jià)值”就是這樣一個(gè)結(jié)構(gòu)化的框架，可以幫助企業(yè)更系統(tǒng)、更有效地進(jìn)行生成式AI應(yīng)用的場(chǎng)景選擇。生成式AI的技術(shù)能力使得落到企業(yè)的具體業(yè)務(wù)場(chǎng)景時(shí)非常碎片化，但我們可以看到當(dāng)前生成式AI主要應(yīng)用方向有：知識(shí)庫(kù)問(wèn)答、資料解讀審查、知識(shí)萃取分類、辦公文案創(chuàng)作四大類。其中的痛點(diǎn)也各不相同。辦公文案創(chuàng)作相對(duì)比較標(biāo)準(zhǔn)，而且是個(gè)人能力增強(qiáng)，可以采用公有云大模型方案，其他三類，都是企業(yè)能確定業(yè)務(wù)場(chǎng)景，明確生成式AI可以在哪些領(lǐng)域或部門(mén)中應(yīng)用，如銷售預(yù)測(cè)、客服、產(chǎn)品推薦等。并且這需在每個(gè)潛在的應(yīng)用場(chǎng)景中，識(shí)別和分析主要的業(yè)務(wù)問(wèn)題或痛點(diǎn)。這些痛點(diǎn)可能是流程繁瑣、成本高昂、效根據(jù)每個(gè)痛點(diǎn)，選擇或設(shè)計(jì)合適的生成式AI解決方案?？紤]模型的技術(shù)可行性、數(shù)據(jù)需求等因素。為每個(gè)痛點(diǎn)設(shè)計(jì)完整的解決方案，包括數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、系統(tǒng)集成等步驟。通常也會(huì)在小范圍內(nèi)進(jìn)行項(xiàng)目試點(diǎn)，確定哪些方案可以為企業(yè)帶來(lái)最大的價(jià)值。最后還需要在方案實(shí)施后，定期跟蹤和評(píng)估其實(shí)際效果，與預(yù)估的程）四個(gè)維度，如下圖所示。微調(diào)工程調(diào)教大模型的基礎(chǔ)能力，通過(guò)參數(shù)微調(diào)直接校正基礎(chǔ)大模型，對(duì)齊微調(diào)通過(guò)強(qiáng)化學(xué)習(xí)，對(duì)齊企業(yè)意志和要求，約束大模型能力，克服幻覺(jué)，保留涌現(xiàn)能力。提示工程則是大模型能力信百會(huì)無(wú)論在生成式AI項(xiàng)目落地實(shí)施的過(guò)程，還是在后期知識(shí)運(yùn)營(yíng)，模型運(yùn)維，算力管理上，都依賴于一系列的解決高性能計(jì)算問(wèn)題，建立軟件到硬件計(jì)算橋梁，優(yōu)化計(jì)算性能，支持GPU/TPU等硬件加速；深度學(xué)習(xí)框架也數(shù)據(jù)處理能力是構(gòu)建和部署大模型的關(guān)鍵環(huán)節(jié)之一，涵蓋了數(shù)據(jù)清洗、特征工程和數(shù)據(jù)增強(qiáng)等多個(gè)方面。注入等）創(chuàng)造新的訓(xùn)練樣本，或?qū)ΜF(xiàn)有樣本進(jìn)行重抽樣，以防止模型過(guò)擬合，提高模型在面對(duì)新數(shù)據(jù)或略有偏總之，在數(shù)據(jù)處理的不同階段中，企業(yè)需要細(xì)心審視數(shù)據(jù)質(zhì)量，并通過(guò)科學(xué)的方法和工具來(lái)提取、轉(zhuǎn)換和增強(qiáng)數(shù)據(jù)，為模型訓(xùn)練和應(yīng)用打下堅(jiān)實(shí)的基礎(chǔ)。處理好的數(shù)據(jù)不僅有助于提高模型性能，還能幫助企業(yè)避免因模型開(kāi)發(fā)與管理工具模型開(kāi)發(fā)與管理工具在AI項(xiàng)目中扮演著極為關(guān)鍵的角色，它涉及到模型的開(kāi)發(fā)、部署、運(yùn)行和優(yōu)化等多個(gè)自動(dòng)化流程指的是將模型的訓(xùn)練、驗(yàn)證和部署等環(huán)節(jié)整合成一個(gè)自動(dòng)化的、連貫的工作流。通過(guò)減少人工干預(yù)，確保過(guò)程的順暢運(yùn)行和減少潛在錯(cuò)誤。它包括模型的自動(dòng)訓(xùn)練、參數(shù)調(diào)優(yōu)、驗(yàn)證測(cè)試、以及將模型從測(cè)版本控制確保模型的各個(gè)版本及其相關(guān)配置、數(shù)據(jù)和參數(shù)得到合理管理。通過(guò)追蹤模型的變化，可以確保在出現(xiàn)問(wèn)題時(shí)能夠迅速定位問(wèn)題并進(jìn)行修復(fù)或回滾，它記錄模型的所有變更、存儲(chǔ)模型的各個(gè)版本、及時(shí)回滾模型監(jiān)控保證模型在部署后的穩(wěn)定運(yùn)行，確保在模型性能下降或發(fā)生其他問(wèn)題時(shí)及時(shí)發(fā)現(xiàn)，并通知到相關(guān)模型開(kāi)發(fā)與管理工具強(qiáng)化了AI項(xiàng)目的穩(wěn)定性和效率，其中自動(dòng)化流程、版本控制和模型監(jiān)控分別關(guān)注項(xiàng)目的流程管理、版本管理和性能監(jiān)控，共同構(gòu)成了模型管理的框架。在實(shí)際應(yīng)用中，高效地整合這三大要素，能夠顯著提升項(xiàng)目的成功率，確保大模型在整個(gè)生命周期中的穩(wěn)定運(yùn)行和持續(xù)優(yōu)化。這有助于企業(yè)在保證服務(wù)質(zhì)利用容器化技術(shù)，使用Docker,Kubernetes等支服務(wù)，確保系統(tǒng)的解耦和可擴(kuò)展性。提供API管理，提供穩(wěn)定的API接口，支持高并發(fā)訪問(wèn)。支持交互式開(kāi)發(fā)，如JupyterNotebook，支持快速的代碼迭代和數(shù)據(jù)探索，提供代碼檢查和測(cè)試框架，保證代碼質(zhì)量?？梢暬疷I，提供模型訓(xùn)練和預(yù)測(cè)的可在具體的實(shí)踐中，企業(yè)需要選擇和整合適合自己的開(kāi)發(fā)工具和技術(shù)棧，形成一套高效、穩(wěn)定的大模型應(yīng)用因?yàn)樗哂欣斫庹Z(yǔ)言、生成文本和學(xué)習(xí)新知識(shí)的能力。下面是一個(gè)基本的框架，展示了企業(yè)如何利用生成式AI信百會(huì)通過(guò)數(shù)據(jù)采集可以獲取和整理與企業(yè)核心業(yè)務(wù)相關(guān)的各類數(shù)據(jù)，這可能包括文本、圖像和視頻等。而數(shù)據(jù)清洗是通過(guò)各種技術(shù)手段去除噪聲，確保數(shù)據(jù)的質(zhì)量和準(zhǔn)確性。另外通過(guò)數(shù)據(jù)標(biāo)注為數(shù)據(jù)打上相關(guān)的標(biāo)簽或者再利用收集到的數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)，使其更加符合企業(yè)的實(shí)際需求和應(yīng)用場(chǎng)景。這個(gè)過(guò)程中的重要的抓手是：●知識(shí)抽取和組織這是指利用模型從各類數(shù)據(jù)中提取有價(jià)值的信息和知識(shí)。并利用抽取的信息構(gòu)建知識(shí)圖譜，組織關(guān)系和邏企業(yè)知識(shí)系統(tǒng)也需要實(shí)時(shí)監(jiān)控模型的性能和輸出質(zhì)量，確保其穩(wěn)定運(yùn)行，并保障知識(shí)工程在各個(gè)環(huán)節(jié)的數(shù)在這個(gè)框架上，企業(yè)可以根據(jù)自身的需求和特點(diǎn)進(jìn)行調(diào)整和優(yōu)化，發(fā)揮生成式AI的最大潛力，推動(dòng)知識(shí)工面模型選擇不僅僅是選擇一個(gè)預(yù)訓(xùn)練模型，還包括了對(duì)模型架構(gòu)、規(guī)模、能力等多個(gè)方面的綜合考慮，二是據(jù)的部署模式也為企業(yè)提供了不同選擇，建議企業(yè)根據(jù)情況選擇一個(gè)或兩個(gè)主模型，再加若干輔助模型。由此可準(zhǔn)確理解和定義你試圖解決的問(wèn)題是關(guān)鍵，比如文本生成、圖像識(shí)別、或者其他，確定模型需要滿足的性評(píng)估不同模型的能力，如處理不同類型任務(wù)的潛在效果、泛化能力等，關(guān)注模型的規(guī)模和復(fù)雜性，考慮到我們還需要通過(guò)具體實(shí)驗(yàn)驗(yàn)證模型在實(shí)際業(yè)務(wù)場(chǎng)景下的表現(xiàn)。模型選擇也需要特別考慮模型的可解釋性，這在考慮模型實(shí)現(xiàn)和部署的難度以及所需的專業(yè)知識(shí)，評(píng)估模型的計(jì)算資源需求與企業(yè)的資源是否匹配；關(guān)注信百會(huì)確保模型的使用和應(yīng)用符合相關(guān)的法律法規(guī)要求。評(píng)估模型是否符合社會(huì)倫理和企業(yè)價(jià)值觀；同時(shí)也要保持續(xù)優(yōu)化防止漂移，為避免數(shù)據(jù)特性的緩變，帶來(lái)的模型漂移問(wèn)題，在模型部署后，需要持續(xù)監(jiān)控其性能和輸出質(zhì)量，并及時(shí)更新模型，以適應(yīng)業(yè)務(wù)的變化和技術(shù)的進(jìn)步，也包括利用用戶反饋和使用數(shù)據(jù)不斷優(yōu)化和雖然大模型在許多應(yīng)用場(chǎng)景中表現(xiàn)出色，可以處理多種類型的任務(wù)，但其他