“AI 操作系統(tǒng)”時(shí)代已至2024

計(jì)算機(jī)計(jì)算機(jī)/行業(yè)專題報(bào)告/2024.12.01“AI操作系統(tǒng)”時(shí)代已至投資評(píng)級(jí)投資評(píng)級(jí):看好(維持)Agent由于其C端入口特性，有望成為首個(gè)“爆款”AI應(yīng)用。當(dāng)前市場(chǎng)中長(zhǎng)期缺乏“爆款”AI應(yīng)用，我們認(rèn)為主要系C端大眾對(duì)AI的感知度仍然較低，盡管有大量可下載、可付費(fèi)的AI應(yīng)用存在，但從廣大用戶體驗(yàn)來(lái)講，各類AI軟件對(duì)其生活重塑的邊際變化不大。而近期，包括手機(jī)端蘋果、榮耀、Vivo等，以及PC端聯(lián)想等廠商上新操作系統(tǒng)級(jí)Agent作為新的人機(jī)交互形態(tài)，以端側(cè)入口形式首次深入群眾，令其“被迫”體驗(yàn)接受新的操作范式，有望打造首個(gè)“爆款”AI分析師楊燁分析師李宇軒1.《智駕月報(bào)：10月車市環(huán)比向好，文遠(yuǎn)知行上市》2024-11-182.《計(jì)算機(jī)行業(yè)2025年投資策略：多維共振，精彩紛呈》2024-11-173.《外政預(yù)緊，內(nèi)需預(yù)旺，國(guó)產(chǎn)科技迎騰飛機(jī)遇》2024-11-10Agent能力。智譜的Agent能力主要來(lái)源于其底層大模型的訓(xùn)練與迭代：CogAgent是18B參數(shù)的視覺(jué)語(yǔ)言模型（VLM專門用于GUI理解和導(dǎo)航，基于視覺(jué)語(yǔ)言模型CogVLM并結(jié)合高分辨率交叉模塊，實(shí)現(xiàn)了高效GUI推理；AutoWebGLM分析師楊燁分析師李宇軒1.《智駕月報(bào)：10月車市環(huán)比向好，文遠(yuǎn)知行上市》2024-11-182.《計(jì)算機(jī)行業(yè)2025年投資策略：多維共振，精彩紛呈》2024-11-173.《外政預(yù)緊，內(nèi)需預(yù)旺，國(guó)產(chǎn)科技迎騰飛機(jī)遇》2024-11-10GLM-Phone：可實(shí)現(xiàn)跨APP操作、支持超長(zhǎng)任務(wù)流程、支持更多主流APP，針對(duì)手機(jī)端應(yīng)用提供了新的解決方案，顯著擴(kuò)展了其在手機(jī)端的應(yīng)用場(chǎng)景和操作能力2）GLM-PC：辦公領(lǐng)域?qū)⒂瓉?lái)生產(chǎn)力躍升，GLM-PC可實(shí)現(xiàn)會(huì)議替身、文檔處理、網(wǎng)頁(yè)搜索與總結(jié)、遠(yuǎn)程和定時(shí)操作等3）GLM-Car&More：Agent為AI終極形態(tài)，加速萬(wàn)物智能、萬(wàn)物互聯(lián)，未來(lái)Agent有望滲透至各類智能設(shè)備，落地AI原生設(shè)備，實(shí)現(xiàn)設(shè)備主動(dòng)服務(wù)用戶。投資建議：見(jiàn)正文。風(fēng)險(xiǎn)提示：技術(shù)迭代不及預(yù)期；商業(yè)化落地不及預(yù)期；政策支持不及預(yù)期；全球宏觀經(jīng)濟(jì)風(fēng)險(xiǎn)。謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)2 4 6 6 82.3AutoGLM：圖形用戶界面的自主基礎(chǔ)Agent，可用于網(wǎng)頁(yè)瀏覽與安卓手機(jī)操作 4 5 6 7 8 9 9 謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)3 謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)41AI+OS，操作系統(tǒng)級(jí)Agent開(kāi)啟人機(jī)交互革命并利用工具自主執(zhí)行動(dòng)作的智能化應(yīng)用，其包括規(guī)劃、記憶、工具、行動(dòng)四大核眾多細(xì)分行業(yè)的應(yīng)用智能化與流程自動(dòng)化，包括辦公、金融、醫(yī)療、法律、教育、創(chuàng)意設(shè)計(jì)等。不過(guò)其中一些非交互性、高度流程化的應(yīng)用功能，也存當(dāng)前市場(chǎng)中長(zhǎng)期缺乏“爆款”AI應(yīng)用，我們認(rèn)為主要系C端大眾對(duì)AI的感知度謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)5十個(gè)網(wǎng)站的無(wú)人駕駛；GLM-PC啟動(dòng)內(nèi)的技術(shù)探索，涵蓋會(huì)議代理、文檔處理、網(wǎng)頁(yè)搜索與總結(jié)、遠(yuǎn)程及定時(shí)操作、隱作電腦，目前仍處于測(cè)試階段，而當(dāng)前智譜已實(shí)現(xiàn)了Agent技術(shù)似，存在環(huán)境的反饋監(jiān)督，以及隨著推理訓(xùn)練時(shí)間的增加，模型能力也顯著用、短距離的任務(wù)復(fù)雜度，但當(dāng)計(jì)算量突破一定程度模型突然能夠?qū)崿F(xiàn)跨應(yīng)用長(zhǎng)距離的復(fù)雜任務(wù)，同時(shí)還能在從未訓(xùn)練過(guò)的環(huán)境執(zhí)行命令，泛化能力顯數(shù)據(jù)來(lái)源：智譜清言官方發(fā)布會(huì)，財(cái)通證券研將會(huì)成為全新生產(chǎn)力工具，汽車+AI將會(huì)讓車成為人們的智能第三生活空間，大Agent技術(shù)不僅在操作系統(tǒng)和應(yīng)用層面引領(lǐng)用戶體驗(yàn)的革新，更將這一變革延伸謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)6數(shù)據(jù)來(lái)源：智譜清言官方發(fā)布會(huì)，財(cái)通證券研2建立交互數(shù)據(jù)集，深耕Post-Training，獲得“從Chat走向Act”通用Agent能力受1120×1120的高分辨率圖像輸入，使其能夠識(shí)別微小的頁(yè)面元素和文本。CogAgent是基于預(yù)訓(xùn)練的VLM（理高分辨率輸入。添加該模塊主要是因?yàn)楦叻直媛蕡D像會(huì)導(dǎo)致極大的計(jì)算時(shí)長(zhǎng)和內(nèi)存開(kāi)銷：視覺(jué)語(yǔ)言模型通常將文本和圖像特征序列連接起來(lái)作為輸入提供給解圖像能夠有效地描繪大多數(shù)物體和布局，然而在清晰呈現(xiàn)文字方面有分辨率模塊強(qiáng)調(diào)與文本相關(guān)的特征，對(duì)于理解圖形用戶界面至關(guān)重要。因此，該謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)7分辨率圖像中各種大小、方向和字體的文本能力，數(shù)據(jù)包括來(lái)自語(yǔ)言預(yù)訓(xùn)練數(shù)據(jù)員以問(wèn)答的形式標(biāo)注了屏幕元素、潛在任務(wù)和操作方法。同時(shí)還利用Mind2Web謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)8CogAgent作為一個(gè)通用的視覺(jué)語(yǔ)言模型，在眾多視覺(jué)問(wèn)答基準(zhǔn)與富含文本的視覺(jué)問(wèn)答基準(zhǔn)測(cè)試當(dāng)中都表現(xiàn)優(yōu)異，尤其相比通用模型有明顯得分優(yōu)勢(shì)，與微調(diào)專業(yè)模型相比也屬于領(lǐng)先梯隊(duì)。此外，CogAgent在PC和然后由自動(dòng)化瀏覽程序執(zhí)行這些決策。該模型有幾大創(chuàng)新點(diǎn)解決了傳統(tǒng)LLM的謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)9頁(yè)上操作的通用性：鑒于人工成本高昂以及當(dāng)前大模型在自動(dòng)數(shù)據(jù)生成的不足，作者在網(wǎng)頁(yè)識(shí)別、簡(jiǎn)單任務(wù)操作、復(fù)雜任務(wù)操作構(gòu)建方面都采用了人機(jī)混合的方法，人工篩選網(wǎng)站并構(gòu)建網(wǎng)頁(yè)操作類型分割，大模型輔助生成任務(wù)和操作意圖。輸出與正確答案相結(jié)合，構(gòu)建具有正負(fù)對(duì)的對(duì)比數(shù)據(jù)，讓模型通過(guò)認(rèn)識(shí)自己的錯(cuò)誤進(jìn)行強(qiáng)化學(xué)習(xí)；拒絕采樣微調(diào)采用監(jiān)督學(xué)習(xí)模型來(lái)生成推理路徑，獎(jiǎng)勵(lì)模型會(huì)收集準(zhǔn)確并拒絕錯(cuò)誤的路徑，隨后將其用作擴(kuò)充的微調(diào)數(shù)據(jù)集。謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)10鍵。數(shù)據(jù)集構(gòu)建分為兩個(gè)主要階段，第一階段是網(wǎng)頁(yè)識(shí)別任務(wù)和簡(jiǎn)單任務(wù)操作構(gòu)任務(wù)操作數(shù)據(jù)集的主要目標(biāo)是訓(xùn)練模型執(zhí)行單步網(wǎng)絡(luò)操作。這包括在網(wǎng)頁(yè)上執(zhí)行基本功能，如點(diǎn)擊鏈接、填寫表單或?qū)Ш降教囟ú糠?。l通過(guò)復(fù)雜網(wǎng)絡(luò)任務(wù)開(kāi)發(fā)數(shù)據(jù)集，使模型能夠在網(wǎng)絡(luò)瀏覽場(chǎng)理。數(shù)據(jù)集中的每個(gè)樣本都包含復(fù)雜網(wǎng)絡(luò)瀏覽任務(wù)、完成該任務(wù)的操作序列以及每一步的意圖。通過(guò)瀏覽器插件，利用人工標(biāo)注來(lái)捕獲網(wǎng)頁(yè)任務(wù)執(zhí)行情（中文-英文）基準(zhǔn)AutoWebBench，并評(píng)估了謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)11據(jù)集當(dāng)中缺乏決策數(shù)據(jù)，互聯(lián)網(wǎng)包含大量的靜態(tài)人類知識(shí)，無(wú)法充分捕捉人類決現(xiàn)實(shí)世界環(huán)境的直接交互，要么通過(guò)從合成軌跡中學(xué)習(xí)。戶交付的可部署的Agent系統(tǒng)。其中包括了兩個(gè)創(chuàng)新的設(shè)計(jì)：如點(diǎn)餐、打車、查詢信息并發(fā)布等常見(jiàn)場(chǎng)景下取得較高成功率，加速Agent進(jìn)入謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)12圖10.通過(guò)AutoGLM在美團(tuán)App上“點(diǎn)一杯半糖瑞幸熱椰奶拿鐵”謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)133GLM多端Agent家族，打造手機(jī)、PC、汽車等終端交互入口的解決方案，顯著擴(kuò)展了其在手機(jī)端的應(yīng)用場(chǎng)景和操作能力，標(biāo)志著智能手機(jī)人機(jī)交互進(jìn)入了一個(gè)全新的高度。通過(guò)在淘寶進(jìn)行產(chǎn)品復(fù)購(gòu)的案例，表明前版本的謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)14之間篩選價(jià)格更實(shí)惠的肯德基套餐并下單購(gòu)買，表明在已有功能的基礎(chǔ)上，升級(jí)在“打開(kāi)美團(tuán)選擇肯德基并下單全家桶—切換餓了么搜索商品—對(duì)比價(jià)格后訂單”等任務(wù)中，達(dá)成多個(gè)平臺(tái)間的的數(shù)據(jù)傳遞和智能化決策，而無(wú)需用戶手動(dòng)干預(yù)，等平臺(tái)外，新增了抖音、微博、餓了么、京東、拼多多等更多主流平臺(tái)。這意味頻娛樂(lè)和外賣服務(wù)，提供了一站式的操作體驗(yàn)。文本、圖片等）進(jìn)行理解并提取關(guān)鍵信息，且能夠根據(jù)所得信息，通過(guò)邏輯規(guī)劃和動(dòng)態(tài)交互完成任務(wù)規(guī)劃，并分步驟拆解及逐一完成，在此過(guò)程中實(shí)現(xiàn)了不同階段的數(shù)據(jù)傳遞，能夠在短時(shí)間內(nèi)快速完成復(fù)雜任務(wù)。謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)15群聊并識(shí)別群用戶板塊，逐個(gè)循環(huán)進(jìn)行首條朋友圈動(dòng)態(tài)點(diǎn)贊（指進(jìn)入-點(diǎn)贊-退出-情景，滿足自動(dòng)化處理高頻重復(fù)操作的需求，減少用戶的謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)16），時(shí)執(zhí)行任務(wù)）等。GLM-PC是能夠幫助用戶操作文字等，并自動(dòng)操作電腦。例如在會(huì)議替身場(chǎng)景下，用戶發(fā)布指令“加入這個(gè)飛能夠大幅提升用戶辦公效率，有望成為未來(lái)桌面端的必備數(shù)據(jù)來(lái)源：智譜官方微信公眾號(hào)，財(cái)通證券研數(shù)據(jù)來(lái)源：智譜官方微信公眾號(hào)，財(cái)通證券研謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)17數(shù)據(jù)來(lái)源：智譜官方微信公眾號(hào)，財(cái)通證券研數(shù)據(jù)來(lái)源：智譜官方微信公眾號(hào)，財(cái)通證券研謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)18單的文字指令讓其搜索特定網(wǎng)頁(yè)、查找商品或總結(jié)文章內(nèi)容，對(duì)百度、微博、知乎、Github等數(shù)十個(gè)網(wǎng)站實(shí)現(xiàn)自動(dòng)操作。這體現(xiàn)了WebAgent在提升用戶體驗(yàn)、謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)19智能語(yǔ)音助手，可通過(guò)簡(jiǎn)單的語(yǔ)音指令激活，對(duì)調(diào)節(jié)車內(nèi)環(huán)境、設(shè)置導(dǎo)航、播放音樂(lè)、查詢天氣等要求迅速響應(yīng)并精準(zhǔn)執(zhí)行，全面提戶。通過(guò)全域數(shù)據(jù)的快速整合與深度洞察，Agent將具備快速處理復(fù)雜任務(wù)的能間的推移逐步學(xué)習(xí)用戶的需求與偏好，從而提供更加個(gè)性化的服務(wù)，真正做到與圖24.智譜與小鵬合作的“AI小P”謹(jǐn)請(qǐng)參閱尾頁(yè)重要聲明及財(cái)通證券股票和行業(yè)評(píng)級(jí)標(biāo)準(zhǔn)20數(shù)據(jù)來(lái)源：智譜清言官方發(fā)布會(huì)，財(cái)通證券研4投資建議Agent在PC端實(shí)現(xiàn)落地，辦公領(lǐng)域AI軟件有望加速推廣，辦公軟件廠路，以及其他智能終端包括掃地機(jī)、割草機(jī)等有望受益，建議關(guān)注聯(lián)想集團(tuán)、傳音控