InfoQ研究院：中國卓越技術(shù)團(tuán)隊(duì)訪談錄 軟件產(chǎn)品中的AIGC

我，一個(gè)95后，從阿里辭職與賈揚(yáng)清去硅谷創(chuàng)業(yè) i獨(dú)家對(duì)話·大模型領(lǐng)航者 1丟掉LangChain、像Docker一樣編排大模型應(yīng)用程序：這支十余人的年輕創(chuàng)業(yè)團(tuán)隊(duì)如何在2個(gè)月做出一個(gè)LLMOps平臺(tái)？ 16是全部重做還是融合改造？揭秘京東云言犀升級(jí)全過程 26文生圖大型實(shí)踐：揭秘百度搜索AIGC繪畫工具的背后故事 40AIGC編程：代碼編程模型的應(yīng)用與挑戰(zhàn) 55 76廣告創(chuàng)意領(lǐng)域中AIGC的應(yīng)用 91影響力打造：一位前Twitter8年技術(shù)主管總結(jié)的經(jīng)驗(yàn)教訓(xùn) 110日常溝通之道：走向果敢 119科技巨頭是如何迷失方向的？探討大型科技企業(yè)的問責(zé)制度 131大模型部署昂貴的原因：用最貴的模型處理最基本任務(wù)，猶如“讓蘭博基尼送披薩” 1352023年AI與開源行業(yè)：今年第一篇盤點(diǎn)文章出爐了 142ChatGPT已成為2023年最大金礦，大家是怎么靠它掙到錢 163封面故事iAI。不管是不是有些天馬行空，視線范圍內(nèi)的所有人都在嘗試著融入和探索新的事“我非常認(rèn)同揚(yáng)清的創(chuàng)業(yè)方向，這個(gè)方向非常有趣?！濒~哲說道。在時(shí)代浪潮的推動(dòng)下，每個(gè)人都在尋找自己的方向。魚哲用這個(gè)中式的比喻來形容他們正在做的事情：我們不幫別人包餃子，而是為他們的廚師提供一個(gè)優(yōu)秀的中央廚房，讓廚師們可以輕從高中開始就一直很“不正經(jīng)”自然語言處理技術(shù)，做了一個(gè)可以在對(duì)話中自動(dòng)生成相應(yīng)表情配合文字的程序，叫當(dāng)大多數(shù)人在為高考努力的時(shí)候，受素質(zhì)教育舉一反三也是魚哲的強(qiáng)項(xiàng)。在編程貓工作時(shí)，他需要在魚哲的成長過程中，實(shí)習(xí)工作是家常便飯，但也正是一次次的工作經(jīng)歷影響了他看高中期間，魚哲去了一家咨詢公司做市場調(diào)研的工作。實(shí)際上，這份工作并不復(fù)雜：研究當(dāng)時(shí)市場上的青少年科技夏令營主要做什么、定價(jià)情況、客戶群體等，在收集到“這種洞察力非常有趣，你可以通過一些有趣的數(shù)據(jù)看到其他人是如何生活的，就像另外，這段實(shí)習(xí)經(jīng)歷也讓魚哲接觸到了另一個(gè)跟技術(shù)無關(guān)的領(lǐng)域：商業(yè)運(yùn)作。魚哲開始思考將技術(shù)與商業(yè)結(jié)合起來。他認(rèn)為，技術(shù)不能只停留在實(shí)驗(yàn)室中，只有真正落地于是，本科期間，魚哲選擇了去美國倫斯勒理工就讀信息技術(shù)與網(wǎng)絡(luò)科學(xué)專業(yè)年，深入了解技術(shù)對(duì)商業(yè)變革的影響。根據(jù)規(guī)劃，其最終的職業(yè)發(fā)展方向就是技術(shù)的“阿里云最年輕的產(chǎn)品經(jīng)理”在阿里云，魚哲更像是經(jīng)歷了一場“系統(tǒng)化訓(xùn)練”，用他的話就是，這次工作對(duì)他在“個(gè)人技術(shù)深度和廣度方面的提升、個(gè)人職業(yè)規(guī)劃的明朗，以及商業(yè)模式和市場的理回憶起這段經(jīng)歷，魚哲最先想到的是養(yǎng)成了“只要沒干死，就往死里干”的時(shí)阿里云要研發(fā)很多新產(chǎn)品，剛?cè)肼毜乃睦锉镏鴦?，將自己的工作?jié)奏安排得非常緊：早上吃咖啡因含片，中午甚至只吃蛋白質(zhì)代餐，一直工作到晚上九點(diǎn)或更晚。“年輕人總是會(huì)容易感動(dòng)自己，以為這個(gè)世界離開了我就不行?！濒~哲笑著調(diào)侃當(dāng)年同事給了他很大的包容，經(jīng)過多次試錯(cuò)后最終可以找到正確的“打開方力也讓他收獲頗豐：經(jīng)手業(yè)務(wù)一年里基本上都對(duì)魚哲來說，“阿里云最年輕的產(chǎn)品經(jīng)理”的標(biāo)簽，從某種程度上來說，代表著他年不知道’很重要，更重要的是迎難而上的勇氣和不斷探索的選擇創(chuàng)業(yè)，只能不停地學(xué)習(xí)更明確的方向：如何更好地部署模型，是否有更彈性的、更穩(wěn)定的、更低成本的部署模式。不直接幫企業(yè)開發(fā)應(yīng)用是因?yàn)樵S多情況下，用戶比廠商更了解特定場景的實(shí)現(xiàn)v已經(jīng)在AI領(lǐng)域積累多年的魚哲很認(rèn)同賈揚(yáng)清的觀點(diǎn)，因此在阿里云工作三式有較為深入的了解。我還有一段時(shí)間在海外工作、生活和學(xué)習(xí)，這些經(jīng)歷讓我能更如今，魚哲在LeptonAI擔(dān)任產(chǎn)品負(fù)責(zé)人一職，他經(jīng)常器學(xué)習(xí)領(lǐng)域變化迅速，每天都有新的機(jī)會(huì)和技術(shù)涌現(xiàn)，大家每天讀論文的速度都跟不“我也沒有特別好的辦法，只能盡力跟進(jìn)最新進(jìn)展，多與業(yè)內(nèi)一些頂尖公司的專業(yè)人“很難找出這樣出色的團(tuán)隊(duì)”LeptonAI的自信來自創(chuàng)始成員們此前資深的工作經(jīng)驗(yàn)。創(chuàng)始人們?cè)谶@些大廠多次帶大廠工作，積累了在AI應(yīng)用和AI框架方面的豐富“在業(yè)界，找出這樣一支能夠在這些方面都表現(xiàn)出色的團(tuán)隊(duì)是非常困難的?！濒~哲說在此基礎(chǔ)上，關(guān)鍵就看哪個(gè)團(tuán)隊(duì)能夠更快地跟上技術(shù)熱點(diǎn)的發(fā)展，并且能夠充分利用LeptonAI不會(huì)制定過于詳細(xì)的長期規(guī)劃，而是傾向更靈活地應(yīng)對(duì)局勢(shì)，以月、周為知識(shí)轉(zhuǎn)化為應(yīng)用落地的加速器，而不是代替在對(duì)外交流過程中，魚哲發(fā)現(xiàn)用戶的需求多且細(xì)，比如企業(yè)很想使用一些機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型，但模型的復(fù)雜度是個(gè)阻礙；企業(yè)想在不將代碼放在公共互聯(lián)網(wǎng)上的情況下，利用代言模型來管理代碼補(bǔ)全，但技術(shù)能力可能無法實(shí)現(xiàn)等。魚哲團(tuán)隊(duì)要做的Kubernetes；然后在本地調(diào)試和測試模型，再使用單個(gè)命令將它們部署到云端；之后，開發(fā)者可以通過簡單、靈活的API在任何應(yīng)用程序中使用模型。這個(gè)過程中，LeptonAI還要幫開發(fā)者選擇最適合應(yīng)用程序的異構(gòu)硬件，并做水平擴(kuò)展來處理大量結(jié)合的抽象概念。現(xiàn)在，Photon定義了一組處量化交易場景可能需要使用更低級(jí)別的語言來滿足毫秒級(jí)延遲的要求，而在其他情況上的應(yīng)用，運(yùn)行時(shí)資源非常有限，LeptonAI會(huì)通過特殊的測試有時(shí)候也不僅僅針對(duì)產(chǎn)品，還有對(duì)開發(fā)團(tuán)隊(duì)心理的考驗(yàn)?！斑@個(gè)階段，沮喪的事穩(wěn)定，或者是最初以為用戶會(huì)非常喜歡的功能，實(shí)際做完后發(fā)現(xiàn)技術(shù)不斷進(jìn)步，總會(huì)有新的問題需要解決。在魚哲看來，最重要的是保持冷靜、堅(jiān)定前行，因?yàn)楹芏嗍虑椴]有捷徑可走。“這個(gè)道路上的坑也是多不勝數(shù)的，不要試圖除了個(gè)別性能要求極高場景，LeptonAI并不針對(duì)特定行業(yè)提供解決方案，更多是提“我們處于一個(gè)承上啟下的角色。因?yàn)樵谏嫌魏拖掠蔚拿總€(gè)人，都有他們自己的客戶模型的平臺(tái)服務(wù)和對(duì)模型進(jìn)行微調(diào)和部署的服務(wù)。這些能力背后需要計(jì)算、存儲(chǔ)和網(wǎng)和新興云廠商。能夠做好供應(yīng)鏈整合、在價(jià)格上獲得比競爭對(duì)手更大的優(yōu)勢(shì)，這也是LeptonAI的收費(fèi)項(xiàng)主要有三部分：基于軟件訂閱的費(fèi)用，私有模型部署的資源使用費(fèi)用，和熱門模型的使用費(fèi)用。資源使用的定價(jià)邏輯是基于規(guī)格乘以使用時(shí)長的方式x費(fèi)的成本，然后LeptonAI在此基礎(chǔ)不能“拿著錘子找釘子”引后就不斷投入資金進(jìn)行嘗試，反而會(huì)更加迅速地關(guān)注技術(shù)的實(shí)際應(yīng)用和落地，更注重可行性和投資回報(bào)率（ROI）。人們變得更加理性，特別是在資本投入方面，也更大模型因?yàn)榱奶鞕C(jī)器人被更多人熟知，但大模型不僅僅是聊天機(jī)器人。大模型的多模態(tài)特性可以將世界上的豐富多彩元素轉(zhuǎn)化為機(jī)器可理解的格式。大模型的應(yīng)用場景是非常廣泛的。但對(duì)于大模型應(yīng)用來說，最困難的不是訓(xùn)練模型，而是找到適合的應(yīng)用魚哲表示，開發(fā)大模型應(yīng)用，行業(yè)經(jīng)驗(yàn)和數(shù)據(jù)的質(zhì)量是非常重要的因素：有足夠的行業(yè)經(jīng)驗(yàn)才能更好地理解目標(biāo)受眾的需求和應(yīng)用場景；而數(shù)據(jù)的質(zhì)量和多樣性將直接影響模型的性能和效果。這兩項(xiàng)確定后，擁有先發(fā)優(yōu)勢(shì)就非常關(guān)鍵，開發(fā)者一定要保持那這就像拿著錘子找釘子。實(shí)際上，我們應(yīng)該先有一個(gè)場景，然后再構(gòu)建相應(yīng)的應(yīng)用?！濒~哲進(jìn)一步說道，同時(shí)，大模型落地還需要企業(yè)里有既了解特定場景又熟悉相本質(zhì)上，大模型應(yīng)用還處于非常早期的階段，大多數(shù)應(yīng)用仍停留在概念驗(yàn)證（POC）“建議大家不要被大模型束縛住。實(shí)際落地時(shí)，除了大模型外，還可以充分利用許多已存在的深度學(xué)習(xí)模型或傳統(tǒng)模型。例如在圖像處理方面，卷積神經(jīng)網(wǎng)絡(luò)（CNN）如今，行業(yè)在大模型上基本形成了這樣的共識(shí)：沒必要一味追求大規(guī)模參數(shù)，開源會(huì)成為主流，通用大模型并不“通用”，垂直行業(yè)的大模型更被期待。魚哲認(rèn)為，下一AIAgent示意圖技能可以組合起來應(yīng)用到生產(chǎn)中，最終交付出一個(gè)成果。其中，大模型充當(dāng)了代理的可以除了導(dǎo)航還可以提示哪里可以停車等。魚哲始終認(rèn)為，技術(shù)否能夠成功取決于它結(jié)束語技術(shù)落地的過程比想象的復(fù)雜得多，有些事很多時(shí)候更像是一場馬拉松，而不是一次短跑。他現(xiàn)在的首要目標(biāo)是和團(tuán)隊(duì)一起幫助LeptonA獨(dú)家對(duì)話大模型領(lǐng)航者1別人需要勇氣，但公開承諾要追上行業(yè)標(biāo)桿，則需要實(shí)力。那么，才成立四年的智譜果和產(chǎn)品系統(tǒng)用于實(shí)際項(xiàng)目并商業(yè)化。如果沒有意外，這個(gè)路線會(huì)持續(xù)一段時(shí)間。但2一是技術(shù)方面。張鵬認(rèn)為，行業(yè)模型必須建立在通用模型的基礎(chǔ)之上，否則獨(dú)立發(fā)展的行業(yè)模型由于商業(yè)規(guī)模較小，其智能水平將受到明顯的限制。此外，行業(yè)模型將行業(yè)模型建立在通用模型之上有好有壞。好處是可以節(jié)省基礎(chǔ)模型預(yù)訓(xùn)練的成本和周期，享受到基礎(chǔ)模型本身智能提升好處的同時(shí)，降低被通用模型取代的風(fēng)險(xiǎn)。壞處則是通用模型本身在行業(yè)場景中可能并不完美，因此需要專業(yè)知識(shí)積累。就像一個(gè)專因此，在張鵬看來，行業(yè)模型被看作是在當(dāng)前技術(shù)水平和時(shí)間點(diǎn)下為解求而催生的一種形態(tài)。雖然這種形態(tài)具有歷史意義，但從更長遠(yuǎn)的角度看，它只是一3二是社會(huì)方面。模型之所以不能掌握行業(yè)專業(yè)知識(shí)，部分原因是因?yàn)樾袠I(yè)知識(shí)的數(shù)據(jù)不完整或受到限制。這與過去十多年大數(shù)據(jù)和人工智能發(fā)展面臨的問題類似，即存在這個(gè)問題的根源不是技術(shù)層面的決策，而是與當(dāng)前社會(huì)發(fā)展、信息化水平、行業(yè)信息對(duì)標(biāo)OpenAI，相似但不同4團(tuán)隊(duì)發(fā)現(xiàn)，當(dāng)時(shí)的模型盡管架構(gòu)相似，但在算法框架方面存在許多不同，比如雖然前人嘗試通過多任務(wù)學(xué)習(xí)結(jié)合它們的目標(biāo)來統(tǒng)一不同的框架，但由于自編碼和自5過將這兩種模式的優(yōu)點(diǎn)結(jié)合起來，模型在下游任務(wù)中能夠完成更多任務(wù)。因此，這個(gè)預(yù)訓(xùn)練模型的顯著特點(diǎn)是單一模型能夠處理多個(gè)任務(wù)，從而用更低的成本來支持更多至是人工評(píng)估標(biāo)準(zhǔn)，二是推理效率和硬件基礎(chǔ)成本。這兩個(gè)方面的性能都非常重要，前者涉及到了模型的潛在極限水平，后者則涉及到了模型的可用性，即在產(chǎn)業(yè)鏈中使的修改、算子和加速方法的選擇，還有工程層面的決策，如商業(yè)集群和網(wǎng)絡(luò)的選6轉(zhuǎn)化等工作。智譜AI訓(xùn)練大模型的數(shù)據(jù)主要來自公開數(shù)據(jù)、團(tuán)隊(duì)的處理也是一個(gè)問題，模型需要在中英文上都表現(xiàn)良好，有效地跨語言工作。對(duì)此，對(duì)于“高質(zhì)量的中文語料相對(duì)英文語料較少”的觀點(diǎn)，張鵬并不贊同，“中文用戶的數(shù)量全球最多，互聯(lián)網(wǎng)用戶也最多、活躍度也高，為什么中文數(shù)據(jù)的質(zhì)量會(huì)有問題他認(rèn)為，問題的根本在于數(shù)據(jù)的封閉和存在獲取壁壘?？赡苡写罅康闹形挠脩粼诨ヂ?lián)網(wǎng)上沒有貢獻(xiàn)高質(zhì)量的內(nèi)容，也可能是他們貢獻(xiàn)了高質(zhì)量的內(nèi)容，但這智譜AI內(nèi)部通常采用逐漸改進(jìn)的方法，更傾向與自己之前的版本或標(biāo)準(zhǔn)版本進(jìn)行比7此外，對(duì)于神經(jīng)網(wǎng)絡(luò)算法的核心問題，業(yè)內(nèi)在過去的六七年里一直在尋找更高效的技做大模型，沒有好走的路8具體來說，團(tuán)隊(duì)缺乏處理大規(guī)模數(shù)據(jù)和資源項(xiàng)目的經(jīng)驗(yàn)，因此，許多事情實(shí)際上需要如何解決資源困境？用張鵬的話就是到處“化緣”。團(tuán)隊(duì)與國家科研機(jī)構(gòu)及超算中心團(tuán)隊(duì)需要在不浪費(fèi)資源的前提下，找到訓(xùn)練速度、精度和穩(wěn)定性的最佳平衡合自己需求的解決方案，包括混合精度、流水線工作方式、加速方法等等。這種自定9DCU架構(gòu)上進(jìn)行大規(guī)模預(yù)訓(xùn)練和推理。張鵬表示，國產(chǎn)芯片雖然在價(jià)格和性能方面可能距國外芯片有些距離，但在某些特定應(yīng)用場景，尤其是在邊緣計(jì)算等領(lǐng)域是可以通過高效動(dòng)態(tài)推理和顯存優(yōu)化，智譜AI表示，對(duì)比伯克利大學(xué)推出的vLLM以及“一旦你經(jīng)歷過一次，積累了全面的經(jīng)驗(yàn)，不管是遇到了問題還是進(jìn)展順利，你都會(huì)從中學(xué)到很多。你將不再是一張白紙，而是會(huì)根據(jù)以往的經(jīng)驗(yàn)不斷改進(jìn)和完善。所以那個(gè)時(shí)候的困難主要在于缺乏經(jīng)驗(yàn)，一旦積累了經(jīng)驗(yàn)，后續(xù)的工作就會(huì)變得更容易?！監(jiān)penAI總部位于美國硅谷，其科技創(chuàng)新生態(tài)系統(tǒng)和組織方式與國內(nèi)有很大的不同。OpenAI更多是依賴資本支持積累大量資源，如微軟等大公司提供資源、人才和數(shù)據(jù)，經(jīng)驗(yàn)比較多。早期在學(xué)校的科技情報(bào)分析、數(shù)據(jù)挖掘等研究經(jīng)歷幫助智譜AI接觸到了國內(nèi)的科研機(jī)構(gòu)、科技型企業(yè)、互聯(lián)網(wǎng)企業(yè)，甚至一些國際頂尖科技企業(yè)，他們也另一方面，向C端用戶收費(fèi)是比較有挑戰(zhàn)的。智在創(chuàng)業(yè)早期，智譜AI不會(huì)強(qiáng)迫自己去接復(fù)雜的客戶需求，因?yàn)檫@些需求很可能讓團(tuán)智譜AI也不會(huì)特別限定目標(biāo)客戶。張鵬表示，這一輪由比上一代技術(shù)強(qiáng)大得多，具有更廣泛的通用性，提供了巨大的創(chuàng)新空張鵬舉了一個(gè)民航的例子。民航飛行控制行業(yè)使用國際標(biāo)準(zhǔn)的數(shù)據(jù)報(bào)文來編制飛行信息，編碼方式非?；逎y懂，專業(yè)人士有時(shí)也難以理解。為了減少通信數(shù)據(jù)量和解決帶寬等問題，業(yè)內(nèi)通常會(huì)壓縮數(shù)據(jù)，在實(shí)際使用時(shí)再將其還原。之前，企業(yè)需要龐大的團(tuán)隊(duì)手工編程將這些數(shù)據(jù)翻譯成可讀格式，非常繁瑣。但將這些數(shù)據(jù)輸入后讓AI目前，智譜AI已經(jīng)開源了ChatGLM3-6B模型、多模態(tài)CogVLM-17B和智能體社區(qū)成員的共同努力和影響，項(xiàng)目開源后可以吸引更多的人使用，從而提高項(xiàng)目的質(zhì)量和成熟度；另一方面，企業(yè)提供中文語境下的模型和技術(shù)，能在全球開源項(xiàng)目中發(fā)“在相當(dāng)長的一段時(shí)間內(nèi)，開源和商業(yè)化版本會(huì)并存，而且它們并不矛盾，而是相互商業(yè)應(yīng)用則關(guān)注穩(wěn)定性、安全性和生態(tài)的持續(xù)性。只要能夠建立良性循環(huán)，這種并存不過，雖然開源是免費(fèi)的，但企業(yè)商業(yè)化還是需要一些成本的，資金能力不同的企業(yè)需要在成本和質(zhì)量之間尋求自己的平衡。廠商則需要為不同預(yù)算范圍的客戶設(shè)計(jì)不同“現(xiàn)在更需要商業(yè)化人才”在智譜AI早期，團(tuán)隊(duì)構(gòu)建比較簡單。最初的團(tuán)隊(duì)起源于實(shí)驗(yàn)室，由一些老師以及工程師組成。研究人員和科學(xué)家在實(shí)驗(yàn)室里帶領(lǐng)學(xué)生一起工作，研發(fā)新技術(shù)。然后，工程師將這些技術(shù)轉(zhuǎn)化為系統(tǒng)和應(yīng)用程序，而少數(shù)商業(yè)人員與客戶互動(dòng)。初期，平臺(tái)、應(yīng)用和商業(yè)化等領(lǐng)域，各部門之間不是獨(dú)立的實(shí)體，而是相互協(xié)作、信息流暢的整體。這種緊密的團(tuán)隊(duì)協(xié)作方式減少了信息傳遞的損失，使團(tuán)隊(duì)能夠更高效地應(yīng)對(duì)管理方法上，智譜AI與一般的互聯(lián)網(wǎng)企業(yè)相似。每需要集中精力處理某些事情時(shí)，如客戶交付、產(chǎn)品開發(fā)或技術(shù)研究，公司就會(huì)從各個(gè)團(tuán)隊(duì)的負(fù)責(zé)人在整個(gè)團(tuán)隊(duì)中發(fā)揮著管理和協(xié)調(diào)的關(guān)鍵作用，他們的職責(zé)包括門之間的高效協(xié)作。比如，在一個(gè)重要的商業(yè)化項(xiàng)目中，負(fù)責(zé)人的角研究、開發(fā)到最終的市場推廣的整個(gè)生命周期，這需要團(tuán)隊(duì)中的博士研究員、科學(xué)家、同樣，在研究性項(xiàng)目中，負(fù)責(zé)人也需要協(xié)調(diào)不同層次和專業(yè)領(lǐng)域的團(tuán)隊(duì)項(xiàng)目的成功。無論是商業(yè)項(xiàng)目還是研究項(xiàng)目，都需要各方面的知識(shí)和專業(yè)技能的有機(jī)究性問題，因此主要集中在研究團(tuán)隊(duì)。發(fā)展中期，團(tuán)隊(duì)增加了工程方面的人才，以優(yōu)化模型的研發(fā)和訓(xùn)練，需要解決系統(tǒng)和應(yīng)用相關(guān)的問題，并將應(yīng)用推向市場。現(xiàn)在，“大規(guī)模模型的商業(yè)化是一個(gè)新興領(lǐng)域，需要面對(duì)一些獨(dú)特的挑戰(zhàn)，尤其是在教育客在張鵬看來，大模型時(shí)代的商業(yè)化人才需要具備強(qiáng)大的學(xué)習(xí)能力來快速掌握新技術(shù)和概念、需要有一定的技術(shù)敏感度、優(yōu)秀的溝通能力和解決問題的能力，還要有具備市對(duì)于當(dāng)下智譜AI的主題是將大型模型產(chǎn)業(yè)化并落地應(yīng)用。這一階段要求更廣泛的技所需的數(shù)據(jù)和回應(yīng)。這個(gè)角色可能不需要深入研究和訓(xùn)練模型，但需要懂得如何有效保持高效地不斷了解和深入研究新技術(shù)。今天掌握的知識(shí)在短短一個(gè)月內(nèi)可能就會(huì)變結(jié)束語目前，大家對(duì)大模型技術(shù)的認(rèn)識(shí)參差不齊，這也客戶對(duì)這項(xiàng)技術(shù)不太了解，不清楚廠商在做什么，因此會(huì)根據(jù)他們的理解提出很多問題。而也有客戶則認(rèn)為他們非常了解這項(xiàng)技術(shù)，因此會(huì)期望過高，并設(shè)定更高的目標(biāo)。實(shí)際上，大家需要在一個(gè)相對(duì)合理的范圍內(nèi)達(dá)成一致。這也是張鵬最近分享的原因之一?！霸诨ヂ?lián)網(wǎng)應(yīng)用中，有很多并行存在的應(yīng)用，每個(gè)應(yīng)用專注于特定場景。但基礎(chǔ)設(shè)施領(lǐng)域的情況不同?；A(chǔ)設(shè)施的特點(diǎn)是隨著規(guī)模的增加變得更加集中，資源的利用率越高、整體性能更高，產(chǎn)出投入比也更高。因此，基礎(chǔ)設(shè)施需要規(guī)模效應(yīng)，大型模型也但在當(dāng)前的成本和回報(bào)條件下，基礎(chǔ)的通用模型仍需要足夠多的計(jì)算能力來進(jìn)行訓(xùn)練。因此，未來可能會(huì)出現(xiàn)幾家公司將通用模型的智能水編排大旗型應(yīng)用程序：這支十示Λ的正輕創(chuàng)業(yè)團(tuán)M如何枉2T月做出大模型浪潮正在重構(gòu)千行百業(yè)?？梢灶A(yù)見的是，隨著技術(shù)的不斷進(jìn)步以及應(yīng)用場景的但在當(dāng)下，大模型應(yīng)用落地還面臨諸多挑戰(zhàn)。具體而言，不少開發(fā)團(tuán)隊(duì)還未適應(yīng)大模型編程的需求，對(duì)大模型的實(shí)際應(yīng)用場景理解、工具的選擇（例如中間件、向量數(shù)據(jù)發(fā)團(tuán)隊(duì)需要在大模型技術(shù)棧方面建立更多的共識(shí)，對(duì)于如何使用RAG（RetrievalAugmentedGeneration）或者微調(diào)等應(yīng)該有更明確的工作流程。很多開發(fā)者和行業(yè)專家都會(huì)談?wù)摯笮湍Ｐ偷奈磥?，而不是現(xiàn)在?！盌ify.AI創(chuàng)始人兼成熟，當(dāng)前大眾對(duì)大模型的期望值與實(shí)際技術(shù)發(fā)展并不匹配。開發(fā)者要想在當(dāng)前技術(shù)GitHub地址：/langgenius創(chuàng)業(yè)需要天時(shí)、地利、人和特別享受這個(gè)過程。我們有足夠的耐心，不僅僅是為了快速賺錢，而是要基于我們的在張路宇看來，創(chuàng)業(yè)不是一件頭腦一熱的事情，而是需要天時(shí)、地利、人和的全方位涌入AI賽道，開始基于AI大模型做應(yīng)用創(chuàng)新。然而，彼時(shí)市場上的中間件和LangChain等框架并沒有完全產(chǎn)品化張路宇認(rèn)為，在大模型時(shí)代，技術(shù)和非技術(shù)人員都應(yīng)該有機(jī)會(huì)參與大模型的構(gòu)建和定制。但實(shí)際上只有少數(shù)程序員在進(jìn)行這樣的工作，大多數(shù)人雖然擁有領(lǐng)域知識(shí)，卻無法參與?！斑@促使我們考慮基于大模型的微調(diào)和嵌入式二次開發(fā)，但這個(gè)過程非常痛集成到自己的產(chǎn)品中時(shí)，發(fā)現(xiàn)了很多問題。同時(shí)，我們也沒有找到市場上任何好的產(chǎn)市場。張路宇認(rèn)為，做產(chǎn)品最大的難點(diǎn)并不是技術(shù)工程，而是找到未被滿足的市場需求，這是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。如今，中國團(tuán)隊(duì)在大模型領(lǐng)域與歐美團(tuán)隊(duì)站在同一起跑線上，市場雖然不是完全空白的，但仍處于早期狀態(tài)。同時(shí)，中國團(tuán)隊(duì)在組織能力、產(chǎn)品能力和成本三大方面具有優(yōu)勢(shì)。以往中國團(tuán)隊(duì)在創(chuàng)新價(jià)值不足的情況下，通常將工作轉(zhuǎn)變?yōu)閯趧?dòng)密集型，因此軟件團(tuán)隊(duì)面臨很大壓力。但在大模型時(shí)代，中國一些朋友和投資人認(rèn)為市場潛力巨大，但競爭也激烈。云服務(wù)提供商、大模型公司以及機(jī)器學(xué)習(xí)和運(yùn)營的公司都進(jìn)入這個(gè)領(lǐng)域。我們的挑戰(zhàn)在于如何應(yīng)對(duì)競爭。這需要認(rèn)知，團(tuán)隊(duì)的默契、執(zhí)行力和品味等多元因素。雖然融資可能不難，但要構(gòu)建一個(gè)團(tuán)隊(duì)刻了解開發(fā)者需要的工具體驗(yàn)。團(tuán)隊(duì)在產(chǎn)品設(shè)計(jì)和交互設(shè)計(jì)方面積累了豐富的知識(shí)和四年以上，對(duì)國內(nèi)開發(fā)者市場的特點(diǎn)、需求和市場規(guī)模有比較清晰的認(rèn)知，了解不同類型的客戶在決策流程和購買習(xí)慣上的差異，能夠更準(zhǔn)確地定位產(chǎn)品在不同市場的定需要部署和運(yùn)維，因此我們注重成本控制、可用性監(jiān)測和數(shù)據(jù)運(yùn)營。我們認(rèn)為較小。Dify團(tuán)隊(duì)更偏向于后者，他們認(rèn)為更準(zhǔn)——大模型在發(fā)布后通常不需要太多運(yùn)維工作，而且“Ops”對(duì)于大多數(shù)開發(fā)者來說不能被忽視。關(guān)鍵理念是通過實(shí)時(shí)數(shù)據(jù)持續(xù)改進(jìn)應(yīng)用模型或數(shù)據(jù)，而不是通過一次性大模型時(shí)代的創(chuàng)業(yè)范式張路宇認(rèn)為，在大模型和快速變化的市場中，團(tuán)隊(duì)需要成為學(xué)習(xí)型組織，積極吸收和處理大量信息，并將其整合到產(chǎn)品開發(fā)中。這對(duì)于應(yīng)對(duì)不斷變化的市場需求非常關(guān)鍵。云廠商、軟件工程、中間件基礎(chǔ)、應(yīng)用等多個(gè)層次。團(tuán)隊(duì)通過關(guān)注科學(xué)進(jìn)展、最新技“這個(gè)信息組織機(jī)制面臨著復(fù)雜、快速變化和高度規(guī)則化的挑戰(zhàn)。它需要確保團(tuán)隊(duì)中的每個(gè)成員都能共享相同的認(rèn)知，并能夠快速適應(yīng)不斷變化的市場需求。這個(gè)信息組織機(jī)制對(duì)我們的團(tuán)隊(duì)來說是一個(gè)重要的工具，可以幫助我們更好地理解市場和技術(shù)趨勢(shì)，從而為產(chǎn)品的發(fā)展提供指導(dǎo)。同時(shí)，它也是我們團(tuán)隊(duì)?wèi)?yīng)對(duì)市場變化和快速?zèng)Q策的都在積極擁抱AI編程，我們的團(tuán)隊(duì)全員都在使用，他們確實(shí)認(rèn)為這可以為他們帶來開源與商業(yè)化探索產(chǎn)品在市場上進(jìn)行推廣時(shí)，通常會(huì)經(jīng)歷緩慢的增長過程，在獲得客戶和市場滲透方面需要花費(fèi)很長時(shí)間。在這個(gè)過程中，公司會(huì)不斷進(jìn)行成本-收益分析，以確保獲客成要數(shù)年甚至更長時(shí)間的發(fā)展周期，甚至可能會(huì)然而，對(duì)于大模型產(chǎn)品來說情況并不同。大模型時(shí)代涌現(xiàn)出了不少商業(yè)機(jī)遇，無數(shù)個(gè)創(chuàng)業(yè)團(tuán)隊(duì)猶如千軍萬馬過獨(dú)木橋，此時(shí)大家的首要目標(biāo)是最大化獲客，并獲得全球開“我們注意到，在當(dāng)前大模型創(chuàng)業(yè)潮中，許多企業(yè)選擇了開源。開源意味著獲客成本很低，可以解決全球范圍內(nèi)的問題，例如美國的團(tuán)隊(duì)可以輕松滲透美國或其他海外市場，因?yàn)樗麄儽就粱Z言和文化相似。通過選擇開源，可以更快地實(shí)現(xiàn)增長，并占果首先商業(yè)化再考慮開源，我們可能只能獲得短期內(nèi)的一些收入，而且這些收入可能樣子，但即使要推倒重來我們也做好了準(zhǔn)備，所以首先，需要選擇一個(gè)合適的開源協(xié)議，以確保在開源的同時(shí)能夠保護(hù)知識(shí)產(chǎn)權(quán)和商業(yè)其次，還需要思考如何有效地組織外部貢獻(xiàn)者的參與。需要讓外部貢獻(xiàn)者知道如何參目涉及多個(gè)層次，如模型驅(qū)動(dòng)、插件、數(shù)據(jù)庫支持等，有很多可以擴(kuò)展的點(diǎn)。外部貢獻(xiàn)者想要參與時(shí)，Dify需要提供貢獻(xiàn)指南，并協(xié)調(diào)他們進(jìn)行參與?！拔覀儗⑺性贕itHub上提供代碼的貢獻(xiàn)者都組織到一個(gè)群組中，然后與他們一對(duì)一交流，了解他們的情況、貢獻(xiàn)時(shí)間、動(dòng)機(jī)以及他們?cè)谄髽I(yè)內(nèi)部的工作情況等。管理和組織這些外部貢獻(xiàn)者團(tuán)隊(duì)是一個(gè)重大挑戰(zhàn)。你需要提供支持和服務(wù)，幫助他們理解如何貢獻(xiàn)，尤其是當(dāng)他們不在同一辦公地點(diǎn)、不了解你的產(chǎn)品路線圖、缺少信息共享時(shí)。這些都是相大模型中間件產(chǎn)品如何走向未來？在這波創(chuàng)業(yè)浪潮中，有人專注于模型開發(fā)，有人致力于應(yīng)用推廣。模型開發(fā)相當(dāng)于創(chuàng)業(yè)團(tuán)隊(duì)需要進(jìn)行軍備競賽和科研競賽，要進(jìn)行大量的實(shí)驗(yàn)。其中的方法論基本都能夠在開放的文獻(xiàn)中找到，創(chuàng)業(yè)團(tuán)隊(duì)的主要工作是準(zhǔn)備數(shù)據(jù)來進(jìn)行模型訓(xùn)練。這些是實(shí)驗(yàn)性的工程，變數(shù)不多。而應(yīng)用推廣需要快速迭代，需要滿足特定人群的特定需求。中間件則不同，創(chuàng)業(yè)團(tuán)隊(duì)需要同時(shí)考慮大模型技術(shù)的進(jìn)展，以及開發(fā)者如何利用這些能力來構(gòu)建應(yīng)用。既要在這兩個(gè)方向上進(jìn)行抽象，又要了解開它們的增長趨勢(shì)。研究哪些產(chǎn)品在上周表現(xiàn)出色，增速超過了預(yù)期。然后進(jìn)行反向工程，分析它們的產(chǎn)品理念和增長路徑。這個(gè)跟蹤和反向工程的工作非常重要。大模型、云廠商、應(yīng)用和向量數(shù)據(jù)庫等產(chǎn)品的關(guān)系。只有思考清楚并找到自己的聲明性文件來運(yùn)行并在不同環(huán)境中傳播。這與當(dāng)前的做法有很大不同。目前，包括種功能，以解決問題。我們相信這個(gè)設(shè)計(jì)上的差異將是我們與其他產(chǎn)品之間的最大不上下文窗口、性能、成本等等，這些都會(huì)影響開發(fā)者理解和應(yīng)用。開發(fā)者在開發(fā)基于大型模型的應(yīng)用時(shí)，也總會(huì)遇到各式各樣的挑戰(zhàn)。而這也是大模型中間件產(chǎn)品存在的“我認(rèn)為當(dāng)前大模型正處于一個(gè)比較早期的階段，大家都在探索，嘗試推動(dòng)模型的能力邊界，但距離模型的完全落地還存在一些挑戰(zhàn)。目前，我們最重要的指標(biāo)應(yīng)該是讓具備能力的開發(fā)者能夠?qū)⒋竽Ｐ蛻?yīng)用于生產(chǎn)環(huán)境并成功落地。這個(gè)目標(biāo)可以被視為我們的北極星指標(biāo)，即投產(chǎn)的應(yīng)用數(shù)量。其他指標(biāo)，比如我們的Star數(shù)量、今年的收入增長等，都相對(duì)不那么重要，都是些虛榮指標(biāo)，不能真正反映出我們面臨的主要挑創(chuàng)新者基于不同大模型能力構(gòu)建并運(yùn)營不同情景的AI應(yīng)用，曾多次登榜全球趨勢(shì)榜。同時(shí)，張路宇也是一位資深工具產(chǎn)品經(jīng)理、連續(xù)創(chuàng)業(yè)者，擁有豐富是全部重做還是融合改造？揭秘京少五年工齡才算入門，做到得心應(yīng)手也得小二十年時(shí)間，這也是不同于其他領(lǐng)域的地令人驚訝的是，這個(gè)艱深的領(lǐng)域，如今不斷迎來技術(shù)變革。大模型的到來，更是讓一些底層NLP任務(wù)不復(fù)存在。而這種變革也在以前所未有的速度卷到工業(yè)界業(yè)一直被認(rèn)為是大模型最好的落地場景之一，而大型電商平臺(tái)的智能客服早已打磨得作為頭部企業(yè)，京東在泛客服領(lǐng)域擁有一個(gè)由三四百人組成的智能服務(wù)團(tuán)隊(duì)，涵蓋了人。京東的智能服務(wù)產(chǎn)品也已經(jīng)內(nèi)部應(yīng)用了十一年，并持續(xù)對(duì)外商業(yè)化開放。在智能客服行業(yè)都在爭分奪秒地趕上“大模型”這趟列車的時(shí)候，京東已經(jīng)開發(fā)出來了言犀大模型及配套客服產(chǎn)品，在內(nèi)部投入使用，在客服中心取得了很好的前期試驗(yàn)成果，又是怎么樣減少幻覺，最終將精度提升到嚴(yán)肅的商業(yè)化水準(zhǔn)？這些都是值得探索的問“老”團(tuán)隊(duì)遇上顛覆性的“大模型”然而，由于技術(shù)難度極高，應(yīng)用場景極為復(fù)雜，這個(gè)領(lǐng)域的企業(yè)始終面臨一個(gè)落地難、掙錢難的狀況。典型的例子是，作為中國NLP初創(chuàng)公司的一個(gè)發(fā)展樣同時(shí)，谷歌也減少了對(duì)Assistant的投資……這一系列事件反映出NLP領(lǐng)域技術(shù)創(chuàng)新與落地應(yīng)用之間的不斷博弈。智能而智能客服擬人度不夠，所以很多企業(yè)，他們甚至在早幾年嘗試引入了客服機(jī)器人以近兩三年，京東云言犀與包括大同、蕪湖、東莞、保定等10余個(gè)城市合作打造了智打造出這個(gè)智能化產(chǎn)品并能落地，京東花了十幾年，依靠的是一支技術(shù)過硬的隊(duì)伍，了數(shù)倍，為了分擔(dān)人工接線壓力，京東就成立了智能客服項(xiàng)目組，研發(fā)出了第一代機(jī)器人客服JIMI，功能相對(duì)簡單，只能查詢訂單和物模的電商場景中，京東是第一家。在這個(gè)階段，能得到落地的機(jī)會(huì)，得益于企業(yè)給予2017年，深度學(xué)習(xí)技術(shù)爆發(fā)，智能客服團(tuán)隊(duì)重構(gòu)了這一套機(jī)器人，開始大力發(fā)展開始大力發(fā)展自己的AI技術(shù)，團(tuán)隊(duì)引入了一些更加專業(yè)的、世界級(jí)帶來了更先進(jìn)的算法，讓無人客服在原來的基礎(chǔ)上增加了情感的分類，因此智能客服不僅學(xué)習(xí)了不同地區(qū)的方言，還能辨別人的情緒，這也是業(yè)界第一個(gè)大規(guī)模落地的商需要有智能管理平臺(tái)去提升客服管理的效率。在這個(gè)時(shí)期，團(tuán)隊(duì)進(jìn)一步將視野放大，吸納人才完善團(tuán)隊(duì)能力，形成了一支懂算法、能交付的“標(biāo)桿團(tuán)隊(duì)”，智能服務(wù)開始大的技術(shù)突破，以前是沒有的。每次突破都會(huì)更大一些，也是站在之前的技術(shù)的基礎(chǔ)對(duì)于京東這樣一個(gè)大企業(yè)來說，這樣的技術(shù)肯定是必須要主動(dòng)積極跟進(jìn)的。早在在服務(wù)真實(shí)業(yè)務(wù)場景，在產(chǎn)品革新上，發(fā)展出了下一代智能客服，即值，尤其是大促等流量高峰時(shí)段。通過階段性的試驗(yàn)，這部分服務(wù)指標(biāo)有比較明顯的部分甚至可以說是大力投入引入，并取得了實(shí)際成效。目前，言犀虛擬主播已經(jīng)入駐動(dòng)生成真實(shí)、生動(dòng)、可閱讀性強(qiáng)的直播文案，數(shù)字人還能接受咨詢、提供導(dǎo)購、靈活到的瓶頸問題。大模型的引入就好象注入‘活水’一樣，能夠把我們過去卡住、掛起來的用戶體驗(yàn)上的問題，拿出來重新梳理并有望解決。另一方面，我們看到了一些服務(wù)模式、管理模式上的新機(jī)會(huì)，可能未來是通過人機(jī)協(xié)作的形態(tài)，有望優(yōu)化這個(gè)行業(yè)沒有任何一個(gè)數(shù)據(jù)來源會(huì)比客服中心的數(shù)據(jù)更合適。因此所有的企業(yè)，都會(huì)希望客服中心能夠?yàn)槠髽I(yè)的市場決策，為企業(yè)的體驗(yàn)升級(jí)，為用戶服務(wù)升級(jí)。通過源源不斷輸入客服中心的觀察分析，驅(qū)動(dòng)企業(yè)進(jìn)行優(yōu)化。這是一個(gè)一直以來沒能實(shí)現(xiàn)的愿景。而“通過客服中心來驅(qū)動(dòng)企業(yè)整體服務(wù)體驗(yàn)評(píng)估、服務(wù)體驗(yàn)管理，這其實(shí)一直是各行業(yè)能夠利用大模型的能力，在將我們覺得效果不太好的場景里，長期持續(xù)地圍繞大模型那么利用大模型的智能客服，會(huì)沖擊甚至取代之前經(jīng)過十多年打磨出來的智能客服產(chǎn)京東云言犀團(tuán)隊(duì)里資深算法專家認(rèn)為，大模型對(duì)一些傳統(tǒng)技術(shù)確實(shí)有影響。因?yàn)楦小⒇?fù)向情感、中性情感，這樣的任務(wù)上，用深度學(xué)習(xí)的方法需但大模型來了，就不再需要大量的標(biāo)注數(shù)據(jù)了，直接判斷就能達(dá)到想要的效果，和之而且在理解的任務(wù)方面，很多傳統(tǒng)的任務(wù)，大模型出來之后，確實(shí)不存在了，比如說摘要的任務(wù)，切詞、分詞這些中間任務(wù)。但放到客服領(lǐng)域來看，構(gòu)建一個(gè)產(chǎn)品需要的并不只是理解的能力，還有推理的能力，比如說數(shù)學(xué)的加減法，大模型還不能進(jìn)行精準(zhǔn)的計(jì)算。在真實(shí)場景下，還會(huì)有一些比數(shù)學(xué)計(jì)算復(fù)雜很多的任務(wù)存在，現(xiàn)在大模型因此，在智能客服的場景里，用戶上線后，為了減少用戶的費(fèi)力度，智猜測用戶大概想咨詢什么問題。這個(gè)實(shí)現(xiàn)方式是根據(jù)用戶各種各樣歷史的行為，比如說訂單各種各樣的狀態(tài)，在頁面上各種搜索點(diǎn)擊的狀態(tài)，以及個(gè)人用戶畫像等等綜合信息，來判斷用戶當(dāng)前可能會(huì)咨詢什么。這樣推理的問題直接交給大模型，它是很難雖然單純NLP的理解任務(wù)，大模型很多任務(wù)能做到最好的題，其中一部分任務(wù)和之前相比也沒有提升那么高，大概率也不會(huì)全部都換到大模型上面去。除了理解類任務(wù)之外的，還有很多任務(wù)可能是用傳統(tǒng)的方法，基于一些人工代的關(guān)系。他進(jìn)一步表示：“第四代智能客服是在前面的基礎(chǔ)上進(jìn)化的，引入大模型主要用于分析環(huán)節(jié)，對(duì)于分析之外的很多能力還是會(huì)用到第三代已經(jīng)構(gòu)建好的很多工舉例來說，通過分析平臺(tái)，可以發(fā)現(xiàn)某位顧客對(duì)今天的咨詢非常不滿意，原因是貨物配送錯(cuò)誤，將貨物發(fā)送到了錯(cuò)誤的地方。分析平臺(tái)能夠快速識(shí)別這個(gè)問題并理解顧客更深入的問題診斷需要利用第三代（即應(yīng)用深度學(xué)習(xí)技術(shù)的）智能客服已經(jīng)建立的基礎(chǔ)。例如，要查明訂單最初應(yīng)該送到哪里以及出現(xiàn)錯(cuò)誤的具體環(huán)節(jié)，可能是在收貨環(huán)“在這些后續(xù)環(huán)節(jié)中，與第三代相比，我們會(huì)大量復(fù)用已經(jīng)建立的能力基礎(chǔ)。因此，如何重構(gòu)和改造底層大模型方面，并不能是通用的模型拿來就能用，言犀大模型面向知識(shí)密集型、任而針對(duì)具體場景進(jìn)行調(diào)優(yōu)，基礎(chǔ)模型訓(xùn)練和推理有專有技術(shù)團(tuán)隊(duì)來打造，推出了言犀壓縮的時(shí)候會(huì)帶來精度損失，怎么減少損失，保證推理效進(jìn)入新時(shí)代后，雖然算法是至關(guān)重要的因素，但現(xiàn)在競爭已經(jīng)不再局限于算法這一單一因素，而是在于一個(gè)完整的技術(shù)和產(chǎn)品生態(tài)系統(tǒng)上的競爭。產(chǎn)品質(zhì)量直接影響用戶業(yè)內(nèi)專家曾經(jīng)闡述過一個(gè)觀點(diǎn)，將大模型的競爭類比于搜索引擎，從搜索引擎的歷史發(fā)展可以看出，我們可以將這個(gè)競爭劃分為兩個(gè)方面，即產(chǎn)品和技術(shù)。從技術(shù)角度來東、小紅書等。然而，搜索產(chǎn)品往往只有一個(gè)主要巨頭，最多兩個(gè)。搜索作為產(chǎn)品具著類似的情況。對(duì)于京東來說，大模型率先落地的產(chǎn)品至于這些上層應(yīng)用，不管是針對(duì)具體的任務(wù)調(diào)優(yōu)，還是針對(duì)相對(duì)更通用的一個(gè)模型來端到端解決所有問題的模式，也需要針對(duì)這些任務(wù)以前要做好這樣一個(gè)系統(tǒng)，其實(shí)是要把整個(gè)對(duì)話流分成很多很多，塊，每個(gè)模塊負(fù)責(zé)不同的任務(wù)。但大模型方法通常是端到端的，基本上是一個(gè)模塊，然而在實(shí)際應(yīng)用中，通常并不是我們想象中的端到端的這樣一步到位的方式，而是基于現(xiàn)有系統(tǒng)中的一些效果不太好的點(diǎn)，針對(duì)這些點(diǎn)，逐個(gè)將對(duì)應(yīng)的模塊結(jié)合大模型進(jìn)智能客服更多的時(shí)候是處理一些查詢和辦理任務(wù)，需要與現(xiàn)有系統(tǒng)進(jìn)行交互，比如大模型在問答場景下要轉(zhuǎn)人工時(shí)，需要知道轉(zhuǎn)到什么樣的技能組里面去。所以怎么和原在這種技術(shù)架構(gòu)下，整體的堆棧不會(huì)發(fā)生巨大變化。但融入大模型之后的架構(gòu)，從頭到尾的復(fù)雜度相比之前也會(huì)減少一個(gè)數(shù)量級(jí)?？傮w而言，這個(gè)架構(gòu)實(shí)際上是一個(gè)“減除了按模塊進(jìn)行優(yōu)化之外，智能客服團(tuán)隊(duì)還探索性的進(jìn)行重構(gòu)，希望重新基于大來打造整個(gè)系統(tǒng)。這也意味著要放棄當(dāng)前的框架，采用一種全新的思路，以達(dá)到讓運(yùn)從產(chǎn)品架構(gòu)來看，京東的重構(gòu)計(jì)劃涉及到改進(jìn)人與人之間的自然語言對(duì)于智能問答系統(tǒng)，目前的問題在于首先需要識(shí)別用戶的意圖。在京東，用戶的咨詢問題有上萬個(gè)不同的類別，例如價(jià)保、退貨、訂單修改等等。智能客服系統(tǒng)需要首先果用戶詢問訂單的位置，系統(tǒng)回應(yīng)后用戶表示未收到，這時(shí)系統(tǒng)可能需要建議聯(lián)系門衛(wèi)或家人是否已經(jīng)代收。這只是一個(gè)小小的示例，實(shí)際上知識(shí)庫中的內(nèi)容是無窮無盡我們可以將這種交流比作兩個(gè)人互相對(duì)話的過程，從聽到一句話到做出回應(yīng)，大腦中的思考過程是復(fù)雜而難以明確的。大模型的工作方式更像是這個(gè)過程的模擬，不再要求人們進(jìn)行繁瑣的知識(shí)整理，而是直接將原始知識(shí)提供給大模型。這包括所有與京東相關(guān)的幫助文檔、政策文件、甚至歷史咨詢的對(duì)話記錄，包括客服和人工接待的會(huì)話的角度來看，以前需要逐一整理各種場景下的知識(shí)，而現(xiàn)在只需要收集數(shù)據(jù)，可能需精度提H精度提升問題通常涉及編造問題，大模型會(huì)一本正經(jīng)地胡說八道，這也是大家將大模的感覺，雖然生成的文案表面上看起來很流暢，但實(shí)際內(nèi)容存在問題。京東很在意這個(gè)事情，因?yàn)槲陌干稍陔娚填I(lǐng)域被廣泛應(yīng)用，包括廣告、推薦和新品介紹等各個(gè)方識(shí)注入”的預(yù)訓(xùn)練模型——Kplug，使文案更有忠實(shí)度、可信度和可靠度，然后還將般生成式語言模型生成的內(nèi)容正確率是83%、85%左右，十個(gè)問題錯(cuò)一兩個(gè)，一般toC用戶用起來覺得還可以，但是商用是不可接受的。為了達(dá)到商用為什么大模型有的時(shí)候會(huì)出現(xiàn)幻覺問題呢？京東云言犀團(tuán)隊(duì)里資深算法專家認(rèn)為根本的原因是大模型底層技術(shù)原理導(dǎo)致的，大模型是基于歷史經(jīng)驗(yàn)來生成當(dāng)前內(nèi)容。這一原理下，大模型往往難以處理特別個(gè)性化的問題，尤其當(dāng)缺少相關(guān)領(lǐng)域經(jīng)驗(yàn)時(shí)，在一些主觀性較高的場景下，如創(chuàng)作較泛泛的文章，大模型表現(xiàn)得相對(duì)良好，因?yàn)檫@比如用戶問客服自己昨天下單的蘋果手機(jī)今天什么時(shí)候到，意圖清晰，非常簡短的問言犀團(tuán)隊(duì)解決知識(shí)缺失問題主要分為兩個(gè)階段。第一個(gè)階段是在初期學(xué)習(xí)時(shí)，要確定在零售領(lǐng)域，具體商品型號(hào)屬性的數(shù)據(jù)相對(duì)較少，因此在這方面缺乏知識(shí)，容易編造信息。為了解決訓(xùn)練數(shù)據(jù)問題，京東聚焦于訓(xùn)練產(chǎn)業(yè)大模型，其中的關(guān)鍵在于使用多年來積累的與商品相關(guān)的數(shù)據(jù)，供大模型學(xué)習(xí)。京東訓(xùn)練產(chǎn)業(yè)大模型訓(xùn)練時(shí)融合70%的通用數(shù)據(jù)與30%數(shù)智供應(yīng)鏈原生數(shù)據(jù)，包括零售、物流、健康、政務(wù)等領(lǐng)域的數(shù)據(jù)。盡管這些行業(yè)數(shù)據(jù)通常不在公共領(lǐng)域，但對(duì)于積累深度造問題。解決知識(shí)更新的問題，言犀團(tuán)隊(duì)并不是直接將商品輸入給大模型并讓其生成文案，而是將商品的知識(shí)屬性和賣點(diǎn)提供給大模型，并要求大模型在此基礎(chǔ)上進(jìn)行潤在這個(gè)基礎(chǔ)上，在真正生成文案時(shí)再根據(jù)具體任務(wù)進(jìn)行知識(shí)更新，以確保不出現(xiàn)編造在產(chǎn)品層面，言犀團(tuán)隊(duì)也根據(jù)不同場景進(jìn)行了優(yōu)化。目前比較有效的方式是按模塊逐主要依賴現(xiàn)有的專家系統(tǒng)，用專家系統(tǒng)確定系統(tǒng)中存在的主要問題，然后再根據(jù)問題調(diào)優(yōu)模型。這意味著客服團(tuán)隊(duì)需要為業(yè)務(wù)定制和調(diào)整模型，以提高效果。而對(duì)于面向模型效果。這樣可以實(shí)現(xiàn)持續(xù)提高準(zhǔn)確率和各項(xiàng)效果，達(dá)到80%甚至寫在最后京東云言犀技術(shù)團(tuán)隊(duì)的初衷始終如一，就是希望在嚴(yán)肅場景下讓大模型產(chǎn)生價(jià)值。京東最初的出發(fā)點(diǎn)是利用智能客服解決內(nèi)部痛點(diǎn)，減輕客服負(fù)擔(dān)，提高營銷效率。但他客服替代人工客服。有研究報(bào)告指出，國內(nèi)現(xiàn)在有8們?cè)谝肟头C(jī)器人來做智能化服務(wù)時(shí)，又存在一個(gè)很核心的矛盾，即大多數(shù)企業(yè)或政務(wù)行業(yè)都希望用比較低的成本進(jìn)行運(yùn)營，最多只能投入幾個(gè)人的人力，所以難以打磨精致，機(jī)器人的體驗(yàn)難以達(dá)到大型電商智能客服的水平。京東希望能利用大模型最京東云言犀也在朝著這個(gè)最終目標(biāo)推進(jìn)，大模型客服的構(gòu)建過程，還遠(yuǎn)沒有結(jié)束，“現(xiàn)在也只能說是邁出了一小步，還在朝著最終的理想推進(jìn)，還會(huì)投入更多資源和時(shí)文生圖大型實(shí)踐：揭秘百度搜索的輸入或提示生成各種風(fēng)格的圖像，這為藝術(shù)家、設(shè)計(jì)師成圖像兩種方式，以滿足用戶更具體的需求，這也在一定程度上鼓勵(lì)用戶更主動(dòng)文生圖的技術(shù)發(fā)展過程生成圖片，還能夠生成視頻和音頻。最近，我也看到了一些令人而之所以說這一年是元年，是源于DiscoDiffusion。DiscoDiffusion的目標(biāo)主要是術(shù)的發(fā)展，整個(gè)生態(tài)系統(tǒng)，包括下游應(yīng)用，都經(jīng)歷了爆發(fā)式增長和涌現(xiàn)。之后，技術(shù)百度文生圖的探索和成果時(shí)，出現(xiàn)了很多扭曲的結(jié)果，如一個(gè)人有三條腿或多個(gè)眼睛。隨著時(shí)間推移，這一技像進(jìn)行各種場景的創(chuàng)作，比如受歡迎的原神系列。這種生成圖像技術(shù)的發(fā)展催生了多種應(yīng)用。比如，在抽卡類游戲中，原畫師可以利用這一技術(shù)來創(chuàng)建游戲組件。在百度搜索等國民級(jí)應(yīng)用中，文生圖又如何與場景相結(jié)合的？剛開始，我理解它可能是在搜索框中，用戶輸入關(guān)鍵詞后能夠找到相關(guān)的圖像，但我相信你們會(huì)有更多不同的創(chuàng)新。文生圖技術(shù)從最初的結(jié)果不夠可用，逐漸變得可用，并能夠釋放想象力，帶來了引人帽子的貓，做著憤怒的手勢(shì)，用戶在腦海中構(gòu)想的畫面，他們通常只能在全網(wǎng)中搜索到已經(jīng)被創(chuàng)作好的、可感知的內(nèi)容。但對(duì)于一些更具體的場景，比如貓要做著憤怒的導(dǎo)致需求退化成尋找一個(gè)憤怒的貓，之后，他們將變成瀏覽型需求，查看全網(wǎng)上是否來，以滿足他們的需求。我們將用戶的查找需求，轉(zhuǎn)變?yōu)榻Y(jié)合了查找圖像和生成圖像兩種方式，以滿足用戶更具體的需求，這也在一定程度上鼓勵(lì)用戶更主動(dòng)地表達(dá)他們尋找一張圖片是搜索的第一步。在圖像領(lǐng)域，許多創(chuàng)作者首先需要找到適合他們需求的圖像，然后他們可能需要用這張圖像作為頭像，或者用它作為創(chuàng)作素材，或者在工作中使用它。因此，在生成的過程中，我們正在加入編輯工作，例如修復(fù)通過自然語言交互，我們可以將貓?zhí)鎿Q為一只狗，從而增加了圖像的再利用能力。這整體而言，從最初的尋找圖像，變成了“找圖”加“生圖”的過程，然后進(jìn)入到第二個(gè)階段，即圖像的用途，以滿足用戶在圖像領(lǐng)域的需求。文生圖的實(shí)踐及挑戰(zhàn)魚哲：聽起來這是一個(gè)非常有趣的應(yīng)用場景，因?yàn)楹芏鄷r(shí)候，比如我以前制作PPT時(shí)，需要找到能滿足我的想象場景的圖像，例如客戶使用產(chǎn)品的場景或某個(gè)行業(yè)的照外界可能認(rèn)為我們只支持一些基本的圖像生成和編輯功能，如生成、簡單編輯、邊框展開以及高分辨率圖像的補(bǔ)全。但實(shí)際上，根據(jù)我的了解，這項(xiàng)技術(shù)在中文語境下是相當(dāng)具有挑戰(zhàn)性的。特別是針對(duì)中文文化和語義場景，大部分模型通常是在以英語為基礎(chǔ)的語境下進(jìn)行訓(xùn)練的，其原始語料庫也是英語為主。然而，百度作為中文搜索引擎領(lǐng)域的巨頭，需要處理中文和英文，甚至一些方言的情況，面對(duì)這種挑戰(zhàn)是如何應(yīng)中文特有元素、中文習(xí)慣表達(dá)以及方言的理解。要使一個(gè)模型更好地理我們?cè)谒阉黝I(lǐng)域擁有感知全網(wǎng)最全的中文語料的能力，這是天然優(yōu)勢(shì)。但除此之外，還需要進(jìn)行樣本的清理、更全面的知識(shí)覆蓋、獲取更多多樣性的高質(zhì)量樣本等，以更好地理解整體模型的語義。同時(shí)，如果我們希望模型生成的圖像質(zhì)量更高，就需要考慮圖像質(zhì)量、美學(xué)因素，例如圖像中物體的明顯特征和美學(xué)風(fēng)格的準(zhǔn)確呈現(xiàn)。此外，所以對(duì)于清洗來說，底層基礎(chǔ)算子的基建也是一個(gè)非常重要的工作。百度在圖片基礎(chǔ)層面的刻畫體系上有多年的積累，所以我們?cè)谑珍浀臄?shù)據(jù)優(yōu)勢(shì)之上，可以快速根據(jù)模型的不同目標(biāo)，進(jìn)行樣本的組織和篩選。例如，我們想要更好的語義樣本，要做到樣如描述一個(gè)杯子，用戶可能會(huì)加入很多形容詞，比如高的、透明的、藍(lán)色的，里面裝西北風(fēng)、雪花在背后飄落的貓。在這種情況下，如何處理具有大量描述詞和形容詞的數(shù)據(jù)相對(duì)較少。同時(shí)，從這個(gè)數(shù)據(jù)集中，我們也觀察到許多不相關(guān)的圖文對(duì)的問題，這些問題可能是由一些雜質(zhì)引起的。因此，我們需要使用相關(guān)性建模算法來過濾掉這及中文所特有的一些語義。例如，如果我們將"transformer"翻譯成中文，它可能會(huì)變成"變壓器"，而如果是指一個(gè)頭像，對(duì)應(yīng)的英文可能會(huì)是"阿凡達(dá)"。這些于中文語料建設(shè)不足導(dǎo)致的中文理解能力上的不足。關(guān)于剛才提到的圖文對(duì)的相關(guān)性質(zhì)量問題，過濾低質(zhì)量的圖文對(duì)，需要使用類似于常規(guī)的CLIPScore等方式來度量個(gè)字，而當(dāng)前互聯(lián)網(wǎng)上這種詳細(xì)描述的數(shù)據(jù)還相對(duì)較少。當(dāng)前互聯(lián)網(wǎng)上的描述通常較為簡短，可能只包含幾十個(gè)標(biāo)記，甚至更短。因此，在構(gòu)建優(yōu)質(zhì)數(shù)據(jù)集方面，需要將一些高質(zhì)量的圖像與文本描述的力度和視角相結(jié)合，以進(jìn)行文本描述的補(bǔ)充。通常，人們描述的可能是圖像的主體和意境，但他們可能會(huì)忽略掉圖像中的背景、物體的數(shù)量以及基本實(shí)體的描述。因此，如何實(shí)現(xiàn)圖像和文本的對(duì)齊理解對(duì)于文生圖的構(gòu)建非因此，對(duì)于提供高質(zhì)量樣本的問題，可能需要更適合于圖像生成任務(wù)的模型，例如caption生成模型。百度在這方面積累了一些經(jīng)驗(yàn)，所以對(duì)于去除低質(zhì)量樣本和構(gòu)建圖片美感的評(píng)估量、保留高質(zhì)量的很重要。您所說的低值和高值是指圖像質(zhì)量對(duì)嗎？在生成圖像時(shí)，如果要生成一只貓，首先它必須是一只貓，其次重要的是它必須符合美感。它必須符合一只貓的形狀，或者說它必須符合一只狗的形狀，而美感是一個(gè)非常主觀的事情。例如，即使是一只貓，有些人喜歡圓圓的、胖胖的、毛發(fā)豐富的貓，他們認(rèn)為最好是長得像個(gè)球一樣，但有些人認(rèn)為貓應(yīng)該像貓一樣，應(yīng)該有貓的特征，頭是頭，腿是腿，脖子是脖子。在這種情況下，百度如何處理關(guān)于貓應(yīng)該長成千面的，大家可能對(duì)美的認(rèn)知是不太一樣的，但是這里面我們其實(shí)是期望通過大部分例如，美學(xué)的定義通常包括圖像的構(gòu)圖，整個(gè)畫面的結(jié)構(gòu)是什么樣的，還包括色彩的何為不同場景創(chuàng)造更好和更合適的光感。除了視覺色彩方面的定義，畫面的內(nèi)容也可以體現(xiàn)美學(xué)，例如畫面內(nèi)容的豐富度或畫面的敘事性，這些都是由畫面內(nèi)的內(nèi)容構(gòu)成我們遵循這些美學(xué)標(biāo)準(zhǔn)，然后構(gòu)建自己的美學(xué)認(rèn)知，無論是在整體模型構(gòu)建方面還是在算法優(yōu)化方面，都按照這些先進(jìn)標(biāo)準(zhǔn)來進(jìn)行相關(guān)的指導(dǎo)和評(píng)估。除了美學(xué)之外，圖像的清晰度也會(huì)影響整體的質(zhì)感。同時(shí)，內(nèi)容的一致性也很重要，如果看到一只貓有三只腿，內(nèi)容實(shí)體的不一致性將會(huì)導(dǎo)致缺陷，從而間接影響圖像的可用性和美感。魚哲：您剛剛提到內(nèi)容的一致性，可以展開這個(gè)出現(xiàn)了手部的畸形或畸變，這實(shí)際上與我們通常對(duì)手的概念不符。這文生圖提示工程魚哲：不同場景和用途對(duì)美學(xué)要求不同，以戴帽子和太陽鏡的貓為例，用戶可能希望生成不同風(fēng)格的漫畫，如日漫和美漫，它們?cè)谝曈X體驗(yàn)上有顯著差異。美漫通常色彩豐富、輪廓鮮明，而日漫則以黑白為主，視覺沖擊力較強(qiáng)。在保障在內(nèi)容一致性的要TianBao：我們來看一下當(dāng)前文生成圖的應(yīng)用場景。目前，在主流的交互中，通常提應(yīng)該受到過多的限制，例如，如果用戶需要生成一個(gè)賽博朋克風(fēng)格的貓，將其繪制成如貓，還可以描述他們期望的畫面風(fēng)格。因此，百度搜索需要滿足用戶在內(nèi)容和風(fēng)只貓呈現(xiàn)為水墨畫或卡通畫，也可以將它呈現(xiàn)為鋁制品或雕魚哲：我還有一個(gè)問題，就是關(guān)于風(fēng)格的疊加，是否支持這種操作？例如，能否將魚我們面臨的另一個(gè)問題是如何在保持內(nèi)容一致性的前提下，有效地融合和協(xié)調(diào)多種風(fēng)格。因?yàn)椴煌L(fēng)格之間的差異可能很大，可能會(huì)發(fā)生一些相互制約的情況，但這確實(shí)為用戶提供了更多的實(shí)驗(yàn)和探索機(jī)會(huì)，可以通過嘗試不同風(fēng)格的組合，實(shí)現(xiàn)更廣泛的魚哲：如果我有多個(gè)風(fēng)格的關(guān)鍵詞去描述最后的主體，最后整張圖出來的效果和關(guān)鍵一樣。它關(guān)系到我們?nèi)绾慰刂粕傻膬?nèi)容，尤其是在涉及到風(fēng)格方面。實(shí)際上，可控些人可能會(huì)提供簡短的提示，可能前后并列會(huì)輸入兩個(gè)不同的風(fēng)格，而其他人可能更的prompt煉丹，也會(huì)提及一些，比如怎實(shí)本質(zhì)上是一種控制的能力，理想的話應(yīng)該不會(huì)存在這樣的一些偏差。當(dāng)然最理想的還是我們可以引導(dǎo)用戶能夠去更精準(zhǔn)的去表達(dá)魚哲：剛才提到百度支持上千種風(fēng)格，我想問，這上千種風(fēng)格是人工過模型聚類后自動(dòng)生成的？對(duì)于用戶來說，知道有這么多風(fēng)格可選可能一開始會(huì)覺得我們有能力感知到全網(wǎng)存在的各種風(fēng)格數(shù)據(jù)。第二點(diǎn)是，我們也依賴于對(duì)圖像相關(guān)的理解，無論是聚合算法還是風(fēng)格美觀度的描述，都需要首先有數(shù)據(jù)，然后通過數(shù)另外剛才提到的，比如說我們當(dāng)前支持上千種風(fēng)格，對(duì)于用戶來說，其實(shí)大家可能還是得有一個(gè)認(rèn)知的過程，因?yàn)槊恳环N風(fēng)格可能對(duì)于藝術(shù)向的用戶來說還是會(huì)有比較大具備很強(qiáng)的視覺沖擊感。所以這里面怎么樣能夠把我們已有的這些風(fēng)格能夠更好的傳遞給用戶，讓用戶理解這種風(fēng)格，并且在后續(xù)的這些需求滿足創(chuàng)作中能夠應(yīng)用上這些魚哲：正如你剛提到的，有上千種不同的藝術(shù)風(fēng)格。即使對(duì)于非專業(yè)和一些專業(yè)的美術(shù)生來說，通常只了解一兩種風(fēng)格，比如素描或水墨畫。實(shí)際上，很少有人能深入了詞時(shí)，我們?cè)撛趺刺幚砟?？比如，用戶第一次使用百度，除非有人告訴他們，他們可能不知道支持上千種風(fēng)格。在這種情況下，我們應(yīng)該如何處理，并引導(dǎo)他們了解更多TianBao：對(duì)于藝術(shù)風(fēng)格和創(chuàng)造性而言，大家更常接觸到關(guān)鍵詞"Midjourney"，可以將其作為一個(gè)例子，來講述一個(gè)從零開始激發(fā)想象力的過程。在早期的運(yùn)營推廣中，有些資源并未過多優(yōu)化提示詞。通常，它們提供了一些相對(duì)簡單的提示詞，比如例如一只擁有鐳射眼睛的狗是什么樣子。通過不斷的嘗試，他們會(huì)發(fā)現(xiàn)在不同的提示詞下可以獲得更引人入勝或有趣的效果。這導(dǎo)致了彼此學(xué)習(xí)，觀察其他人如何生成內(nèi)容，如何設(shè)置提示詞，以及這會(huì)產(chǎn)生什么樣的效果。因此，提示詞的優(yōu)化逐漸變得流對(duì)于一般用戶而言，他們可能較少接觸文生圖這個(gè)場景。對(duì)于初次使用的用戶，通常只是嘗試?yán)L制一只貓或一只小狗，這引出了一個(gè)問題，即如何在用戶使用環(huán)境相對(duì)簡內(nèi)容，類似于內(nèi)容的一個(gè)豐富性或者是故事感。比如剛才說的戴著帽子，然后做著憤上的一些擴(kuò)寫多樣性之后，就可以極大的去優(yōu)化畫面的內(nèi)容豐富度、故事性，以及風(fēng)提示從描述一只狗轉(zhuǎn)變?yōu)橐恢粠弊拥纳鷼獾氖謩?shì)狗時(shí)，用戶實(shí)際上無法看到被改寫舉例來說，第一次可能是一只戴帽子的狗，而第二次可能是一只戴眼鏡躺在沙灘上的TianBao：對(duì)于prompt的改寫富的結(jié)果。因?yàn)槿绻且粭l狗的話，我們可以想象到的是一個(gè)主體是一條狗，可能會(huì)有不同的一些犬類的品種，但是狗可能穿著不同服飾出現(xiàn)在不同場景之下，這個(gè)對(duì)更多人來說會(huì)有更多樣的一些結(jié)果，大家會(huì)有更多的預(yù)期。所以在模型層面，我們期望去來感知用戶對(duì)哪些風(fēng)格，對(duì)什么類型的內(nèi)容場景的一個(gè)畫面結(jié)果會(huì)感興趣，后驗(yàn)反反饋和評(píng)估魚哲：剛剛提到了改寫，從用戶側(cè)收集反饋來迭代模型，有一個(gè)詞叫做RLHFfeedback是不穩(wěn)定的，因?yàn)槿伺c人之間的主觀觀點(diǎn)會(huì)差很多。如果我們需要依賴人TianBao：關(guān)于后驗(yàn)反饋，首先需要考慮反饋數(shù)據(jù)是否確實(shí)能夠這對(duì)于反饋質(zhì)量有更高的要求。因此，可以將這一方面與產(chǎn)品的整體設(shè)計(jì)和用戶交互相結(jié)合，以收集更多積極的用戶行為反饋。例如，當(dāng)用戶對(duì)某個(gè)結(jié)果感興趣時(shí)，他們可能會(huì)點(diǎn)擊圖片以進(jìn)行放大查看，然后進(jìn)行下載等后續(xù)行為，這些都是積極如果用戶對(duì)某張圖片點(diǎn)贊或進(jìn)行評(píng)論，也提供了直接的反饋。我們希望在整個(gè)反饋系統(tǒng)中更有效地收集這些反饋，因?yàn)樗鼈儗?shí)際上反映了用戶的偏好。至于模棱兩可的反準(zhǔn)基準(zhǔn)數(shù)據(jù)集，大家可以根據(jù)這些基準(zhǔn)數(shù)據(jù)集來生成和評(píng)估。相比之下，生成式模型需要一種更高效的評(píng)價(jià)方法，而不是依賴人工逐個(gè)觀察。在這個(gè)領(lǐng)域，與其讓人們用TianBao：更高效的方法實(shí)際上更多地涉及到人機(jī)結(jié)合的手段。就像之前提到的圖像評(píng)價(jià)，我們可以通過一些初步的機(jī)器指標(biāo)來進(jìn)行觀察。如果我們關(guān)注整體的相關(guān)性或質(zhì)量美觀度，那么在某些機(jī)器指標(biāo)上可以進(jìn)行一些刻畫。但如果需要精確評(píng)估兩張圖片之間的差異，這些機(jī)器指標(biāo)可能并不具備太大的意義，更需要人工進(jìn)行判斷。前面提到的機(jī)器初步評(píng)估可以幫助人們進(jìn)行初步的篩選，從而未來展望多初創(chuàng)團(tuán)隊(duì)和相關(guān)公司正在嘗試這個(gè)領(lǐng)域。以動(dòng)畫為例，動(dòng)畫實(shí)際上是將多幅圖像的幅圖像的編輯，我們可以看到在AIGC領(lǐng)域，對(duì)于視頻生視頻的生成，預(yù)計(jì)不會(huì)太久就會(huì)迎來技術(shù)的飛速發(fā)展。因?yàn)樽罱谝曨l生成領(lǐng)域還有對(duì)于幾秒小短片，大家通常會(huì)將生成的最后一幀作為下一段的第一幀，以實(shí)現(xiàn)更連貫的長視頻。然而，對(duì)于視頻生成來說，面臨更大的挑戰(zhàn)，因?yàn)樗粌H要保證空間效果，還需要確保時(shí)間上的一致性，這引入了一個(gè)額外的維度，對(duì)技術(shù)要求更高。隨著最近對(duì)視頻生成的不斷探索，我們可以預(yù)計(jì)未來一到兩年內(nèi)可能會(huì)出現(xiàn)類似于直播視頻回放：/video/8N0S生成式AI已經(jīng)成為軟件行業(yè)的一個(gè)重要推動(dòng)力。在過去的一年里，包括網(wǎng)易在內(nèi)的許多公司都在積極探索如何將這項(xiàng)技術(shù)應(yīng)用到他們的產(chǎn)品中。如今，網(wǎng)易已經(jīng)推出了最新一期的“極客有約”對(duì)話節(jié)目中，魚哲與網(wǎng)易杭州研究院人工智能部的算法負(fù)責(zé)AIGC在軟件工程領(lǐng)域的應(yīng)用方向劉東老師，您能否簡要介紹一下，網(wǎng)易杭州研究院在A劉東：關(guān)注AIGC，特別是在軟件研發(fā)領(lǐng)域，我們認(rèn)為它在各個(gè)環(huán)節(jié)都例如，在需求分析和設(shè)計(jì)方面，大型模型已經(jīng)能夠提供出色的設(shè)計(jì)建議。在編碼和開優(yōu)化階段，大型模型也能提供有益的優(yōu)化建議，包括檢測潛在的錯(cuò)誤。甚至在測試階段，我們也嘗試使用大型模型生成測試案例。在運(yùn)維環(huán)節(jié)，例如線上日志的實(shí)時(shí)分析表我們的觀眾逐一提出一些問題。首先，所有程序員都非常熟悉的一個(gè)問題是，我們花費(fèi)很多時(shí)間思考如何分解代碼的功能實(shí)現(xiàn)，以及編寫和調(diào)試代碼。特別是編寫單元測試，在后端開發(fā)中經(jīng)常需要，雖然我們不會(huì)討厭，但有時(shí)候確實(shí)不太愿意做這項(xiàng)工在。我想問一下，為什么網(wǎng)易杭州研究院選擇在這個(gè)領(lǐng)域開展工作？此外，微軟在收于開發(fā)者來說價(jià)格相對(duì)較高。微軟在財(cái)報(bào)中也提到，他們每月支持一個(gè)開發(fā)者需要都有一些核心代碼不愿意與外部共享，因此希望能夠擁有相對(duì)可控的服務(wù)，并在其其次，每家企業(yè)都有大量的特定代碼積累，而如何有效地利用這些代碼，以在其業(yè)因此，我們通過自研的方式，利用自己的模型來更好地適應(yīng)網(wǎng)易的需求從商業(yè)角度來看，它并不一定是一個(gè)特別有利可圖的生意。因?yàn)樵谶@一領(lǐng)域，客戶通魚哲：除了安全性問題，您在網(wǎng)易情況可能會(huì)注意到一些特別適合的場景，不管是在電商還是游戲等許多場景中。您能否舉一個(gè)具體的例子，展示我們?cè)谑裁辞閯|：我們進(jìn)行了大量的定制和優(yōu)化，比如在游戲運(yùn)營場景中，游戲經(jīng)常需要舉辦各種活動(dòng)。這些活動(dòng)的方案通常由策劃部門提出，要求程序員按照方案進(jìn)行實(shí)現(xiàn)，但實(shí)具有很大的參考價(jià)值。在這種情況下，如果使用通用的Copilot，它通常無法了解企業(yè)專有的代碼信息，因此在這種場景下提供的提示效果可能不夠理想。但如果我們進(jìn)行企業(yè)定制，就可以通過一些增強(qiáng)的方式，將這些信息集成到提示中，然后將其提供給大型模型，使其能夠參考這些代碼來提供更好的提示。這樣，我們就可以更好地實(shí)魚哲：您剛才提到了在業(yè)務(wù)場景中進(jìn)行了許多優(yōu)化，特別是在模型層面。第二個(gè)關(guān)鍵點(diǎn)是優(yōu)化提示工程，即我們?nèi)绾翁峁┙o模型更有信息量的上下文，以便模型更好地理解上下文，產(chǎn)生對(duì)程序員有價(jià)值的輸出。我們發(fā)現(xiàn)，僅僅將當(dāng)前代碼片段的上文或下文提供給模型并讓其繼續(xù)生成，效果通常一般。因此，我們考慮了編程過程中的各種信息來源，包括引入的外部第三方庫、工程中的其他項(xiàng)目文件、類似的工程項(xiàng)目，甚至程序員在編程過程中瀏覽和檢索網(wǎng)頁、查找答案以及執(zhí)行粘貼和復(fù)制等助模型更好地理解當(dāng)前的上下文，從而更好地輸出對(duì)程序員有價(jià)值的信息。這些工作微調(diào)。通過微調(diào)一個(gè)基礎(chǔ)模型，將其完全適配到特定任務(wù)，這是許多人認(rèn)為，只要有基本模型，然后進(jìn)行一些微調(diào)，就可以將其應(yīng)用到任何任務(wù)上，劉東：如果我要進(jìn)行微調(diào)，內(nèi)部除了我們自己訓(xùn)練的基礎(chǔ)模型，還有許多開源的基準(zhǔn)模型可供使用。我們進(jìn)行了大量的評(píng)估，具體思路是，如果要進(jìn)行微調(diào)，首先要分析基準(zhǔn)模型是否足夠強(qiáng)大，是否在具體任務(wù)上已經(jīng)表現(xiàn)得相當(dāng)不錯(cuò)，微調(diào)只是為了有針對(duì)性地增強(qiáng)它，使其更好地滿足用戶指令。如果基準(zhǔn)模型根本不支持該任務(wù)，仍然強(qiáng)本來就不太好，那么可能不會(huì)獲得太大的收益，或者預(yù)期的性能可能不會(huì)特別出色。成本問題魚哲：您提到了成本問題，確實(shí)，在特別是語言模型（LM）這個(gè)領(lǐng)域，模型的推理涉及生成代碼，還可能涉及解釋代碼推理方面。用戶可能以您是使用一個(gè)巨大的模型或者一個(gè)具有固定參數(shù)的模型來支持所有使用方式，還是根劉東：我們選擇了后者的方式，即根據(jù)不同的使用方式智能地調(diào)整背后模型的大小，場景中，代碼提示是一個(gè)非常高頻的任務(wù)，因?yàn)槊枯斎霂讉€(gè)字母，都會(huì)觸發(fā)一次提示另一方面，這個(gè)場景通常涉及到代碼生成，相對(duì)來說是一個(gè)相對(duì)固定且不太復(fù)雜的任務(wù)，與通用任務(wù)相比，難度較低。因此，我們更傾向于選擇規(guī)模較小的模型，以確保對(duì)于像代碼解釋、調(diào)試分析或注釋生成這樣的任務(wù)，難度較大，可能需要更大的模型才能實(shí)現(xiàn)良好的效果。但好的一點(diǎn)是，這些任務(wù)通常不會(huì)有太高的使用頻率，因此在這種情況下，我們可以選擇相對(duì)更大的模型，而不需要進(jìn)行大規(guī)模的冗余部署，因?yàn)檎?qǐng)求量本來就不會(huì)太大。這種綜合考慮幫助我們更好地控種模型，我們是否仍然需要手動(dòng)編寫注釋呢？大家討厭別人不寫注釋，但自己也不喜劉東：寫注釋與不寫注釋在很大程度上是一個(gè)習(xí)慣問題。寫注釋的主要目的首先是為了給自己提供提示，使代碼更容易理解和維護(hù)。其次，注釋也有助于他人理解代碼，盡管注釋的覆蓋度要求可能并不高，因?yàn)榇竽Ｐ涂梢詭椭畛湟恍┘?xì)節(jié)。然而，寫注釋的程度可以因程序員而異，有些程序員可能傾向于寫詳盡的注釋，解釋每個(gè)細(xì)節(jié)，BI產(chǎn)品和低代碼平臺(tái)魚哲：在網(wǎng)易杭州研究院，我們不僅在內(nèi)部廣泛應(yīng)用這些先進(jìn)的技術(shù)，還在一些領(lǐng)域提供對(duì)外的技術(shù)支持和合作機(jī)會(huì)。在對(duì)外方面有劉東：除了為內(nèi)部提供技術(shù)支持，我們還將這些大語言模型的能力整合到商業(yè)化產(chǎn)品中，以為客戶提供更多的服務(wù)。其中，我們的代表性產(chǎn)品之一是BI降低了編程的門檻，提高了編程的效率，從而幫助企業(yè)節(jié)省成本并提高效率。在這個(gè)平臺(tái)中，我們引入了大語言模型的能力，以提高效率和降低編程門檻。這兩個(gè)領(lǐng)域是魚哲：我們還有一個(gè)低代碼產(chǎn)品，可以介紹下這發(fā)的方法。它不要求專業(yè)的程序員從頭編寫代碼，也不同于完全無需編碼的0code這種方法的核心優(yōu)勢(shì)在于相對(duì)于傳統(tǒng)的完全編碼軟件開發(fā)，用戶需求較低，無需像計(jì)仍然保持了軟件開發(fā)的靈活性，因?yàn)樗梢詫?shí)現(xiàn)復(fù)雜的邏輯。低代碼的定位介于傳統(tǒng)劉東：我們目前在網(wǎng)易數(shù)帆官方網(wǎng)站上提供了一些基礎(chǔ)材料和介紹。此外，我們即將AIGC在數(shù)據(jù)分析應(yīng)用上的挑戰(zhàn)想了解最近三個(gè)月華北地區(qū)哪個(gè)行業(yè)的客戶增長最快，哪個(gè)行業(yè)的客戶有一些困難，以及他們所遇到的產(chǎn)品使用情況。這種情況通常需要等待一兩天的時(shí)間，不管是BI同事還是我自己去做，都需要花費(fèi)大量的時(shí)間來查看數(shù)據(jù)地圖，查看每個(gè)表的結(jié)構(gòu)以這是一個(gè)非常復(fù)雜的問題，之前嘗試了許多模型，但它們存在幻覺的問題，導(dǎo)致了一忍存在幻覺的問題。我想了解一下，你們是如何處理這個(gè)問題，如何解決這種復(fù)雜性劉東：我們面對(duì)的確實(shí)是一個(gè)巨大的挑戰(zhàn)，而且我們?cè)谶@個(gè)產(chǎn)品上花費(fèi)了很長時(shí)間，者輸出不可信的信息，那這個(gè)任務(wù)基本上就失敗了。因此，我們采取了多重方法來盡首先，我們從算法的角度出發(fā)，努力構(gòu)建了一個(gè)優(yōu)秀的領(lǐng)域子模型，以盡量避免通用模型的幻覺問題。我們收集了大量的數(shù)據(jù)和各行各業(yè)的常見數(shù)據(jù)報(bào)表，通過數(shù)據(jù)增強(qiáng)和訓(xùn)練，使模型的能力更強(qiáng)。這個(gè)領(lǐng)域子模型專注于解決數(shù)據(jù)分析場景，能夠通過自們?cè)诋a(chǎn)品層面進(jìn)行了多方面的工作。我們引入了一個(gè)"可信AI"的作等，以糾正錯(cuò)誤或調(diào)整查詢。這提供了用戶這些方法的結(jié)合，以及其他細(xì)節(jié)的優(yōu)化，使我們的產(chǎn)品更可魚哲：這是否意味著當(dāng)用戶使用產(chǎn)品時(shí)，他們需要在某種程度上提前注入表結(jié)構(gòu)的一劉東：大模型是通過自主猜測的。只要提供底層表結(jié)構(gòu)，大模型可以自動(dòng)獲永逸的方式。這樣做的話，問題通常不會(huì)被永久解決。但一旦將其運(yùn)營起來，將負(fù)面的基礎(chǔ)上進(jìn)行微調(diào)，還是持續(xù)進(jìn)行預(yù)訓(xùn)練，或者是從零開始使用領(lǐng)域樣本訓(xùn)練參劉東：我們通常是基于基礎(chǔ)的基座模型進(jìn)行調(diào)整。網(wǎng)易內(nèi)部我們已經(jīng)進(jìn)行未來要覆蓋的領(lǐng)域，因此在訓(xùn)練過程中，我們有意地將一例如，如果要處理編程任務(wù)，就會(huì)注重將代碼相關(guān)的數(shù)據(jù)納入模型。如果要處理我們會(huì)在這個(gè)基礎(chǔ)上為每個(gè)領(lǐng)域創(chuàng)建領(lǐng)域特定的子數(shù)據(jù)的重要性大量數(shù)據(jù)時(shí)，我發(fā)現(xiàn)在這個(gè)工作中，最大的挑戰(zhàn)實(shí)際上不在于微調(diào)模型，而是在于找到合適的數(shù)據(jù)，并將其準(zhǔn)備成可供模型使用的形式。我認(rèn)為在研究一篇論文時(shí)，我注意到在數(shù)據(jù)稀缺的情需要具備高度的語義和推理能力。模型的規(guī)模不會(huì)小，而隨著模型規(guī)模的增加，調(diào)整我想了解一下，您是如何在數(shù)據(jù)準(zhǔn)備方面處理這些挑戰(zhàn)的？因?yàn)閷?shí)際情況是，在這類項(xiàng)目啟動(dòng)之初，數(shù)據(jù)通常不夠整潔，或者很多人最初并不清楚這些數(shù)據(jù)可能會(huì)有哪些劉東：無論是在ChatBI領(lǐng)域還是在以前的數(shù)據(jù)。在這個(gè)領(lǐng)域，因?yàn)閭鹘y(tǒng)方法已經(jīng)發(fā)展了相當(dāng)長的時(shí)間，所以存在許多開源的評(píng)外，我們還投入了大量人力資源來進(jìn)行數(shù)據(jù)的搜集和標(biāo)注工作，將各個(gè)來源的數(shù)據(jù)匯魚哲：我覺得這個(gè)趨勢(shì)在從事NLP領(lǐng)域的同事中也非常明顯。人們言模型來執(zhí)行以前需要使用多個(gè)專門的小模型來完成的任務(wù)。舉例來說，以前我們需要訓(xùn)練專門的模型來執(zhí)行諸如語音到文字轉(zhuǎn)換、地址解析而現(xiàn)在，像您剛才提到的，在生成數(shù)據(jù)方面也使用了語言模型。這引發(fā)了一個(gè)問題，我們不必在每個(gè)場景中都采用大語言模型。例如，對(duì)于一些小型NLP任當(dāng)然，大語言模型的能力毋庸置疑，它們?cè)谀承?fù)雜任務(wù)上可能表現(xiàn)更出色。我認(rèn)為大語言模型與領(lǐng)域?qū)＜夷Ｐ椭g不是相互替代的關(guān)系，而是可以共存的。在不同的情境中，可以選擇使用不同的模型，以便最好地滿足特定需求。這種差異化的方模型選擇的問題魚哲：因?yàn)槲抑坝袝r(shí)也會(huì)采取簡便的方式，直接使用大型模型，特別是在擁有免費(fèi)積分的情況下。但隨著時(shí)間的推移，我發(fā)現(xiàn)在考慮長期投資回報(bào)時(shí)，仍需要尋找傳統(tǒng)這是因?yàn)楸M管大型模型擁有出色的能力，但它在成本和執(zhí)行速度小型模型則執(zhí)行速度非?？臁Ｔ谀承┤蝿?wù)中，如果你不斷地調(diào)用大型模型來執(zhí)行和解都在數(shù)據(jù)收集方面面臨巨大挑戰(zhàn)。我認(rèn)為數(shù)據(jù)是其中的一個(gè)技術(shù)挑戰(zhàn)。除了數(shù)據(jù)之外，劉東：我認(rèn)為數(shù)據(jù)確實(shí)是一個(gè)巨大的挑戰(zhàn)，不僅在收集方面，還在清洗數(shù)據(jù)方面需要耗費(fèi)大量精力。清洗數(shù)據(jù)是非常關(guān)鍵的，因?yàn)槿绻蛔龊?，?huì)直接影響模型的效果。我們?cè)跀?shù)據(jù)清洗方面投入了大量精力，因?yàn)楦哔|(zhì)量的數(shù)據(jù)是確保模型效果的基本保障，另一個(gè)挑戰(zhàn)是一旦大模型的能力達(dá)到足夠強(qiáng)，如何在實(shí)際業(yè)務(wù)場景中找到合適的應(yīng)用場景，確保它能夠創(chuàng)造價(jià)值。這方面也非常具有挑戰(zhàn)性，因?yàn)榇竽Ｐ兔媾R效率、速度模型作為生成模型，不可能百分之百準(zhǔn)確。如何找到那些既能容忍錯(cuò)誤，同時(shí)又能為用戶帶來實(shí)際幫助的場景，讓模型成功落地，也是一個(gè)非常大的挑戰(zhàn)。模型的能力才能真正發(fā)揮作用，用戶才能真正感受到其價(jià)值。否則，它將一直停留在魚哲：有時(shí)候出現(xiàn)了上下文的誤解。例如，用戶可能要求搜索最近三個(gè)月內(nèi)是否有玩ChatBI，是它能夠接受用戶的自然語言查詢并自動(dòng)觸發(fā)查詢?nèi)蝿?wù)，還是它只返回劉東：我們的當(dāng)前設(shè)計(jì)是完全自動(dòng)的。當(dāng)用戶提供一個(gè)查詢后，系統(tǒng)會(huì)立即執(zhí)行，而大模型產(chǎn)品價(jià)值的體現(xiàn)生成的數(shù)據(jù)會(huì)以表格的形式展示，用戶可以導(dǎo)出數(shù)據(jù)。產(chǎn)品是否還提供可視化或建模劉東：我們目前主要提供可視化展示，對(duì)于后續(xù)的建模分析，我們正在進(jìn)行研魚哲：您之前提到技術(shù)研究院需要同時(shí)具備技術(shù)和業(yè)務(wù)的理解，而最負(fù)責(zé)?？蛻簦瑹o論是網(wǎng)易集團(tuán)內(nèi)部還是外部，都渴望了解這些生產(chǎn)力工具如何提升效生產(chǎn)力。然而，生產(chǎn)力提升在實(shí)際中往往是一個(gè)具有挑戰(zhàn)性的問題。難以證明這些技劉東：我們一直在思考和探索這個(gè)問題，因?yàn)橐獋鬟_(dá)技術(shù)的價(jià)值，需要從多個(gè)角度來考慮如何證明其價(jià)值。我們非常關(guān)注用戶的反饋和實(shí)際使用數(shù)據(jù)，這對(duì)于衡量技術(shù)的錄用戶的使用情況，特別關(guān)注用戶采納提示的比例以及AI自動(dòng)生成代碼的比例。這有助于我們了解技術(shù)是否真正幫助用戶減少編碼工作，還是只是一個(gè)演示性的工具，功能，我們關(guān)心是否有人在使用，以及他們的使用頻率。在低代碼工具方面，我們使用自然語言來生成邏輯，然后觀察生成情況和占比。這些數(shù)據(jù)幫助我們衡量技術(shù)是否真正提高了生產(chǎn)力，幫助用戶在成本降低和效率提高方面取得進(jìn)展。我們非常關(guān)注這明有很大不同。以前的機(jī)械或半自動(dòng)機(jī)械本質(zhì)上需要人的操作。例如，使用除草器可能需要有人操作設(shè)備，而自動(dòng)化機(jī)械則需要人的干預(yù)。然而，像您剛才提到的ChatBI，如果今天我可以使用自然語言描述業(yè)務(wù)需求，然后它可以為我生成正確的在可能會(huì)面臨一些挑戰(zhàn)，因?yàn)檫@種技術(shù)的出現(xiàn)可能改變劉東：我認(rèn)為這些工具主要是作為一種助力的角色存在的，的角色。因?yàn)檫@些技術(shù)目前正在逐漸發(fā)展，魚哲：我聽聞?dòng)行┕驹趦?nèi)部開展了類似工作遇到了許多障礙。其中一部分障礙來自于開發(fā)團(tuán)隊(duì)，他們擔(dān)心這種工具可能會(huì)與他們的工作發(fā)生沖突，或者一旦工具成熟，公司將不再需要他們。在你們嘗試推廣這些工具的過程中，是否也遇到了類似的挑戰(zhàn)？劉東：我們目前并沒有遇到這類挑戰(zhàn)，因?yàn)槲覀冞M(jìn)行了一些統(tǒng)計(jì)，發(fā)現(xiàn)從軟件研發(fā)的角度來看，程序員實(shí)際花在編碼上的時(shí)間并不占很大比例。編碼只是他們工作的一小部分，更多的工作包括需求分析、整體設(shè)計(jì)以及與其他方面的對(duì)接等。編碼所占的時(shí)間并不是很多。我們的目標(biāo)并不是取代程序員，而是讓他們能夠更多地投入需求分析大模型產(chǎn)品的私有化部署魚哲：我覺得程序員這個(gè)稱呼有點(diǎn)狹隘，因?yàn)樵诰帉懘a代碼，更多的時(shí)候在進(jìn)行工程工作，也就是做工程師的事情。工程師通常需要將來自外部的各種復(fù)雜難以理解的需求和分散的模塊整合到一起。在這方面，生成式模型的能力是不可替代的，不論是在短期還是長期。我認(rèn)為很難通過直接應(yīng)用一個(gè)大型模型來完成需要花費(fèi)多年時(shí)間理解和深入了解的業(yè)務(wù)。這種情況下，使用生成式模型可能不太適用，因?yàn)槟阈枰獣r(shí)間來積累對(duì)業(yè)務(wù)的深刻理解，然后才能進(jìn)行創(chuàng)新性的工程工你剛剛描述的這些能力聽起來確實(shí)非常有趣和具有吸引力。然而，我們也明白，許多用市場上通用的產(chǎn)品。這種擔(dān)憂在中國和美國的科技公司中都非常普遍，特別是當(dāng)公司規(guī)模較大時(shí)，它們通常更傾向于采用私有化部署，無論是在公司自己的數(shù)據(jù)中心還在傳統(tǒng)金融領(lǐng)域，如銀行、保險(xiǎn)和證券等領(lǐng)域，這些能力可以顯著提高工作效率和效能。然而，由于國家監(jiān)管要求或公司性質(zhì)的原因，很多銀行和保險(xiǎn)公司通常需要確保技術(shù)提供的方式支持私有化部署。我們會(huì)積極考慮這些需求，以滿足不同客戶的特殊劉東：我們的模型都是基于自己的基座模型調(diào)用的，因此完全可控。我們也提供了私有化部署的能力。除了不斷優(yōu)化模型性能，我們還專門組建了一個(gè)工程團(tuán)隊(duì)，專注于在私有化部署方面，我們考慮如何盡量降低用戶的成本，因?yàn)槠浯?，我們進(jìn)行了大量的工程優(yōu)化。這包括引入業(yè)界開源的先進(jìn)技術(shù)，以提高性能。我們還根據(jù)模型的特點(diǎn)進(jìn)行了自定義適配，包括自定義內(nèi)核等，以提高吞吐量和效率。顯卡，我們也可以將大型模型部署上，并為用戶提供良好的體驗(yàn)。這些措施都有助魚哲：在私有化部署方面，你們是可以進(jìn)行多方式是用戶直接使用基座模型，這是一個(gè)即插即用的解決方案。另一種是用戶在使用一段時(shí)間后，需要進(jìn)行自定義微調(diào)，比如強(qiáng)化學(xué)習(xí)微調(diào)（RLHF）或自適應(yīng)微調(diào)劉東：我們提供兩種服務(wù)模式，以滿足用戶的需求。首先，我們提供一種自助工具模式，類似于業(yè)界已有的微調(diào)工具和強(qiáng)化學(xué)習(xí)工具。這訓(xùn)練任務(wù)和部署任務(wù)等功能。用戶如果擁有足夠的實(shí)力和理解相關(guān)流程，可以自行使用這些工具來滿足其需求。用戶可以隨時(shí)嘗試不同其次，對(duì)于一些重要客戶，我們也提供定制化的服務(wù)。在這種情況下，我們的算法專家會(huì)與客戶合作，共同解決他們特定的問題。我們會(huì)與客戶密切合作，確保他們獲得最佳的解決方案。無論用戶自行使用工具還是選擇我們的定制化服務(wù)，我們都將竭誠魚哲：我也認(rèn)為在私有化部署后再進(jìn)行模型訓(xùn)練是一項(xiàng)頗具挑戰(zhàn)的任務(wù)。從前我在這有化部署環(huán)境通常存在標(biāo)準(zhǔn)不一致的問題，因此需要耗費(fèi)額外的時(shí)間來解決各種復(fù)雜劉東：每個(gè)客戶的環(huán)境都有所不同，因此我們的目標(biāo)是將產(chǎn)品盡量標(biāo)準(zhǔn)化，同時(shí)確保工具功能完善。這種方法有助于客戶自行進(jìn)行調(diào)整、訓(xùn)練和部署，降低了使用成本和門檻。只要他們理解這個(gè)過程，幾乎都可以通過簡單的點(diǎn)擊鼠標(biāo)來完成，而不需要深理解場景和找到使大模型落地的有價(jià)值的點(diǎn)至關(guān)重要。然后，需要探索這些點(diǎn)，以確定大模型的能力是否足夠可控和可解決。如果算法可以解決問題，那么從工程角度來看，是否有足夠的投資回報(bào)、性價(jià)比和用戶體驗(yàn)也是非常重要的。最后，如何將這一切標(biāo)準(zhǔn)化地交付給用戶，確保他們能夠持續(xù)使用，而不僅僅是一個(gè)演示，也是一個(gè)巨對(duì)軟件工程未來的看法的支持。隨著數(shù)據(jù)積累、通信和計(jì)算能力的提升，對(duì)軟件工程的要求變得越而AI技術(shù)可以提高軟件工程的生產(chǎn)力。未來，從以程序員為主導(dǎo)變?yōu)槿藱C(jī)協(xié)作的模式，工程師需要花更多精力學(xué)習(xí)和應(yīng)用AI技術(shù)，魚哲：這實(shí)際上涉及到一個(gè)重要的哲學(xué)性