Sequoia Capital-生成 AI 的行為 o1：一個創(chuàng)造性的新世界(英譯中)

理時代開始入思考”——即推理時進(jìn)行推理轉(zhuǎn)變。這一演變正在解在我們的論文發(fā)表兩周年之際“生成的AI：一個創(chuàng)造性的新世界“人工智能生態(tài)系統(tǒng)看起來非常不同，我們對即將發(fā)生的事情有一些預(yù)測。生成式AI市場的底層正在在一個關(guān)鍵的規(guī)模化玩家和聯(lián)盟組成的平衡狀態(tài)中穩(wěn)定下來，包能夠獲取巨額資本的規(guī)?；婕胰栽诟偁幹小１M管這場戰(zhàn)斗遠(yuǎn)未結(jié)束（并且仍在不斷升級），但目前的格局已經(jīng)形成。博弈論時尚)，市場的結(jié)構(gòu)本身正在鞏固，越來越清楚的是，我們將擁有越來越便宜且充足的下一類預(yù)測。隨著LLM市場結(jié)構(gòu)趨于穩(wěn)定，下一個前沿領(lǐng)域正在逐漸顯現(xiàn)。注意力轉(zhuǎn)向了推理層的發(fā)展與擴(kuò)展，其中“系統(tǒng)2”思維占據(jù)主導(dǎo)地位。受到AlphaGo等模系統(tǒng)在推理時進(jìn)行深思熟慮的推理、問題解決和認(rèn)知操作的能力，而不僅僅是快速模式匹配。同時，新的認(rèn)知架構(gòu)和用戶界面正在塑造這些推理能力向用戶交付及交互的方式。這一切對AI市場中的創(chuàng)始人意味著什么？這對現(xiàn)有的軟件公司意味著什么？而在我們作為投資者看來，生成式AI棧中哪個層面最具前景？在我們最新的關(guān)于生成式AI市場狀態(tài)的文章中，我們將探討基礎(chǔ)的大語言模型層的整合如何為擴(kuò)展這些高層次的推理能力和自主能力奠定了基礎(chǔ)，并討論新一代具有新穎認(rèn)知架構(gòu)The2024最核心的模型更新由OpenAI推出，該模型最初名為o1，曾用名Q*或Strawberry。這不僅重新確立了OpenAI在模型質(zhì)量排行榜上的領(lǐng)先地位，還標(biāo)志著架構(gòu)上的顯著改進(jìn)。更具體地說，這是首個具備真正通用推理能力的模型，OpenAI通過推理時的計算實(shí)現(xiàn)了這一突破。這表示什么？預(yù)訓(xùn)練模型在大量數(shù)據(jù)上進(jìn)行下一個詞預(yù)測。它們依賴于“訓(xùn)練時計算”。隨著規(guī)模的擴(kuò)大，一個emergent屬性是基本的推理能力，但這種推理能力非常有限。如果你能教模型進(jìn)行更直接的推理會怎樣？這正是Strawberry所做的事情。當(dāng)我們提到“推理時計算”，我們指的是讓模型在給出響應(yīng)之前停下來思考，這需要在推理時進(jìn)行更多的計算那么，當(dāng)模型停下來思考時，它在做什么呢？讓我們先brief地回到2016年3月的首爾。深度學(xué)習(xí)歷史上一個最具里程碑意義的時刻就發(fā)生在這里：AlphaGo與傳奇圍棋大師李世石之間的對決。這不僅僅是一場人機(jī)對抗的比賽——這是世界看到人工智能不僅僅能夠模仿模式的時刻。思考.AlphaGo與之前的棋類AI系統(tǒng)（如DeepBlue）有何不同？與大規(guī)模語言模型（LLMs）類似，AlphaGo首先通過一個包含約3000萬步棋的數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，以模仿人類專家的水平，并通過自我對弈獲取更多的數(shù)據(jù)。然而，與直接從預(yù)訓(xùn)練模型中產(chǎn)生即時反應(yīng)不同，AlphaGo會花時間思考。在推理時，模型會在多種潛在未來場景中進(jìn)行搜索或模擬，評估這些場景的價值，并根據(jù)預(yù)期價值最高的場景（或答案）做出回應(yīng)。給予AlphaGo更多的時間，其表現(xiàn)會更好。在沒有推理時計算資源的情況下，模型無法超越頂級的人類玩家。但隨著推理時間的增加，AlphaGo的表現(xiàn)會越來越好——直到超越最頂尖的人類玩家。讓我們回到LLM的世界。在這里復(fù)制AlphaGo的最大挑戰(zhàn)在于構(gòu)建價值函數(shù)，即用于評估響應(yīng)得分的函數(shù)。如果是在下圍棋，這個過程相對直接：可以模擬整個游戲直到結(jié)束，確定勝者，然后計算下一步的預(yù)期值。如果是在編程，這個過程也相對直接：可以測試代碼并驗證其是否有效。但是，如何評分一篇草稿的文章？或者一個旅行計劃？或者一份長文檔中關(guān)鍵術(shù)語的總結(jié)？這正是當(dāng)前方法在推理方面遇到困難的原因，這也是為什么Strawberry在接近邏輯的領(lǐng)域（如編程、數(shù)學(xué)和科學(xué)）表現(xiàn)較強(qiáng)，而在更加開放和無結(jié)構(gòu)的領(lǐng)域（如寫作）表現(xiàn)較弱的原因。雖然草莓的實(shí)際實(shí)施細(xì)節(jié)嚴(yán)格保密，但關(guān)鍵思想涉及圍繞模型生成的思維鏈進(jìn)行強(qiáng)化學(xué)習(xí)。審查模型的思維鏈表明，正在發(fā)生一些根本且令人興奮的變化，這些變化實(shí)際上類似于人類的思考和推理方式。例如，o1展示了當(dāng)遇到困難時回溯的能力，這是擴(kuò)展推理時間的一個emergent屬性。此外，它還展示了像人類一樣思考問題的能力（例如，通過可視化球面上的點(diǎn)來解決幾何問題），以及以新的方式思考問題的能力（例如，在編程競賽中以不同于人類的方式解決問題）。并且研究人員正在探索許多新的想法以推動推理時計算的發(fā)展（例如，新的獎勵函數(shù)計算方法、新的縮小生成器/驗證器差距的方法），以期提高模型的推理能力。換句話說，深度強(qiáng)化學(xué)習(xí)領(lǐng)域仍然充滿創(chuàng)新潛力。再次涼爽，它正在啟用一個全新的推理層。是AI領(lǐng)域的下一個前沿。模型不僅要知道事情，還需要能夠在實(shí)時情況下暫停、評估并推理決策。將預(yù)訓(xùn)練視為系統(tǒng)1層。無論模型是基于數(shù)百萬圍棋走法進(jìn)行預(yù)訓(xùn)練（如AlphaGo）還是基于互聯(lián)網(wǎng)規(guī)模的數(shù)千萬兆字節(jié)文本進(jìn)行預(yù)訓(xùn)練（如大規(guī)模語言模型），其任務(wù)都是模仿模式——無論是人類棋局還是語言。但模仿再強(qiáng)大，也并非真正的推理。它無法正確地通過復(fù)雜的新情況進(jìn)行思考，尤其是那些未包含在訓(xùn)練數(shù)據(jù)中的情況。這里就需要運(yùn)用系統(tǒng)2思維，而這正是最新一波AI研究的重點(diǎn)。當(dāng)一個模型“停下來思考”,它不僅僅是在生成已學(xué)習(xí)的模式或根據(jù)過往數(shù)據(jù)進(jìn)行預(yù)測。它是在生成一系列的可能性,考慮潛在的結(jié)果，并基于推理做出決策。對于許多任務(wù)，System1綽綽有余。正如NoamBrown在我們最新的一集中指出的那樣訓(xùn)練數(shù)據(jù)思考不丹的首都是不需要花太多時間的——你either知道它或者不知道它。這里快速、基于模式的回憶效果最佳。但在面對更復(fù)雜的問題——如數(shù)學(xué)或生物學(xué)的重大突破時，快速且直覺的反應(yīng)已經(jīng)不夠。這些進(jìn)展需要深入的思考、創(chuàng)新性的問題解決能力——最重要的是——時間。同樣的道理也適用于人工智能。為了應(yīng)對最具挑戰(zhàn)性和意義的問題，人工智能需要超越僅僅在樣本內(nèi)快速響應(yīng)，并花費(fèi)時間來產(chǎn)生那種定義人類進(jìn)步的深思熟慮的推理。最重要的見解來自o1紙鎮(zhèn)上有一個新的縮放法。培訓(xùn)前LLM遵循一個很好理解的標(biāo)度律：您在預(yù)訓(xùn)練模型上花費(fèi)的計算和數(shù)據(jù)越多該研究論文為擴(kuò)展計算能力開辟了全新的維度：模型在推理階段（或“測試時間”）獲得的計算資源越多，其推理能力就越強(qiáng)。當(dāng)模型能夠思考數(shù)小時、數(shù)天甚至數(shù)十年時會發(fā)生什么？我們將解決黎曼猜想嗎？我們將回答阿西莫夫的最后一個問題嗎？這種轉(zhuǎn)變將使我們從一個龐大的培訓(xùn)前集群世界轉(zhuǎn)向推理云-可以根據(jù)任務(wù)的復(fù)雜性動態(tài)擴(kuò)展計算的環(huán)境。當(dāng)OpenAI、Anthropic、谷歌和Meta擴(kuò)大其推理層并開發(fā)越來越強(qiáng)大的推理機(jī)器時會發(fā)生什么？我們將擁有一個統(tǒng)領(lǐng)一切的模型嗎？生成式AI市場初期的一個假設(shè)是，一家模型公司會變得如此強(qiáng)大和全面，以至于它會吞并所有其他應(yīng)用。這一預(yù)測到目前為止在兩個方面是錯誤的。首先，在模型層存在大量競爭，SOTA能力不斷躍升?？赡苡腥丝赡軙ㄟ^廣泛的領(lǐng)域自玩來實(shí)現(xiàn)持續(xù)的自我改進(jìn)并取得突破，但目前我們還沒有看到任何證據(jù)表明這一點(diǎn)。相反，模型層的競爭非常激烈，自上次開發(fā)者日以來，GPT-4每個令牌的價格下降了98其次，這些模型大多未能成為突破性的應(yīng)用產(chǎn)品，僅有的例外是ChatGPT?，F(xiàn)實(shí)世界是復(fù)雜的。優(yōu)秀的研究人員并沒有興趣全面理解每一個可能的功能在每個垂直領(lǐng)域的端到端工作流程。對他們來說，在API層面停止探索并讓開發(fā)者社區(qū)處理現(xiàn)實(shí)世界的復(fù)雜性既是合乎邏輯的選擇，也是經(jīng)濟(jì)上的理性決策。這對于應(yīng)用層來說是個好消息。您作為科學(xué)家規(guī)劃和執(zhí)行行動以達(dá)成目標(biāo)的方式與您作為軟件工程師的工作方式大不相同。而且，即使是不同的軟件工程公司，這種差異也依然存在。隨著研究實(shí)驗室進(jìn)一步拓展橫跨領(lǐng)域的通用推理邊界，我們?nèi)匀恍枰獞?yīng)用或領(lǐng)域特定的推理來交付實(shí)用的人工智能代理。混亂的現(xiàn)實(shí)世界需要大量的領(lǐng)域和應(yīng)用特定的推理能力，這些能力無法有效地編碼到通用模型中。輸入認(rèn)知架構(gòu)，或者如何理解您的系統(tǒng)：代碼和模型交互的流程，該流程接收用戶輸入并執(zhí)行操作或生成響應(yīng)。例如，在Factory工廠中，每款“仿生人”產(chǎn)品都有一個定制的認(rèn)知架構(gòu)，這種架構(gòu)模仿人類思考方式來解決特定任務(wù)，比如審查拉取請求或編寫并執(zhí)行遷移計劃以更新服務(wù)的后端。Factory的仿生人會分解所有依賴關(guān)系，提出相關(guān)的代碼更改建議，添加單元測試，并邀請人類進(jìn)行審核。在獲得批準(zhǔn)后，將在開發(fā)環(huán)境中運(yùn)行這些變更，并在所有文件通過測試時合并代碼。這與人類的操作類似——通過一系列離散的任務(wù)而非一個通用的黑箱答案來想象一下你想在人工智能領(lǐng)域創(chuàng)業(yè)。你打算瞄準(zhǔn)堆棧的哪一層？你想在基礎(chǔ)設(shè)施層面競爭嗎？祝你好運(yùn)，能擊敗NVIDIA和超大規(guī)模云服務(wù)商。你想在模型層面競爭嗎？祝你好運(yùn) ,能擊敗OpenAI和馬克·扎克伯格。你想在應(yīng)用層面競爭嗎？祝你好運(yùn)，能擊敗企業(yè)級IT和全球系統(tǒng)集成商。哦。等等。這其實(shí)聽起來還挺可行的！基礎(chǔ)模型既神奇又混亂。主流企業(yè)無法處理黑箱、幻覺和笨拙的工作流程。消費(fèi)者面對空白提示，不知道該問什么。這些是應(yīng)用層的機(jī)會。兩年前，許多應(yīng)用層公司被視為“僅僅是GPT-3之上的一個包裝”。如今，這些包裝被證明應(yīng)用層AI公司不僅僅是基礎(chǔ)模型之上的用戶界面。恰恰相反，它們擁有復(fù)雜的認(rèn)知架構(gòu) ,通常包括多個基礎(chǔ)模型以及某種路由機(jī)制，用于檢索和生成答案（RAG），包含確保合規(guī)性的護(hù)欄，以及模擬人類在處理工作流程時推理邏輯的應(yīng)用邏輯。云轉(zhuǎn)型是軟件即服務(wù)（SaaS）。軟件公司轉(zhuǎn)變?yōu)樵品?wù)提供商。這帶來了3500億美元的多虧了人工智能推理，人工智能的過渡是服務(wù)即軟件.軟件公司把勞動轉(zhuǎn)化為軟件。這意味著可address的市場不是軟件市場，而是以服務(wù)市場的名義衡量的服務(wù)市場。萬什么是銷售工作？西erras就是一個很好的例子。B2C公司會在其網(wǎng)站上使用西erras與客戶進(jìn)行交流。待完成的任務(wù)是解決客戶的問題。西erras按解決問題的數(shù)量收費(fèi)。不存在“座位”這種概念，只有待完成的任務(wù)。西erras負(fù)責(zé)完成這些任務(wù)，并根據(jù)完成情況獲得相應(yīng)的報酬。這是許多AI公司的發(fā)展方向。賽里瑪（Sierra）得益于其優(yōu)雅失敗模式（即升級至人工代p）部署，并利用這些代表來贏得作為自動駕駛（nohumanintheloop）的機(jī)會。GitHubCopilot是這一模式的良好例證。隨著生成AI的萌芽推理能力，一類新的代理應(yīng)用程序開始出現(xiàn)。這些應(yīng)用程序?qū)庸镜男螒B(tài)是什么樣的？有趣的是，這些公司的形態(tài)與它們的云服務(wù)predecessor有所不同：云公司瞄準(zhǔn)了軟件利潤池，而人工智能公司則瞄準(zhǔn)了服務(wù)利潤池。云公司按每座席（$/seat）銷售軟件，而人工智能公司按成果收費(fèi)（$/outcome）。云公司傾向于自下而上的銷售模式，實(shí)現(xiàn)無縫分銷。人工智能公司則越來越多地采取自上而下的銷售模式，并采用高接觸、高信任度的交付模型。我們正在看到這些代理型應(yīng)用在知識經(jīng)濟(jì)的所有領(lǐng)域中出現(xiàn)新的群體。以下是一些例子。哈維：AI律師Glean工廠：AI軟件工程師Abridge西耶拉：AI客戶支持代理XBOW：AI滲透測試員通過將這些服務(wù)的邊際成本降至與推理成本急劇下降相一致的水平，這些代理應(yīng)用正在擴(kuò)大并創(chuàng)造新的市場。est）是一種模擬網(wǎng)絡(luò)攻擊的方法，公司通過這種方式來評估自己的安全系統(tǒng)。在生成式AI出現(xiàn)之前，公司只有在特定情況下才會聘請滲透測試人員（例如為了合規(guī)要求），因為人工滲透測試成本高昂：這是一項由高技能人力完成的手工任務(wù)。然而，XBOW正現(xiàn)在演示自動化滲透測試基于最新的推理大規(guī)模語言模型（LLMs），其性能與最頂尖的人類滲透測試專家相當(dāng)。這將擴(kuò)大滲透測試市場，并為各種規(guī)模的企業(yè)開啟持續(xù)滲透測試的可能性。這對SaaS世界意味著什么？今年早些時候，我們與有限合伙人進(jìn)行了會面。他們提出的主要問題是：“AI轉(zhuǎn)型是否會破壞你們現(xiàn)有的云公司？”立渠道與incumbents建立產(chǎn)品之間的競賽。年輕的擁有創(chuàng)新產(chǎn)品的公司能否在incumbents掌控客戶之前，先吸引到一批客戶？鑒于許多人工智能的魔力源自于基礎(chǔ)模型，我們的默認(rèn)假設(shè)是incumbents能夠很好地應(yīng)對這一挑戰(zhàn)，因為這些基礎(chǔ)模型對他們來說同樣易于獲取，并且他們還擁有現(xiàn)有的數(shù)據(jù)和渠道優(yōu)勢。初創(chuàng)企業(yè)的主要機(jī)會不是取代incumbent的軟件公司，而是去爭奪可自動化的工作池。那就是說，我們現(xiàn)在已經(jīng)不再那么確定了。關(guān)于認(rèn)知架構(gòu)的部分，請參見上面的內(nèi)容。將模型的原始能力轉(zhuǎn)化為一個令人信服且可靠的端到端商業(yè)解決方案需要巨大的工程努力。二十年前，本地軟件公司對SaaS的概念嗤之以鼻?！坝惺裁创蟛涣说?？我們也可以自己運(yùn)行服務(wù)器并通過互聯(lián)網(wǎng)交付這些服務(wù)！”盡管概念上很簡單，但隨之而來的是業(yè)務(wù)的全面重塑。EPD從瀑布開發(fā)和產(chǎn)品需求文檔（PRD）轉(zhuǎn)變?yōu)槊艚蓍_發(fā)和A/B測試。市場拓展(GTM）從自上而下的企業(yè)銷售和牛排晚餐轉(zhuǎn)變?yōu)樽韵露系钠脚_即服務(wù)（PLG）和產(chǎn)品分析。商業(yè)模式從高年度服務(wù)費(fèi)（ASP）和維護(hù)收入流轉(zhuǎn)變?yōu)楦邇鬌ollar-BasedNetDollarRetention（NDR）和基于使用的定價。很少有本地軟件公司成功完成了這一轉(zhuǎn)型。如果AI是一個類似的轉(zhuǎn)變呢？AI的機(jī)會是both銷售工作and更換軟件?借助Day.ai，我們窺見了未來的影子。Day是一款原生AI客戶關(guān)系管理（CRM）系統(tǒng)。系統(tǒng)集成商通過配置Salesforce來滿足您的需求，可以賺取數(shù)十億美元。僅憑對您郵箱和日歷的訪問權(quán)限以及填寫一份一頁的問卷，Day就能自動生成一個完全符合您業(yè)務(wù)需求的CRM系統(tǒng)。雖然它目前還不具備所有高級功能（暫且如此），但無需任何人工干預(yù)即可保持新鮮感的自動化CRM系統(tǒng)的魔力已經(jīng)促使人們開始轉(zhuǎn)向使用。作為投資者，我們在哪里度過周期？資金部署在哪里？這是我們的快速選擇?；A(chǔ)設(shè)施這是超大規(guī)模提供商的領(lǐng)域。它是由博弈論行為驅(qū)動的，而不是微觀經(jīng)濟(jì)學(xué)。對風(fēng)險資本家來說，這是一個糟糕的領(lǐng)域。模型這是超大規(guī)模提供商和金融投資者的領(lǐng)域。超大規(guī)模提供商用資產(chǎn)負(fù)債表換取損益表，將資金投資于計算收入等形式的云業(yè)務(wù)，這些資金最終會回到他們的云業(yè)務(wù)中。金融投資者則受到“驚嘆于科學(xué)”的偏見影響。這些模型非常酷炫，這些團(tuán)隊也極其出色。微觀經(jīng)濟(jì)學(xué)在這里可以忽略不計！開發(fā)人員