OpenAI 閉門討論會V3紀(jì)要【GPT-4】-0319

拾象一直關(guān)注本輪范式轉(zhuǎn)移的頭部公司OpenAI，以及大模型給行業(yè)帶來的影響。海外獨角獸在社群內(nèi)舉辦了一系列優(yōu)質(zhì)線上閉門討論會，本次為系列討論會的第三場，主題是在3月15日發(fā)布的多模態(tài)預(yù)訓(xùn)練大模型GPT-4。圍繞GPT-4，我們集中討論了以下幾個問題：1.對模型能力演變和邊界的思考：包括GPT-4發(fā)布后有哪些新技術(shù)導(dǎo)入、解鎖了哪些新能力、帶來哪些新機會、從應(yīng)用/算力/infra/研究上的變化，以及未來的演變走向、關(guān)鍵要素、帶來哪具體的影響/案例/新機會，還有LLM的能力邊界；2.對AINativeApps的思考：包括應(yīng)用LLM的什么好案例、什么特點、關(guān)鍵要素是什么、看好哪些垂類應(yīng)用、壁壘，應(yīng)該怎么做AINativeApps等；3.對模型格局的思考：OpenAI一家獨大，還是多寡頭，模型和應(yīng)用的關(guān)系，垂直應(yīng)用都要擁有自己的模型，還是基于OpenAI開發(fā)；4.LLM相關(guān)的非共識判斷。以下為本次會議的詳細實錄。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。Q1：GPT-4之后，如何看模型能力演變和邊界本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。TFLOPS是floatingpointoperationspersecond(每秒所執(zhí)行的浮點運算次數(shù))的英文縮寫。它是衡量一個電腦計算能力的標(biāo)準(zhǔn)。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。OpenAI出來幾個人把模型reproduce，說明技術(shù)壁壘能梯度爆炸，或者Loss跑丟了，這時本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。3D堆疊是指把一塊芯片從二維展開至三維，AMD正致力于在CPU和GPU之上直接堆疊SRAM和DRAM內(nèi)存，以提供更高的帶寬和性能。3D堆疊的好處在于縮短了電流傳遞路徑，也就是會降低功耗。微軟全部都是直接買Nvida的DGX，微軟的AI本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。CXL:是一個開放標(biāo)準(zhǔn)的行業(yè)支持的緩存一致性互連，用于處理器、內(nèi)存擴展和加速器。從本質(zhì)上講，CXL技術(shù)在CPU內(nèi)存空間和連接設(shè)備上的內(nèi)存之間保持內(nèi)存一致性，支持資源共享（或池化）以獲得更高的性能，降低軟件堆棧的復(fù)雜性，并降低整體系統(tǒng)成本。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。以踢掉數(shù)據(jù)標(biāo)注了，就像人作為bootloaderofAI，剩下就自我迭代，lBootloader:是在操作系統(tǒng)內(nèi)核運行之前運行的一段小程序?？梢猿跏蓟布O(shè)備、建立內(nèi)存空間的映射圖，從而將系統(tǒng)的軟硬件環(huán)境帶到一個合適的狀態(tài)，以便為最終調(diào)用操作系統(tǒng)內(nèi)核準(zhǔn)備好正確的環(huán)境。lHallucination:幻覺(hallucination)是指沒有相應(yīng)的客觀刺激時所出現(xiàn)的知覺體驗。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。嵌入式（Embedding）是指一種將輸入值（例如文本）映射到向量空間的技術(shù)，以便計算機可以識別文本中的含義。它通常用于機器學(xué)習(xí)和自然語言處理（NLP），并可用于實現(xiàn)搜索引擎、推薦引擎等應(yīng)用。但圖像用token化embedding恰好說明了其局限性，因為圖像用kernel像素集合作為token，其上下左右的語義關(guān)系是很不清晰甚至沒意義的。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。這類似于滴滴很難被iPhone沖擊，但應(yīng)用商店被iPhone沖擊了。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。具體逆向工程可以參考：https://thakkarparth007.github.io/copilot-explorer/posts/copilot-internals本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。保證正確；本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。l有限游戲：以取勝為目的，擁有明確的開端、終結(jié)和界限，在開賽前，參與者需要對游戲規(guī)則和獲勝條件達成一致，規(guī)則在游戲進行當(dāng)中不可改變；l無限游戲：以延續(xù)游戲為目的，因此無限游戲沒有明確的開端、終結(jié)和界限。為了讓游戲延續(xù)，規(guī)則可以在游戲進行中改變。要不同的數(shù)學(xué)思維去解決集合論問題。這種方面，利用AI解決會比讓其解決四本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。本期播客是對于OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家IlyaSutskever的采訪，他在創(chuàng)建GPT-3和GPT-4方面發(fā)揮了關(guān)鍵作用。Sutskever介紹了他在機器學(xué)習(xí)領(lǐng)域的背景以及對計算機如何學(xué)習(xí)的興趣。他討論了大型語言模型的局限性，包括它們無法理解語言所涉及的一些基本現(xiàn)實，但同時也指出OpenAI正在進行研究來解決這些問題。Sutskever還強調(diào)了了解生成模型中的統(tǒng)計規(guī)律的重要性。此外，討論還涉及到機器學(xué)習(xí)模型在未來可能變得更少依賴于大量數(shù)據(jù)的潛力。談話隨后轉(zhuǎn)向了AI在民主中的應(yīng)用以及創(chuàng)建高帶寬民主的可能性，在其中公民提供數(shù)據(jù)給AI系統(tǒng)。上述內(nèi)容是基于summarize.tech總結(jié)、ChatGPT進行翻譯及潤色生成Q2:AINativeApps：如何思考AInative和LLM應(yīng)用的前景？AI-nativeApps，最終會呈現(xiàn)什么形本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。AInative影響現(xiàn)在創(chuàng)業(yè)公司的人員架構(gòu)，應(yīng)用LLM可以提升企業(yè)執(zhí)行效率。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。PRD:ProductRequirementDocument產(chǎn)品需求文檔，是產(chǎn)品項目由“概念化”階段進入到“圖紙化”階段的最主要的一個文檔。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。頻）接下來普通的創(chuàng)作者只要有vision和idea，也能做出這種高級作品，全世本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。責(zé)criticalthinking和ju本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。lCharacter.AI介于娛樂、社交、游戲本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。谷歌的workspace都是指向一個方向的。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。中美之間應(yīng)該分開討論OpenAI一家獨大，還是多本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。寡頭戰(zhàn)場？本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。2022年5月，NVIDIA宣布推出第四代NVIDIA?DGX?系統(tǒng)，這是全球首個基于全新NVIDIAH100TensorCoreGPU的AI平臺，它也是全球最先進的企業(yè)級AI基礎(chǔ)設(shè)施。DGXH100系統(tǒng)能夠滿足大型語言模型、推薦系統(tǒng)、醫(yī)療健康研究和氣候科學(xué)的大規(guī)模計算需求。每個DGXH100系統(tǒng)配備八塊NVIDIAH100GPU，并由NVIDIANVLink?連接，能夠在新的FP8精度下達到32Petaflop的AI性能，比上一代系統(tǒng)性能高6倍。DGXH100系統(tǒng)是新一代NVIDIADGXPOD?和NVIDIADGXSuperPOD?AI基礎(chǔ)設(shè)施平臺的構(gòu)建模塊。新的DGXSuperPOD架構(gòu)采用了一個全新的NVIDIANVLinkSwitch系統(tǒng)，通過這一系統(tǒng)最多可連接32個節(jié)點，總計256塊H100GPU。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。不容易爬，也不像文字、圖片這種Task去hold，這本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。Q4:垂直場景是否有訓(xùn)練自己模型的必要性？后未來還有很多開源模型可以跑在本地或者更低本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。Q5：ToB場景的垂直大模型會向什么方向發(fā)展？這個禮拜有美國財富500的很多ChiefD本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。Q6：開源模型是個偽命題嗎？大模型其實具備網(wǎng)絡(luò)效應(yīng)和先發(fā)優(yōu)勢與規(guī)模優(yōu)化，擁有極強網(wǎng)絡(luò)效應(yīng)，我本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。們未來是否真的需要開源模型？Kubernetes也稱為K8s，是用于自動部署、擴縮和管理容器化應(yīng)用程序的開源系統(tǒng)。它將組成應(yīng)用程序的容器組合成邏輯單元，以便于管理和服務(wù)發(fā)現(xiàn)。Kubernetes源自Google15年生產(chǎn)環(huán)境的運維經(jīng)驗，同時凝聚了社區(qū)的最佳創(chuàng)意和實踐。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。云原生技術(shù)的三架馬車：l微服務(wù)易伸縮，高可用，快速迭代；l容器化資源隔離，跨平臺環(huán)境一致性，借助于K8s的強大編排部署能力；lDevOps應(yīng)對微服務(wù)的發(fā)布、運維和監(jiān)控。GoogleAppEngine，這是一種平臺即服務(wù)(PaaS)產(chǎn)品，可讓軟件開發(fā)人員訪問Google的可擴展托管。開發(fā)人員還可以使用軟件開發(fā)工具包(SDK)來開發(fā)在App本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對于報告內(nèi)容的任何要約或承諾。Engine上運行的軟件產(chǎn)品。2003年和2004年，Google公司先后發(fā)表了兩篇著名的論文GFS和MapReduce，這兩篇論文和2006年發(fā)表的BigTable成為了現(xiàn)在著名的"Google三大論文"。DougCutting在受到了這些理論的影響后開始在雅虎開發(fā)Hadoop。HDFS是一種分布式文件系統(tǒng)，用于處理在商業(yè)硬件上運行的大型數(shù)據(jù)集。它用于將單個ApacheHadoop集群擴展到數(shù)百（甚至數(shù)千）個節(jié)點。本報告內(nèi)容僅作為與報告接受者商業(yè)溝通之用途，雙方需對本報告內(nèi)容嚴(yán)格保密，不得外泄或用作商業(yè)用途。本報告的內(nèi)容僅供報告接收方參考，不構(gòu)成任何投資建議，亦不構(gòu)成拾象團隊對